WeGO のオンザフライ量子化 - 3.5 日本語

本来の WeGO ワークフローでは、WeGO は量子化された INT8 モデルのみを入力として受け入れるため、最初に別途量子化を実行する必要があります。これは、float32 モデルを INT8 モデルに変換する Vitis AI クオンタイザーを明示的に使用することで実現できます。これには、クオンタイザーと WeGO の間で Conda 環境を切り替え、Vitis AI クオンタイザーと WeGO の関係を把握する必要があるなど、ユーザーにとって追加のタスクが生じていました。使いやすさを改善し、量子化から運用までの全体的なプロセスを円滑化するため、WeGO フローに Vitis AI クオンタイザーが統合され、WeGO の入力が float32 モデルの場合はオンザフライで量子化を実行できるようになりました。コンパイルに使用する従来の WeGO API に加え、量子化のための新しい API が WeGO に導入されており、ユーザーはクオンタイザーの詳細を意識する必要がありません。WeGO への量子化機能の統合はまだ初期段階であるため、次のような制限があります。

1. 統合フローは現在、PTQ (トレーニング後の量子化) のみをサポートしています。モデルの精度が目標を大きく下回っており、改善が必要な場合は、通常の Vitis AI 量子化フローに従って QAT (量子化認識トレーニング) を使用する必要があります。
2. WeGO での量子化には現在 CPU のみが採用されており、GPU はサポートされていません。このため、特に大規模なモデルの量子化では、処理に長い時間がかかるなどの問題が生じることがあります。