TensorFlow2 クオンタイザーは、深層学習モデルの量子化について 2 種類のアプローチをサポートしています。
- トレーニング後の量子化 (PTQ)
- PTQ は、モデル精度をほとんど低下させることなく、トレーニング済みの浮動小数点モデルを量子化モデルに変換する手法です。PTQ を実行するには、浮動小数点モデルに対して推論のバッチを何回か実行するために、代表的なデータセットが必要です。これはアクティベーションの分布を取得するのに役立ちます。この手法は、量子化キャリブレーションとも呼ばれます。
- 量子化認識トレーニング (QAT)
- QAT は、モデルの量子化中に順方向および逆方向の量子化誤差をモデル化します。QAT を使用する際は、ゼロから開発するのではなく、既に高い精度が得られている浮動小数点学習済みモデルから始めることを推奨します。