TensorFlow2 クオンタイザーは、深層学習モデルの量子化について 2 種類のアプローチをサポートしています。
- トレーニング後の量子化 (PTQ)
- PTQ は、モデル精度をほとんど低下させることなく、トレーニング済みの浮動小数点モデルを量子化モデルに変換する手法です。浮動小数点モデルに対して推論のバッチを何回か実行してアクティベーションの分布を取得するために、代表的なデータセットが必要です。この手法は、量子化キャリブレーションとも呼ばれます。
- 量子化認識トレーニング (QAT)
- QAT は、モデルの量子化中に順方向および逆方向の量子化誤差をモデル化します。QAT は、新規に始めるのではなく、精度の高いトレーニング済み浮動小数点モデルから開始することを推奨します。