プルーニング アルゴリズムは、精度の低下を最小限に抑えながらモデルのパラメーター数を削減するように設計されています。このプロセスは次の図に示すように反復的です。プルーニングすると精度は低下しますが、学習によって残りの重みを微調整することで精度が回復されます。最初の反復での入力は、学習済みのプルーニングされていないモデルです。これをベースライン モデルと呼びます。このモデルに対してプルーニングと微調整を実行します。次に、前の反復で得られた微調整済みモデルを新しいベースラインとして、さらにプルーニングと微調整を実行します。必要なスパース性に達するまで、このプロセスを繰り返し実行します。1 回で精度を維持しながら高いプルーニング率でモデルをプルーニングすることはできないため、反復が必要です。1 回の反復で大量のパラメーターをプルーニングすると、精度が急激に低下して、微調整では精度を回復できなくなります。
重要: 微調整段階での精度を向上させるために、パラメーターは反復ごとに徐々に削減します。
プルーニングを反復実行すると、モデルの精度を大きく低下させることなく、高いプルーニング率を達成できます。
図 1. 反復プルーニング
反復プルーニングには、主に次の 4 つのステージがあります。
- 分析
- モデルの感度分析を実行して、最適なプルーニング手法を決定します。
- プルーニング
- 入力したモデルの演算数を削減します。
- 微調整
- 再度トレーニングして、精度を回復します。
- 変換
- 重みが削減されたデンス (密) モデルを生成します。