Runtime のオプション - 3.5 日本語

Vitis AI ONNX Runtime にはコンパイラが統合されており、このコンパイラでモデル グラフと重みをマイクロコード形式の実行ファイルにコンパイルします。この実行ファイルをターゲット アクセラレータ上で運用します。

モデルは ONNX Runtime セッションを開始するとコンパイルされ、1 回目の推論実行前にはコンパイルが完了している必要があります。コンパイルに必要な時間は不定で、数分かかることがあります。モデルのコンパイルが完了したら、モデルの実行ファイルがキャッシュに格納されます。その後の推論には、キャッシュしたファイルでモデルを実行できるオプションがあります (詳細は後述)。

次の表に、推論セッションの設定に使用する Runtime の変数を示します。config_file は必須の変数で、これを使用してコンフィギュレーション ファイルの場所を設定する必要があります。変数 cacheDir と cacheKey はオプションです。

最終的なキャッシュ ディレクトリは {cacheDir}/{cacheKey} です。また、環境変数を設定して Vitis AI 実行プロバイダー (EP) をカスタマイズすることもできます。