运行时选项 - 3.5 简体中文

Vitis AI ONNX Runtime 集成了用于编译模型计算图并充当微码可执行文件的编译器。该可执行文件部署在目标加速器上。

启动 ONNX Runtime 会话时就会执行模型编译，并且必须在推断首通之前完成编译。编译所需时间长度不尽相同，但可能需要数分钟才能完成。完成模型编译后，模型可执行文件会保存到缓存中，供后续各轮推断运行时使用，您可按需选择使用缓存的可执行模型（请参阅下文获取详细信息）。

您可设置多个运行时变量用于配置推断会话，如下表所示。config_file 变量并非可选，必须将其设置为指向配置文件所在位置。cacheDir 变量和 cacheKey 变量均为可选。

最终高速缓存目录为 {cacheDir}/{cacheKey}。此外，还可设置环境变量以自定义 Vitis AI Execution Provider。