运行 vai_q_onnx - 3.5 简体中文

ONNX Runtime 上的量化会引用 ONNX 模型的线性量化。vai_q_onnx 工具是作为 ONNX Runtime 的插件来开发的，支持使用更多训练后量化 (PTQ) 函数来量化深度学习模型。

训练后量化 (PTQ) 是一种将预训练的浮点模型转换为量化模型的技术，模型精度损失极小。

它需要一个代表性数据集来对浮点模型运行几批次的推断，以获得每个层分布，此进程称为训练后量化。