如果存在问题导致量化结果出现问题或不完整(请参阅消息文本获取详细信息),那么 Vai_q_pytorch 会显示警告消息。消息格式为 [VAIQ_WARN][MESSAGE_ID]: 消息文本。即使出现警告,量化进程仍可继续完成。
下表中列出了重要的警告消息:
消息 ID | 描述 |
---|---|
QUANTIZER_TORCH_BATCHNORM_AFFINE | 解析模型时,BatchNorm OP 小户型 affine=False 已替换为 affine=True。 |
QUANTIZER_TORCH_BITWIDTH_MISMATCH | 配置文件中的位宽设置。如果与 torch_quantizer API 中的设置冲突,则使用配置文件中的设置。 |
QUANTIZER_TORCH_CONVERT_XMODEL | 转换为 XMODEL 的操作失败。请检查消息文本明确原因。 |
QUANTIZER_TORCH_CUDA_UNAVAILABLE | CUDA (HIP) 不可用。将器件更改为 CPU。 |
QUANTIZER_TORCH_DATA_PARALLEL | 不支持数据并行。在 vai_q_pytorch 中已移除封装文件 'torch.nn.DataParallel'。 |
QUANTIZER_TORCH_DEPLOY_MODEL | 仅限量化感知训练进程才具有可部署的模型。 |
QUANTIZER_TORCH_DEVICE_MISMATCH | 输入参数器件与量化器器件类型不匹配。 |
QUANTIZER_TORCH_EXPORT_XMODEL | 由于某些原因,导致 XMODEL 生成失败。请参阅消息文本。 |
QUANTIZER_TORCH_FINETUNE_IGNORED | 在测试模式下忽略快速微调函数。 |
QUANTIZER_TORCH_FLOAT_OP | 默认情况下,vai_q_pytorch 会把列表 OP 识别为浮点运算符。 |
QUANTIZER_TORCH_INSPECTOR_PATTERN | 编译器可能无法融合此 OP,并将其分配给 DPU。 |
QUANTIZER_TORCH_LEAKYRELU | 将 LeakyReLU 的 negative_slope 强制更改为 0.1015625,因为 DPU 仅支持该值。建议将 LeakyReLU 的所有 negative_slope 都更改为 0.1015625 并重新训练浮点模型以提升部署的模型的精度。 |
QUANTIZER_TORCH_MATPLOTLIB | 需要 matplotlib 才能进行可视化,但未能找到。需安装 matplotlib。 |
QUANTIZER_TORCH_MEMORY_SHORTAGE | 没有足够存储器可用于快速微调,忽略此进程。尝试使用更小的校准数据集。 |
QUANTIZER_TORCH_NO_XIR | 无法在环境中找到 XIR 包。需安装 matplotlib。 |
QUANTIZER_TORCH_REPLACE_RELU6 | ReLU6 已替换为 ReLU。 |
QUANTIZER_TORCH_REPLACE_SIGMOID | Sigmoid 已替换为 Hardsigmoid。 |
QUANTIZER_TORCH_REPLACE_SILU | SiLU 已替换为 Hardswish。 |
QUANTIZER_TORCH_SHIFT_CHECK | 量化比例太大或太小。 |
QUANTIZER_TORCH_TENSOR_NOT_QUANTIZED | 部分张量并未量化。请检查其特殊性。 |
QUANTIZER_TORCH_TENSOR_TYPE_NOT_QUANTIZABLE | 节点的张量类型无法量化。仅支持 float32/double/float16 量化。 |
QUANTIZER_TORCH_TENSOR_VALUE_INVALID | 张量具有“inf”或“nan”值。将忽略此张量的量化。 |
QUANTIZER_TORCH_TORCH_VERSION | 仅支持使用 PyTorch 1.10 和更高版本导出 TorchScript。 |
QUANTIZER_TORCH_XIR_MISMATCH | XIR 版本与当前 vai_q_pytorch 不匹配。 |
QUANTIZER_TORCH_XMODEL_DEVICE | 如果目标器件并非 DPU,则不支持转储 XMODEL。 |
QUANTIZER_TORCH_REUSED_MODULE | 复用模块可能会导致 QAT 的准确性降低。请确保这与您的期望相符。请参阅消息文本,查找存在问题的模块。 |
QUANTIZER_TORCH_DEPRECATED_ARGUMENT | 无需再指定 device 实参。器件信息可从模型直接获取。 |
QUANTIZER_TORCH_SCALE_VALUE | 导出的比例值未经训练。 |