硬件感知量化策略 - 3.5 简体中文

Vitis AI 用户指南 (UG1414)

Document ID
UG1414
Release Date
2023-09-28
Version
3.5 简体中文

检查器会基于目标器件向神经网络中的运算符提供器件赋值,使 vai_q_pytorch 能够执行硬件感知量化。

以下是 example/resnet18_quant.py 中的代码示例:
quantizer = torch_quantizer(quant_mode=quant_mode, 
                            module=model, 
                            input_args=(input), 
                            device=device, 
                            quant_config_file=config_file, 
                            target=target)
对于 example/resnet18_quant.py,用于执行硬件感知校准的命令行如下所示:
python resnet18_quant.py --quant_mode calib --target DPUCAHX8L_ISA0_SP
用于测试硬件感知量化模型精度的命令行如下所示:
python resnet18_quant.py --quant_mode test --target DPUCAHX8L_ISA0_SP
用于部署量化模型的命令行如下:
python resnet18_quant.py --quant_mode test --target DPUCAHX8L_ISA0_SP --subset_len 1 --batch_size 1 --deploy