检查器会基于目标器件向神经网络中的运算符提供器件赋值,使 vai_q_pytorch 能够执行硬件感知量化。
以下是 example/resnet18_quant.py 中的代码示例:
quantizer = torch_quantizer(quant_mode=quant_mode,
module=model,
input_args=(input),
device=device,
quant_config_file=config_file,
target=target)
对于 example/resnet18_quant.py,用于执行硬件感知校准的命令行如下所示:
python resnet18_quant.py --quant_mode calib --target DPUCAHX8L_ISA0_SP
用于测试硬件感知量化模型精度的命令行如下所示:
python resnet18_quant.py --quant_mode test --target DPUCAHX8L_ISA0_SP
用于部署量化模型的命令行如下:
python resnet18_quant.py --quant_mode test --target DPUCAHX8L_ISA0_SP --subset_len 1 --batch_size 1 --deploy