AMD Vitis™ AI 是 AMD 开发套件,用于在 AMD 硬件平台上进行 AI 推断。机器学习推断是计算密集型流程,需要大量存储器带宽以满足低时延和高吞吐量要求。
Vitis AI Optimizer(优化器)支持对神经网络模型进行最优化。当前,Vitis AI 优化器仅包含一项工具,称为“pruner”(剪枝器)。Vitis AI 优化器用于移除神经网络中的冗余内核,减少推断的总体计算成本。使用 Vitis AI 优化器剪枝的模型可量化并部署在 AMD FPGA、SoC 或自适应 SoC 器件上。
图 1. VAI 优化器
Vitis AI 优化器支持 TensorFlow 和 PyTorch。下表中列出了这些对应的工具名称(_p_ 表示剪枝)。
框架 | 工具名称 |
---|---|
TensorFlow | vai_p_tensorflow (TF1.15) 和 vai_p_tensorflow2 (TF2.x) |
PyTorch | vai_p_pytorch |