单步剪枝 - 3.5 简体中文

Vitis AI 用户指南 (UG1414)

Document ID
UG1414
Release Date
2023-09-28
Version
3.5 简体中文

单步剪枝会实现 EagleEye #zgv1638974851316__li_l3s_zvn_dsb 算法。它仅通过采用了一个简单而又高效的评估组件,就得以在已剪枝模型及其对应微调精度之间引入强大的正关联,这个组件名为自适应批量归一化。它使您无需进行模型微调,即可获取潜在精度最高的子网络。简而言之,单步剪枝方法会搜索一群满足所需模型大小的子网络(即,生成的剪枝后模型),并选择其中最有潜力的子网络。所选子网络经过重新训练后即可恢复精度。

剪枝步骤如下所示:

  1. 搜索满足所需剪枝率的子网络。
  2. 从多个具有评估组件的子网络中选择潜在网络。
  3. 对剪枝后的模型进行微调。
图 1. 单步剪枝工作流程

注释: Bailin Li et al., EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning, arXiv:2007.02491