Vitis AI Library 2.0 Release Notes - 2.0 English

Vitis AI Library User Guide (UG1354)
Document ID
UG1354
Release Date
2022-01-20
Version
2.0 English
This section contains information regarding the features and updates of the Vitis™ AI Library 2.0 release.

Key Features And Enhancements

This Vitis AI Library release includes the following key features and enhancements:

New Model Libraries
The following new model libraries are supported.
New Model Support
  • Added 15 new PyTorch models
  • Added one new TensorFlow2 model
New CPU Ops Supported
Added 12 CPU Ops.
Custom Op Registration Supported
Custom op registration is supported.
xdputil Tool Update
CPU op running is now supported by xdputil.

Changes

None.

Compatibility

The Vitis™ AI Library 2.0 is tested with the following images.

  • xilinx-zcu102-dpu-v2021.2-v2.0.0.img.gz
  • xilinx-zcu104-dpu-v2021.2-v2.0.0.img.gz
  • xilinx-kv260-dpu-v2021.2-v2.0.0.img.gz
  • xilinx-vck190-dpu-v2021.2-v2.0.0.img.gz

Model Support

The following models are supported by this version of the Vitis™ AI Library.

Table 1. Models Supported by the Vitis AI Library
No. Neural Network ZCU102/

ZCU104/

KV260		 VCK190 U50LV-DPUCAHX8H U50LV/U55C-DPUCAHX8H-DWC VCK5000-DPUCVDX8H-DWC VCK5000-DPUCVDX8H Application
1 inception_resnet_v2_tf Y Y Y Y Y N/A Image Classification
2 inception_v1_tf Y Y Y Y Y Y
3 inception_v3_tf Y Y Y Y Y N/A
4 inception_v4_2016_09_09_tf Y Y Y Y Y N/A
5 mobilenet_v1_0_25_128_tf Y Y N/A Y Y N/A
6 mobilenet_v1_0_5_160_tf Y Y N/A Y Y N/A
7 mobilenet_v1_1_0_224_tf Y Y N/A Y Y N/A
8 mobilenet_v2_1_0_224_tf Y Y N/A Y Y N/A
9 mobilenet_v2_1_4_224_tf Y Y N/A Y Y N/A
10 resnet_v1_101_tf Y Y Y Y Y Y
11 resnet_v1_152_tf Y Y Y Y Y Y
12 resnet_v1_50_tf Y Y Y Y Y Y
13 vgg_16_tf Y Y Y Y Y N/A
14 vgg_19_tf Y Y Y Y Y N/A
15 ssd_mobilenet_v1_coco_tf Y Y N/A Y Y N/A Object Detection
16 ssd_mobilenet_v2_coco_tf Y Y N/A Y Y N/A
17 ssd_resnet_50_fpn_coco_tf Y Y Y Y Y Y
18 yolov3_voc_tf Y Y Y Y Y Y
19 mlperf_ssd_resnet34_tf Y Y Y Y Y Y
20 resnet50 Y Y Y Y Y Y Image Classification
21 resnet18 Y Y Y Y Y Y
22 inception_v1 Y Y Y Y Y Y
23 inception_v2 Y Y Y Y Y N/A
24 inception_v3 Y Y Y Y Y N/A
25 inception_v4 Y Y Y Y Y N/A
26 mobilenet_v2 Y Y N/A Y Y N/A
27 squeezenet Y Y Y Y Y Y
28 ssd_pedestrian_pruned_0_97 Y Y Y Y Y Y ADAS Pedestrian Detection
29 ssd_traffic_pruned_0_9 Y Y Y Y Y Y Traffic Detection
30 ssd_adas_pruned_0_95 Y Y Y Y Y Y ADAS Vehicle Detection
31 ssd_mobilenet_v2 Y Y N/A Y Y N/A Object Detection
32 refinedet_pruned_0_8 Y Y Y Y Y Y
33 refinedet_pruned_0_92 Y Y Y Y Y Y
34 refinedet_pruned_0_96 Y Y Y Y Y Y
35 vpgnet_pruned_0_99 Y Y Y Y Y Y ADAS Lane Detection
36 fpn Y Y Y Y Y Y ADAS Segmentation
37 sp_net Y Y Y Y Y Y Pose Estimation
38 openpose_pruned_0_3 Y Y Y Y Y Y
39 densebox_320_320 Y Y Y Y Y Y Face Detection
40 densebox_640_360 Y Y Y Y Y Y
41 face_landmark Y Y Y Y Y Y Face Detection and Recognition
42 reid Y Y Y Y Y Y Object tracking
43 multi_task Y Y Y Y Y Y ADAS
44 yolov3_adas_pruned_0_9 Y Y Y Y Y Y Object Detection
45 yolov3_voc Y Y Y Y Y Y
46 yolov3_bdd Y Y Y Y Y Y
47 yolov2_voc Y Y Y Y Y Y
48 yolov2_voc_pruned_0_66 Y Y Y Y Y Y
49 yolov2_voc_pruned_0_71 Y Y Y Y Y Y
50 yolov2_voc_pruned_0_77 Y Y Y Y Y Y
51 facerec_resnet20 Y Y Y Y Y N/A Face Recognition
52 facerec_resnet64 Y Y Y Y Y N/A
53 plate_detection Y Y Y Y Y Y Plate Recognition
54 plate_recognition Y Y Y Y Y Y
55 FPN_Res18_Medical_segmentation Y Y Y Y Y Y Medical Segmentation
56 refinedet_baseline Y Y Y Y Y Y Object Detection
57 resnet50_pt Y Y Y Y Y Y Image Classification
58 squeezenet_pt Y Y Y Y Y Y
59 inception_v3_pt Y Y Y Y Y N/A
60

personreid-res50_pt

 Y Y Y Y Y N/A Object Tracking
61

facereid-large_pt

 Y Y Y Y Y N/A
62

facereid-small_pt

 Y Y Y Y Y N/A
63

SemanticFPN_cityscapes_pt

 Y Y Y Y Y Y Segmentation
64

facerec-resnet20_mixed_pt

 Y Y Y Y Y N/A Face Recognition
65 face-quality_pt Y Y Y Y Y Y
66 MT-resnet18_mixed_pt Y Y N/A N/A N/A N/A ADAS
67 salsanext_pt Y Y Y Y Y Y Point Cloud
68 pointpillars_kitti_12000_0_pt

pointpillars_kitti_12000_1_pt

 Y Y N/A N/A N/A N/A
69 unet_chaos-CT_pt Y Y Y Y Y Y CT Segmentation
70 FPN-resnet18_covid19-seg_pt Y Y Y Y Y Y Covid-19 Segmentation
71 ENet_cityscapes_pt Y Y Y Y Y Y Segmentation
72 personreid-res18_pt Y Y Y Y Y N/A Object Tracking
73 yolov4_leaky_spp_m Y Y Y Y Y N/A Object Detection
74 hourglass-pe_mpii Y Y N/A N/A N/A N/A Pose Estimation
75 retinaface Y Y N/A Y Y N/A Face Detection
76 FPN-resnet18_Endov Y Y N/A N/A N/A N/A Robot Instrument Segmentation
77 tiny_yolov3_vmss Y Y Y Y Y Y Object Detection
78 face-quality Y Y Y Y Y Y Face Recognition
79 ssdlite_mobilenet_v2_coco_tf Y Y N/A Y Y N/A Object Detection
80 ssd_inception_v2_coco_tf Y Y N/A N/A Y N/A
81 MLPerf_resnet50_v1.5_tf Y Y Y Y Y Y Image Classification
82 mobilenet_edge_1_0_tf Y Y N/A N/A Y N/A
83 mobilenet_edge_0_75_tf Y Y N/A N/A Y N/A
84 refinedet_VOC_tf Y Y Y Y Y Y Object Detection
85 RefineDet-Medical_EDD_tf Y Y Y Y Y Y Medical Detection
86 resnet_v2_50_tf Y Y N/A N/A N/A N/A Image Classification
87 resnet_v2_101_tf Y Y N/A N/A N/A N/A
88 resnet_v2_152_tf Y Y N/A N/A N/A N/A
89 mobilenet_v2_cityscapes_tf Y Y N/A N/A N/A N/A Segmentation
90 inception_v2_tf Y Y N/A N/A Y N/A Image Classification
91 resnet50_tf2 Y Y Y Y Y Y
92 mobilenet_1_0_224_tf2 Y Y N/A Y Y N/A
93 inception_v3_tf2 Y Y Y Y Y N/A
94 medical_seg_cell_tf2 Y Y Y Y Y Y Medical Segmentation
95 semantic_seg_citys_tf2 Y Y Y Y Y Y Segmentation
96 efficientNet-edgetpu-S_tf Y Y N/A N/A Y N/A Image Classification
97 efficientNet-edgetpu-M_tf Y Y N/A N/A Y N/A
98 efficientNet-edgetpu-L_tf Y Y N/A N/A Y N/A
99 SemanticFPN_Mobilenetv2_pt Y Y N/A Y Y N/A Segmentation
100 pointpillars_nuscenes_40000_64_0_pt

pointpillars_nuscenes_40000_64_1_pt

 Y Y Y Y Y N/A 3D object detection
101 pointpainting_nuscenes_40000_64_0_pt

pointpainting_nuscenes_40000_64_1_pt

 Y Y Y Y Y N/A 2D semantic segmentation and 3D object detection
102 salsanext_v2_pt Y Y Y Y Y Y 3D Segmentation
103 centerpoint_0_pt

centerpoint_1_pt

 Y Y N/A N/A N/A N/A 4D radar detection
104 multi_task_v3_pt Y Y N/A N/A N/A N/A ADAS
105 FADNet_0_pt

FADNet_1_pt

FADNet_2_pt

 Y Y Y Y Y Y Depth Estimation
106 rcan_pruned_tf Y Y N/A N/A N/A N/A Super Resolution
107 efficientnet_tf N/A Y N/A N/A N/A N/A Classification
108 yolov4_leaky_spp_m_pruned_0_36 Y Y Y Y N/A N/A Object Detection
109 pmg_pt Y Y Y Y Y N/A Brand Recognition
110 bbc_pt Y Y N/A N/A N/A N/A Bayesian Crowd Counting
111 SA_gate_pt N/A Y N/A N/A N/A N/A Indoor Segmentation
112 ultrafast_pt Y Y Y Y Y Y Road Line Detection
113 HardNet_MSeg_pt Y Y N/A N/A N/A N/A Polyp Segmentation
114 drunet_pt Y Y Y Y Y Y Image Denoising
115 person-orientation_pruned_558m_pt Y Y Y Y Y N/A Person Orientation Estimation
116 ofa_resnet50_0_9B_pt Y Y Y Y Y N/A Classification
117 SESR_S_pt Y Y Y Y Y Y Image Super-Resolution
118 C2D2_Lite_0_pt

C2D2_Lite_1_pt

 Y Y N/A N/A N/A N/A Coverage Prediction
119 ofa_depthwise_res50_pt Y Y N/A N/A Y N/A Classification
120 FADNet_pruned_0_pt

FADNet_pruned_1_pt

FADNet_pruned_2_pt

 Y Y N/A N/A N/A N/A Depth Estimation
121 PSMNet_pruned_0_pt

PSMNet_pruned_1_pt

PSMNet_pruned_2_pt

N/A Y N/A N/A N/A N/A
122 FairMot_pt Y Y Y Y Y Y Joint detection and Tracking
123 mobilenet_v3_small_1_0_tf2 Y Y N/A N/A N/A N/A Classification
124 ssr_pt Y Y N/A N/A N/A N/A Spectral Remove
125 clocs_pointpillars_kitti_0_pt

clocs_pointpillars_kitti_1_pt

clocs_fusion_cnn_pt

clocs_yolox_pt

 Y Y N/A N/A N/A N/A Image-lidar fusion 3D Detection
126 tsd_yolox_pt Y Y Y Y Y N/A Traffic Sign Detection
127 solo_pt N/A Y N/A N/A N/A N/A Instance Segmentation
  1. Networks with the suffix "_tf" or "_tf2" were trained on TensorFlow.
  2. Networks with the suffix "_pt" were trained on PyTorch.
  3. Networks with no suffix were trained on Caffe.

Device Support

The following platforms and evaluation boards (EVB) are supported by the Vitis™ AI Library 2.0.

Table 2. Edge Device Support
Platform EVB Version
Zynq UltraScale+ MPSoC ZU9EG Xilinx ZCU102 1.1
Zynq® UltraScale+™ MPSoC ZU7EV Xilinx ZCU104 1.0
Zynq UltraScale+ MPSoC Xilinx Kria™ KV260 1.0
Versal AI Core series VC1902 Xilinx VCK190 Production
Table 3. Cloud Board Support
Accelerator Cards
Xilinx Alveo U50LV Data Center accelerator card
Xilinx Alveo U200 Data Center accelerator card
Xilinx Alveo U250 Data Center accelerator card
Xilinx Alveo U55C Data Center accelerator card
Versal AI Core series VCK5000 Data Center development kit

Limitations

  • For VCK5000, only production cards are supported. Use Vitis AI 1.4.x if using VCK5000-ES1 cards.
  • Alveo U50 and U280 cards are no longer supported. Use Vitis AI 1.4.x if using these cards.
  • Due to limitations of the Docker environment, MultiTask demos cannot run on the DRM mode on Cloud boards.