对于 AD/ADAS 系统,传感器融合算法在为驾驶提供高质量感知和提升驾驶安全等级方面扮演了至关重要的角色。PointPainting 可提供传感器融合框架,此框架能有效利用二维语义分割模型和三维对象检测模型。首先,将网络应用于摄像头图像,以进行语义分割。根据摄像头和激光雷达上的语义信息和校准信息,将激光雷达点云投射到图像上,并与语义信息相融合,从而获取上色的点云。最后,上色的点云供三维对象检测器用于实现更好的感知。
图 1. PointPainting 示例
下表列出了 Vitis AI Library 支持的 PointPainting 模型。
编号 | 模型名称 | 框架 |
---|---|---|
1 | pointpainting_nuscenes_40000_64_0_pt | PyTorch |
2 | pointpainting_nuscenes_40000_64_1_pt | PyTorch |
3 | semanticfpn_nuimage_576_320_pt | PyTorch |