AD/ADAS システムでは、認識の品質と運転の安全水準を高める上でセンサー フュージョン アルゴリズムが重要な役割を果たします。PointPainting は、2D セマンティック セグメンテーションと 3D 物体検出のモデルを利用したセンサー フュージョン フレームワークを提供します。まずカメラ画像に対してネットワークを適用してセマンティック セグメンテーションを実行します。このセマンティック情報および (カメラと LiDAR の) キャリブレーション情報に基づき、LiDAR 点群を画像に投影し、セマンティック情報と融合することにより、ペイントされた点群を得ます。最後に、このペイントされた点群を 3D 物体検出器に入力することで、認識精度の向上を達成します。
図 1. PointPainting の例
次の表に、Vitis AI ライブラリでサポートされる PointPainting モデルを示します。
番号 | モデル名 | フレームワーク |
---|---|---|
1 | pointpainting_nuscenes_40000_64_0_pt | PyTorch |
2 | pointpainting_nuscenes_40000_64_1_pt | PyTorch |
3 | semanticfpn_nuimage_576_320_pt | PyTorch |