CLOCs は、自動運転における 3D 物体検出を可能にする画期的なカメラ/LiDAR フュージョン手法です。2D 検出パイプライン (入力はカメラ画像) と 3D 検出パイプライン (入力は LiDAR 点群) からの予測結果を軽量のフュージョン ネットワークに並列に入力します。このネットワークは 2D/3D 予測のフュージョンを適切に実行できるようにトレーニングされており、3D 検出結果のスコアを改善します。CLOCs はフュージョン ネットワークの 2D/3D パイプラインを分離しており、さまざまな種類の 2D/3D パイプラインを導入することで精度と効率の最適なバランスを簡単に実現できます。次の画像は、CLOCs の結果を示しています。
図 1. CLOCs の例
次の表に、Vitis AI ライブラリでサポートされる CLOCs モデルを示します。
番号 | モデル名 | フレームワーク |
---|---|---|
1 | clocs_pointpillars_kitti_0_pt | PyTorch |
2 | clocs_pointpillars_kitti_1_pt | |
3 | clocs_fusion_cnn_pt | |
4 | clocs_yolox_pt |