ONNX Runtime には、次の機能があります。
- ONNX Opset バージョン 18、ONNX Runtime 1.16.0 および ONNX バージョン 1.13 をサポート
- C++ API と Python API (Python バージョン 3) をサポート
- Vitis AI EP 以外に、ACL EP などの実行プロバイダーを組み込むことで AMD DPU での推論を高速化可能
- Arm® 64 Cortex-A72 コアでの演算をサポート。Vitis AI 3.5 でサポートされるターゲットは VEK280
ONNX Runtime には、次の利点があります。
- 多用途性
- 追加の演算子用にほかの実行プロバイダー (Arm NN や Arm ACL など) を使用しながら、AMD DPU 上でサブグラフを運用できます。この柔軟性により、ターゲット ボードで直接サポートされていないモデルも運用が可能です。
- 性能の向上
- 特定の演算子には AMD DPU など専用の実行プロバイダーを使用し、その他の演算子には別の実行プロバイダーを使用することにより、個々のモデルに最適化した性能を達成できます。
- サポートされるモデルの拡充
- ONNX Runtime の改良により、DPU でネイティブにサポートされない演算子を使用したモデルも運用が可能です。追加の実行プロバイダーを組み込むと、ONNX Model Zoo で提供されるものを含め、幅広い種類のモデルを実行できます。