Vitis AI ランタイムにより、アプリケーションはクラウドとエッジの両方に対応する高レベルの統合されたランタイム API を使用でき、クラウドとエッジ間の運用がシームレスかつ効率的になります。
AI ランタイム API の機能は次のとおりです。
- アクセラレータへジョブを非同期送信
- アクセラレータからジョブを非同期取得
- C++ および Python で実装
- マルチスレッドおよびマルチプロセスの実行に対応
Vitis AI ランタイム (VART) は、DPUCZDX8G、DPUCADF8H、DPUCAHX8H、DPUCVDX8G、および DPUCVDX8H をベースとするデバイスに最適な次世代ランタイムです。
- DPUCZDX8G は、ZCU102/ZCU104 評価ボードや KV260 スターター キットなどのエッジ デバイスに使用されます。
- DPUCADX8G および DPUCADF8H は、Alveo U200 および U250 カードなどのクラウド デバイスに使用されます。
- DPUCAHX8H は Alveo U50LV および U55C カードなどのクラウド デバイスに使用されます。
- DPUCVDX8G は、VCK190 ボードなどの Versal 評価ボードに使用されます。
- DPUCVDX8H は、Versal ACAP VCK5000 ボードに使用されます。
次の図に VART のフレームワークを示します。今回の Vitis AI リリースでは、VART は XRT をベースにしています。XIR はザイリンクス中間表現 (Xilinx Intermediate Representation) です。
図 1. VART スタック