WeGO (Whole Graph Optimizer) は Vitis AI の主要機能の 1 つで、TensorFlow と PyTorch モデルを Versal データセンター DPU 上で運用するためのシームレスなソリューションを提供します。WeGO は Vitis AI 開発キットを TensorFlow および PyTorch フレームワークと統合することにより、DPU 上でのモデルの効率的な運用を可能にします。Vitis AI 2.5 以降で、WeGO は TensorFlow 2.x と PyTorch 1.x をサポートしています。VART API や AI ライブラリを使用する非フレームワークのアプローチとは異なり、WeGO は Vitis AI 内のフレームワーク内推論ソリューションであると考えられます。
WeGO はサブグラフの分割を自動で実行し、データセンター DPU 互換サブグラフに対して最適化とアクセラレーションを適用します。DPU でサポートされていない部分 (CPU サブグラフと呼ぶ) は、TensorFlow または PyTorch フレームワークにディスパッチされ、CPU ネイティブで実行されます。WeGO は、グラフ全体の最適化、コンパイル、およびランタイム サブグラフのディスパッチと実行を含むプロセス全体を処理します。このプロセスのエンドユーザーからの透過性は完全に維持されているため、使いやすくなっています。
WeGO を使用すると、モデル設計者にトレーニングから推論へのシームレスな移行が提供されます。WeGO では、Python プログラミング インターフェイスを通じて、TensorFlow または PyTorch フレームワークで量子化されたモデルを簡単に運用できるようになります。このインターフェイスにより、モデルのトレーニング フェーズで TensorFlow または PyTorch を使用して開発した Python コード (プリプロセスおよびポストプロセスを含む) を最大限に再利用できます。その結果、WeGO はデータセンター DPU 上のモデルを運用および評価する際の生産性を大幅に向上させます。
注記: 現在、WeGO は V70 プラットフォームのデータセンター向け DPU ターゲットの DPUCV2DX8G のみをサポートしています。
WeGo の例と、TensorFlow と PyTorch を使用してモデルを運用する方法の詳細は、Vitis AI GitHub リポジトリ を参照してください。