WeGO (Whole Graph Optimizer) は、Vitis AI 開発キットと TensorFlow および PyTorch フレームワークを統合することにより、TensorFlow および PyTorch モデルをクラウド DPU 上で容易に運用できるようにした Vitis AI のアーリー アクセス機能です。TensorFlow 1.15 に加えて、WeGO は VAI 2.5 から TensorFlow 2.8 および PyTorch 1.10 のサポートを開始します。WeGO は、Vitis AI のフレームワーク内推論ソリューションと見なされます。これは VART API または AI ライブラリを使用する非フレームワーク手法とは対照的です。
WeGO は Vitis AI 量子化済みモデルに対してサブグラフの分割を自動で実行し、クラウド DPU 互換サブグラフに対して最適化とアクセラレーションを適用します。グラフのうち、DPU でサポートされないその他の部分 (CPU サブグラフと呼ばれる) は TensorFlow または PyTorch フレームワークにディスパッチされ、CPU でネイティブ実行されます。WeGO はグラフ全体の最適化、コンパイル、およびランタイム サブグラフのディスパッチと実行を担います。このプロセスはエンドユーザーからは完全に透過的であり、使いやすくなっています。
WeGO を使用することで、モデル設計者はトレーニングから推論へ簡単に進むことができます。WeGO には TensorFlow または PyTorch フレームワーク上で量子化済みモデルを運用するための Python プログラミング インターフェイスが用意されています。このため、モデルのトレーニング フェーズで TensorFlow または PyTorch を使用して開発した Python コード (プリプロセスおよびポストプロセスを含む) を最大限に再利用できます。これにより、クラウド DPU 上でのモデルの運用と評価の生産性が大幅に向上します。
注記: 現在、WeGO は VCK5000 Prod プラットフォーム上のクラウド DPU ターゲット DPUCVDX8H のみをサポートします。
WeGo の例と、TensorFlow と PyTorch を使用してモデルを運用する方法の詳細は、Vitis AI GitHub リポジトリ を参照してください。