TensorFlow 1.x バージョン (vai_q_tensorflow) - 3.5 日本語

Vitis AI ユーザーガイド (UG1414)

Document ID: UG1414
Release Date: 2023-09-28
Version: 3.5 日本語

Vitis AI の概要
この資料に関連する設計プロセス
機能
Vitis AI ツールの概要
Vitis AI Model Zoo
Vitis AI オプティマイザー
Vitis AI クオンタイザー
Vitis AI コンパイラ
Vitis AI プロファイラー
Vitis AI ライブラリ
Vitis AI ランタイム
Vitis AI コンテナー
システム要件
モデルの最適化
概要とインストール
Vitis AI オプティマイザーの概要
サポートされるフレームワークと機能
プルーニング
概要
DPU でサポートされるプルーニング手法
細粒度プルーニング
粗粒度プルーニング
反復プルーニングとワンステッププルーニングの比較
反復プルーニング
モデルをプルーニングする
プルーニング結果改善のための推奨事項
NAS (Neural Architecture Search)
ワンステッププルーニング
OFA (Once-for-All)
プルーニング手法の選択
TensorFlow (1.15) バージョン - vai_p_tensorflow
ベースラインモデルを準備する
TensorFlow セッションのインスタンス化
プルーニングランナーを作成する
モデルをプルーニングする
スパース (疎) モデルを微調整する
vai_p_tensorflow API
TensorFlow の例
TensorFlow (2.x) バージョン – vai_p_tensorflow2
モデルを作成する
プルーニングランナーを作成する
モデルをプルーニングする
スパース (疎) モデルを微調整する
反復プルーニングを実行する
プルーニング済みモデルを生成する
vai_p_tensorflow2 API
tf_nndct.IterativePruningRunner
TensorFlow2 の例
PyTorch バージョン - vai_p_pytorch
細粒度プルーニング
モデルを作成する
スパースプルーナーを作成する
スパースモデルを生成する
スパースモデルを生成する
粗粒度プルーニング
モデルを作成する
プルーニングランナーを作成する
モデルをプルーニングする
モデルに再学習させる
プルーニング済みモデルを生成する
OFA (Once-for-All)
モデルを作成する
OFA プルーナーを作成する
OFA モデルを生成する
OFA モデルに学習させる
制約されるサブネットワークを検索する
サブネットワークを生成する
vai_p_pytorch API
pytorch_nndct.SparsePruner
pytorch_nndct.get_pruning_runner
pytorch_nndct.IterativePruningRunner
pytorch_nndct.OneStepPruningRunner
pytorch_nndct.OFAPruner
PyTorch の例
モデルの量子化
概要
Vitis AI クオンタイザーのフロー
TensorFlow 1.x バージョン (vai_q_tensorflow)
vai_q_tensorflow のインストール
vai_q_tensorflow の実行
浮動小数点モデルと関連する入力ファイルを準備する
凍結された推論グラフを生成
キャリブレーションデータセットと入力関数の準備
vai_q_tensorflow を使用したモデルの量子化
量子化されたモデルの生成
(オプション) 量子化されたモデルを ONNX にエクスポートする
(オプション) 量子化されたモデルの評価
(オプション) シミュレーション結果のダンプ
vai_q_tensorflow 量子化認識トレーニング
生成されるファイル
TensorFlow 1.x 用の QAT API
vai_q_tensorflow.CreateQuantizeTrainingGraph (config)
vai_q_tensorflow.CreateQuantizeEvaluationGraph(config)
vai_q_tensorflow.CreateQuantizeDeployGraph(checkpoint, config)
QAT のヒント
Float16 または BFloat16 への変換
vai_q_tensorflow でサポートされる動作および API
vai_q_tensorflow の使用法
vai_q_tensorflow のエラーコード
TensorFlow 2.x バージョン (vai_q_tensorflow2)
vai_q_tensorflow2 のインストール
浮動小数点モデルの検査
vai_q_tensorflow2 の実行
浮動小数点モデルとキャリブレーションセットの準備
vai_q_tensorflow2 API を使用した量子化
(オプション) vai_q_tensorflow2 高速微調整
量子化されたモデルの保存
(オプション) 量子化されたモデルを ONNX にエクスポートする
(オプション) 量子化されたモデルの評価
(オプション) シミュレーション結果のダンプ
量子化ストラテジの設定
浮動小数点スケールを使用した量子化
Float16 または BFloat16 への変換
vai_q_tensorflow2 量子化認識トレーニング
カスタムレイヤーを使用した量子化
vai_q_tensorflow2 でサポートされる動作および API
vai_q_tensorflow2 の使用法
vitis_inspect.VitisInspector
vitis_inspect.VitisInspector.inspect_model
vitis_quantize.VitisQuantizer
vitis_quantize.VitisQuantizer.quantize_model
vitis_quantize.VitisQuantizer.dump_model
vitis_quantize.VitisQuantizer.dump_quantize_strategy
vitis_quantize.VitisQuantizer.set_quantize_strategy
vitis_quantize.VitisQuantizer.get_qat_model
vitis_quantize.VitisQuantizer.get_deploy_model
例
vai_q_tensorflow2 のエラーコード
Pytorch バージョン (vai_q_pytorch)
vai_q_pytorch のインストール
量子化の前の浮動小数点モデルの検査
vai_q_pytorch の実行
vai_q_pytorch 用のファイルを準備する
モデルの定義を変更する
vai_q_pytorch API を浮動小数点スクリプトに追加する
量子化を実行し、結果を取得する
ハードウェアを考慮した量子化ストラテジ
モジュールの部分的量子化
カスタム演算 (OP) の登録
vai_q_pytorch 高速微調整
量子化ストラテジの設定
新しいデータ形式を使用する
量子化されたモデルの推論
vai_q_pytorch QAT
vai_q_pytorch QAT の要件
よりよいトレーニング結果を得るためのガイドライン
vai_q_pytorch の使用法
クラス torch_quantizer()
def export_quant_config(self)
def export_xmodel(self, output_dir, deploy_check)
def export_onnx_model (self、output_dir、verbose) - 新規
def export_torch_script(self, output_dir, verbose)
Class Inspector
def inspect(…)
vai_q_pytorch のメッセージ
VAIQ_WARN
VAIQ_ERROR
ONNX Runtime バージョン (vai_q_onnx)
Installing vai_q_onnx
vai_q_onnx の実行
浮動小数点モデルとキャリブレーションセットの準備
(オプション) 浮動小数点モデルの前処理
vai_q_onnx API を使用した量子化
(オプション) 量子化されたモデルの評価
(オプション) シミュレーション結果のダンプ
vai_q_onnx でサポートされている演算子および API
vai_q_onnx Usage
モデルのコンパイル
Vitis AI コンパイラ
XIR ベースのツールチェーンによるコンパイル
XIR
DPU 向けのコンパイル
カスタマイズされたアクセラレータ用のコンパイル
サポートされている演算子と DPU の制限
現在サポートされている演算子
TensorFlow でサポートされる演算子
PyTorch でサポートされる演算子
VAI_C の使用法
モデルの運用と実行
VART を使用したプログラミング
C++ の例
Python の例
VART による DPU のデバッグ
TensorFlow のワークフロー
PyTorch ワークフロー
カスタム OP ワークフロー
クイックスタート (カスタム OP ワークフロー)
量子化
コンパイル
OP の登録
運用
Tensorflow2 カスタム OP モデルの例
モデルの量子化
モデルのコンパイル
カスタム OP の登録
運用
Pytorch カスタム OP モデルの例
モデルの量子化
モデルのコンパイル
カスタム OP の登録
運用
VOE を使用したプログラミング
複数 FPGA のプログラミング
XRM
AI カーネルスケジューラ
WeGO の使用
OnBoard で可視化
WeGO プログラミングインターフェイス
PyTorch
WeGO-Torch C++ クラスおよび API
コア C++ クラス
コア C++ API
WeGO-Torch Python クラスおよび API
コア Python クラス
コア Python API
WeGO-PyTorch の制限
例
TensorFlow 2.x
WeGO-TensorFlow2.x Python API
コア Python クラス
コア Python API
環境変数
例
TensorFlow 1.x
WeGO-TensorFlow 1.x Python API
コア Python クラス
コア Python API
環境変数
例
WeGO のオンザフライ量子化
量子化 API
PyTorch
TensorFlow 2.x
TensorFlow 1.x
AMD ZenDNN による性能の最適化
WeGO PyTorch での ZenDNN
WeGO TensorFlow 2 での ZenDNN
モデルのプロファイリング
Vitis AI プロファイラー
Vitis AI プロファイラーのアーキテクチャ
Vitis AI プロファイラー GUI の概要
Vitis AI プロファイラーの使用
Vitis AI プロファイラーのインストール
vaitrace を使用して簡単なトレースを開始
vaitrace の使用法
コンフィギュレーション
テキストサマリ
DPU のプロファイリング例
エラーコード
その他のリソースおよび法的通知
その他の資料
サポートリソース
参考資料
改訂履歴
お読みください: 重要な法的通知

Back to home page