(オプション) 量子化されたモデルの評価 - 3.5 日本語

AMD Model Zoo のモデルなどの浮動小数点モデルを評価するためのスクリプトがある場合、評価のために、浮動小数点モデル ファイルを量子化されたモデルに置き換えることができます。

カスタマイズされた FixNeuron 演算子をサポートするには、vai_dquantize モジュールをインポートする必要があります。次に例を示します。

import onnxruntime as ort
from vai_q_onnx.operators.vai_ops.qdq_ops import vai_dquantize

so = ort.SessionOptions()
so.register_custom_ops_library(_lib_path())
sess = ort.InferenceSession(dump_model, so)
input_name = sess.get_inputs()[0].name
results_outputs = sess.run(None, {input_name: input_data})

浮動小数点モデル ファイルを量子化されたモデルに置き換えた後、量子化されたモデルを浮動小数点モデルとして評価します。