以下代码展示了如何利用 vai_q_tensorflow2 API 执行训练后量化并将量化模型导出到 ONNX:
model = tf.keras.models.load_model('float_model.h5')
from tensorflow_model_optimization.quantization.keras import vitis_quantize
quantizer = vitis_quantize.VitisQuantizer(model)
quantized_model = quantizer.quantize_model(calib_dataset=calib_dataset,
output_format='onnx',
onnx_opset_version=11,
output_dir='./quantize_results',
**kwargs)
- output_format
-
string。指示量化模型的保存格式。选项包括:
- '' 表示跳过保存
- h5 表示保存 .h5 文件
- tf 表示保存 saved_model 文件
- onnx 表示保存 ONNX 文件
默认值为 ''。
- onnx_opset_version
- int。表示 ONNX opset 版本。仅当 output_format 设为 'onnx' 时才生效。默认值为 11。
- output_dir
- string。指示量化模型的保存目录。默认值为“./quantize_results”。