TensorFlow2 量化器支持使用两种方法来量化深度学习模型:
- 训练后量化 (PTQ)
- PTQ 是一种将预训练的浮点模型转换为量化模型的技术,模型精度损失极小。要执行 PTQ,就需要一个代表性数据集来对浮点模型运行多批次的推断,这有助获取激活的分布。此进程也称为量化校准。
- 量化感知训练 (QAT)
- QAT 用于在模型量化过程中对前向传递和后向传递中的量化误差进行建模。使用 QAT 时,建议从已显示出良好精度的浮点预训练模型开始,而不要从头开始。
TensorFlow2 量化器支持使用两种方法来量化深度学习模型: