TensorFlow Lite (TFLite) 是聚焦 TensorFlow Lite 模型的开源推断加速器。Vitis AI 已集成该平台,从而为可从 TensorFlow 导出的 TFLite 模型提供最强大的支持。它在 Python 和 C++ 中整合了最易于使用的运行时 API,无需 TVM 所要求的独立编译阶段即可支持模型。TensorFlow Lite 中包含分区器,可在 CPU 和 FPGA 之间自动进行分区,从而进一步增强模型部署便利性。最后,它还整合了 Vitis AI 量化器,且无需独立量化设置。
如需了解有关 TensorFlow Lite 的更多信息,请参阅 https://tensorflow.org/lite。
Vitis AI 在 GitHub 仓库中提供了有关 Vitis AI 与 TensorFlow Lite 集成的教程和安装指南:https://github.com/Xilinx/Vitis-AI/tree/v3.0/third_party/tflite。