概述 - 3.5 简体中文

本节描述了如何在边缘开发板上部署量化的 ONNX 模型。

在 Vitis AI 3.5 中提供了 ONNX Runtime Vitis AI Execution Provider (Vitis AI EP)，用于搭配 DPU 来执行硬件加速 AI 推断。它允许您在目标开发板上直接运行已量化的 ONNX 模型。当前，ONNX Runtime 内的 Vitis AI EP 支持使用嵌入式器件（如 Zynq UltraScale+ MPSoC、Versal 器件、Versal AI Edge 器件和 Kria 卡）来加速神经网络模型推断。

Vitis AI ONNX Runtime Engine (VOE) 是 Vitis AI EP 的实现库。