各种应用可借助 Vitis AI 运行时来访问统一的高层次运行时 API,从而实现无缝、高效的数据中心到边缘部署。这种连贯的接口可简化应用部署进程,确保数据中心与边缘环境之间的平稳过渡。
AI 运行时 API 的功能如下所述:
- 向加速器异步提交作业
- 从加速器异步收集作业
- C++ 和 Python 实现
- 支持多线程和多进程执行
下图显示了此 VART 框架。XIR 是 AMD 中间表示形式,是 Vitis AI 中用于表示神经网络运算符的内部 IR。
图 1. VART 栈
各种应用可借助 Vitis AI 运行时来访问统一的高层次运行时 API,从而实现无缝、高效的数据中心到边缘部署。这种连贯的接口可简化应用部署进程,确保数据中心与边缘环境之间的平稳过渡。
AI 运行时 API 的功能如下所述:
下图显示了此 VART 框架。XIR 是 AMD 中间表示形式,是 Vitis AI 中用于表示神经网络运算符的内部 IR。