存储器停滞分析 - 2023.2 简体中文

1. 选择Trace（追踪）视图。
2. 选择Memory Stalls（存储器停滞）表。
   图 1. Trace视图中的“Memory Stall”

   此处停滞名为 MS_<NUM>。编号随时间增加。每次停滞都包含下列关联信息。

   NAME（名称）

   存储器停滞 ID。停滞发生时间越早，编号越小。此编号在所有类型的停滞中都是唯一的。

   Stalled Tile（停滞的拼块）

   已停滞的内核所在的 AI 引擎 tile。

   Stalled Kernel（停滞的内核）

   已停滞的内核。此内核名为 <Kernel_function_name>.<Schedule_ID>.<Graph_instance_name>。有时，它显示为 _main，随后，需通过交叉探测来查找实际的内核函数。

   Start (ps)（开始 (ps)）

   发生停滞的开始时间

   Duration (ps)（持续时间 (ps)）

   停滞的持续时间。

   PC

   发生停滞时的程序计数器。

   Bank Conflict（存储体冲突）

   发生停滞的存储器。

   Buffer 1、Buffer 2、Buffer 3

   导致存储器停滞的缓冲器。可能仅有一个缓冲器，也可能有多个缓冲器导致停滞。

3. 单击Stalls（停滞）视图中的每一行停滞时，它会转至Trace（追踪）视图中存储器停滞的起始位置。通过缩放Trace（追踪）视图即可观察存储器停滞的发生频率，以及运行中的内核中发生停滞的位置。
   注释： 如果在运行中的内核中重复发生大量存储器停滞，这表明停滞可能循环发生。最好对此问题进行调查并解决。如果仅在内核开始运行时发生一次存储器停滞，或者在内核运行期间仅发生少量停滞，通常可将其忽略。根据导致停滞的缓冲器名称可以识别出导致停滞的是窗口缓冲器、系统缓冲器或其他缓冲器。如果是可在计算图中加以控制的窗口缓冲器或 RTP 缓冲器，那么可以使用约束对其进行手动布局，前提是能够找到更好的布局方法。如果是系统存储器（名为 system<NUM>+<NUM>），则需识别停滞中所涉及的变量。
4. 单击特定停滞对应的行，然后切换至Events（事件）视图。
   图 2. “Memory Stall”的Events视图
5. Events视图可显示器件中发生的事件。发生存储器停滞的周期会高亮显示。您可看到发生 DM_BANK_CONFLICT 事件的 tile（拼块），以及正在读取或写入的数据。
6. 请尝试浏览停滞周期之前或之后的其他周期以寻找线索。

   在某些情况下，该工具会调度为在某一周期内同一个 bank 上读取或写入变量。在 AI 引擎内核与计算图编程指南 (UG1079) 的“含虚拟资源注解的加载和存储”中记录了一种解决方案。例如，重定义指向这些变量，并为其添加注解 __aie_dm_resource_a。代码示例如下所示：

   const v8cint16 __aie_dm_resource_a* __restrict coeff = (v8cint16 __aie_dm_resource_a*) eq_coef0; const v8cint16 coe = *coeff;
   v16cint16 __aie_dm_resource_a* __restrict p_buff = (v16cint16 __aie_dm_resource_a*) &delay_line; v16cint16 buff=*p_buff;

下表列出了导致存储器停滞的部分可能场景以及可能的解决方案。