命令フェッチ/デコード ユニットは、現在のプログラム カウンター (PC) レジスタの値をアドレスとしてプログラム メモリに送信します。プログラム メモリはフェッチした 128 ビット幅の命令値を返します。この命令値をデコードした後、すべての制御信号が AIE-ML のファンクション ユニットへ送信されます。AIE-ML のプログラム メモリ サイズは 16KB のため、128 ビット幅の命令を 1024 個格納できます。
AIE-ML の命令サイズは 16 ～ 128 ビットで、複数の命令フォーマットおよび可変長命令をサポートしており、プログラム メモリ サイズを抑えることができます。VLIW スロットをすべて使用する場合は、ほとんどのケースで 128 ビット全体が必要となります。ただし外周ループ、メイン プログラム、制御コード、そして場合によっては内周ループのプリアンブル/ポストアンブルの命令の多くはそれよりも短いフォーマットで十分であり、圧縮した命令を小容量の命令バッファーに格納できます。