MLIR的Memory Access优化：Coalescing与Prefetching一个让我熬夜三天的bug去年做AI加速器编译器的时候，遇到一个诡异的现象：同样的计算逻辑，只是把循环顺序调了一下，性能差了8倍。当时盯着VTune的L1 cache miss率，从5%直接飙到67%，整个人都不好了。更坑的是，这个bug在x86上几乎看不出来，但在我们自研的NPU上就原形毕露——因为NPU的memory subsystem没有x86那么强大的硬件prefetcher和out-of-order执行能力。后来追到MLIR的affine dialect层面，发现是循环tiling后的访存模式破坏了coalescing。这个教训让我意识到：在MLIR的IR层面做memory access优化，比在LLVM IR层面做要有效得多，因为MLIR保留了更丰富的结构信息。Coalescing：别让你的数据在cache里“打架”Coalescing这个词，直译是“合并”，但在内存访问的语境下，它指的是连续的内存访问模式。GPU程序员对这个词应该不陌生——global memory coalescing是CUDA优化的第一课。但在MLIR里，coalescing的优化范围更广，它适用于任何有内存层次结构的硬件。看一个典型的反例。假设我们有一个2D张量，想按列访问：