PyTorch Profiling 系列第二篇:从 nn.Linear 到融合 MLP 的内核解析
Hugging Face 发布 PyTorch Profiling 教程第二部分,深入解析从 nn.Linear 到多层感知机(MLP)的性能剖析。文章展示了 bias 加法如何通过 epilogue 融入 GEMM 内核,以及 torch.compile 如何将 GeLU 和乘法操作融合为单个 Triton 内核以减少 HBM 往返。
推荐理由:通过对比 eager、compile 和手写 kernel 的 profiler trace,揭示了 PyTorch 中算子融合与内存访问优化的具体机制及权衡。