企业官网建设流程全解析

Attention 优化全景：MHA、MQA、GQA 与 FlashAttention

【大模型面试通关手册 · 第 05 篇】
本篇覆盖：传统 Attention 存在哪些问题、Attention 的优化方向与变体、Multi-head Attention 的问题、MQA 是什么、MHA 与 MQA 的对比、MQA 的好处与代表模型、GQA 是什么、谁在用 GQA、FlashAttention 的核心思想（答案Plus Attention 优化篇 + MQA 篇 + GQA 篇 + FlashAttention 篇，共 12 题）

一、面试现场：这道题一般怎么问

这是"推理优化"方向最核心的一组题，几乎每场大模型岗面试都会碰到。问法通常沿着一条链走：

“传统 Attention 存在什么问题？”
“有哪些优化方向？你了解哪些 Attention 变体？”
“Multi-head Attention 有什么问题？”（注意：不是问原理，是问问题）
“MQA 是什么？它和 MHA 比省在哪？”
“GQA 你知道吗？为什么 LLaMA-2 用 GQA 而不是 MQA？”
“FlashAttention 是怎么加速的？它是近似算法吗？”

最后一句是陷阱题。答"是近似"就错了——FlashAttention 的计算结果是