企业官网建设流程全解析

专栏：大模型应用开发：从原理到生产
篇号：10
内容标签：MoE、大模型、Transformer、人工智能、推理

前面几篇我们从 Transformer、Attention、推理流程、KV Cache 一路讲到这里，其实一直在回答同一个问题：

大模型为什么能工作，又为什么这么贵？

Transformer 让模型可以并行训练和建立长距离关系。
Attention 让模型在上下文里分配注意力。
自回归推理让模型一个 Token 一个 Token 生成答案。
KV Cache 让历史 K/V 可以复用，避免每一步都重算。

但还有一个更大的矛盾没解决：

模型越大，通常能力越强；可模型越大，训练和推理也越贵。

如果一个模型有几千亿参数，难道每生成一个 Token 都要把几千亿参数全部跑一遍吗？

如果答案是“是”，那大模型的规模会很快撞到成本墙。

MoE 就是为了解这个矛盾而出现的一条重要路线。

MoE，全称 Mixture of Experts，混合专家。

它的核心思想很像一个专家团队：

不是什么问题都让所有专家一起上，而是先判断问题类型，再找少数几个最相关的专家处理。

这样，模型可以拥有很大的总容量，但每个 Token 只激活