企业官网建设流程全解析

如果把大模型的崛起只概括为“模型越来越大”，会漏掉最有意思的部分。

参数规模当然重要，但光有规模，模型只会更熟练地续写文本，未必听得懂指令，也未必能处理一项真实任务。今天看到的对话、写作、编程和工具调用能力，背后其实有几条不同的技术线：预训练提供了通用知识底座，Transformer 让大规模训练变得可行，规模化提高了能力上限，指令对齐改善了交互方式，RAG 和工具调用则把模型接进了真实系统。

这些技术并非在同一年突然出现，也不是某一篇论文单独完成了全部工作。它们陆续跨过工程阈值，最后叠加成了我们所熟悉的“大模型时代”。

一切都从一个简单的训练目标开始

语言模型最基础的任务，是估计一段文本出现的概率。对自回归模型来说，可以把整段文本拆成一连串条件概率：

P ( x 1 , x 2 , … , x T ) = ∏ t = 1 T P ( x t ∣ x < t ) P(x_1,x_2,\ldots,x_T)=\prod_{t=1}^{T}P(x_t\mid x_{<t})P(x1​,x2​,…,xT​)=t=1∏T​P(xt​∣x<t​)

训练时，模型看到前面的 token，预测下一个 token，再根据预测结果与真实 token 之间的差距更新参数。这个目标看起来甚至有些朴素：不需要人工给每句话标注“主旨”“情感”或“推理步骤”，普通文本本身就提供了训练信号。

也正因为标签可以从数据中自动获得，书籍、网页、代码和其他文本才能成为训练材料。模型为了降低预测误差，会逐渐学到语法、事实关联、文体模式，以及一部分对完成任务有用的内部表示。

不过，“会续写”与“会办事”之间始终有距离。用户输入“把这段话改成三句话”，一个只做过预训练的模型可能继续编造更多类似指令，也可能写出一份新的改写任务，而不是直接给出答案。它学到的是文本如何延续，并没有天然学会人类希望它怎样回应。

这个差距，后来要靠指令微调和偏好对齐来补。

Transformer 改变了训练的算账方式

早期序列模型通常按时间步依次处理文本。第t tt个位置的计算依赖第t − 1 t-1t−1个位置的隐藏状态，这种结构符合语言顺序，却不利于把整段文本摊开到大量计算单元上并行训练。长距离信息也要经过多步传递，训练越长、越深，优化就越麻烦。

2017 年的 《Attention Is All You Need》 给出了另一条路线：用注意力机制建立 token 之间的直接联系，不再依赖循环结构传递序列状态。缩放点积注意力可以写成：

Attention ⁡ ( Q , K , V ) = softmax ⁡ ⁣ ( Q K ⊤ d k ) V \operatorname{Attention}(Q,K,V)=\operatorname{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)VAttention(Q,K,V)=softmax(dk​​QK⊤​)V

其中，Q QQ用来表达“当前在找什么”，K KK用来表达“我能被怎样匹配”，V VV则携带真正要参与混合的信息。Query 与所有 Key 计算相似度，再对 Value 加权求和。这样一来，一句话里相隔很远的两个词，也可以在同一层直接发生信息交换。

更关键的是，整段序列的注意力分数可以通过矩阵运算一起算。计算并没有因此变得便宜——标准自注意力的开销会随序列长度近似平方增长——但它更适合 GPU、TPU 等并行硬件，也更适合继续扩大模型和训练批量。

图 1：Transformer 原始结构，包含左侧编码器与右侧解码器。今天常见的生成式语言模型通常采用 decoder-only 变体，但注意力、前馈网络、残差连接等基本构件延续了下来。图源：论文中文译注。

多头注意力让模型可以在不同子空间里学习不同关系，前馈网络对每个位置做非线性变换，残差连接和归一化帮助深层网络稳定训练，位置编码则把顺序信息补回来。单看每个零件都不算神秘，真正重要的是它们组成了一套容易堆叠、容易并行、也容易被后续工程体系复用的架构。

Transformer 最初为机器翻译提出，后来却变成了语言、视觉、语音和多模态模型的通用骨架之一。大模型能够规模化，架构与硬件在这里完成了一次关键配合。

规模化带来的，不只是“更大的模型”

有了适合并行的架构，下一个问题自然出现：增加参数、数据和算力，模型会变好多少？

《Scaling Laws for Neural Language Models》 发现，语言模型的交叉熵损失与模型规模、数据规模、训练算力之间，在很大范围内存在较平滑的幂律关系。这件事的工程价值很大。研究者不必完全依赖“训完再看”，而可以用较小规模的实验估计趋势，再决定下一轮训练预算该投向哪里。

图 2：语言模型损失随算力、数据集规模和参数量变化的曲线。平滑的是特定条件下的损失趋势，不应直接理解成所有下游能力都会按同一条曲线增长。图源：Scaling Laws 论文解读。

规模规律让能力建设多了一点可预测性，但也很容易被误读成“只要堆参数就行”。至少有三件事需要补充。

第一，训练损失变低，不等于每项任务都稳定变好。某些能力可能在某个规模区间才表现得明显，评测噪声、提示方式和数据污染也会影响观察结果。

第二，参数与数据需要一起考虑。2022 年的 Chinchilla 研究 指出，在其计算最优训练设置下，模型规模和训练 token 数应当同步扩展；许多此前的大模型在参数量增长的同时，训练数据并没有跟上。换句话说，一个“很大但没吃饱”的模型，未必比规模更合理、训练更充分的模型划算。

第三，数据不是可以无限复制粘贴的燃料。重复、低质量、互相矛盾或来源不明的数据，都会影响训练效果。清洗、去重、配比、版权与隐私处理，逐渐从后台琐事变成了模型能力的一部分。

所以，规模化的真正含义更接近一场联合优化：架构、参数、token、算力、数据质量和训练稳定性，任何一项明显落后，都可能吞掉其他投入带来的收益。

指令对齐，让模型开始“照着要求做”

预训练模型拥有强大的续写能力，却不会天然把用户当作需要协助的人。指令微调率先补上这一层：用“指令—理想回答”的样本做监督训练，让模型学习识别任务意图、遵循格式要求，并在信息不足时给出更合适的回应。

随后，人类偏好被引入训练流程。以 InstructGPT 的经典流程为例，可以粗略分成三步：

1. 监督微调（SFT）：人工编写示范回答，先得到一个会按指令回应的模型。
2. 训练奖励模型（RM）：针对同一个提示采样多个回答，由标注者排序，训练模型预测哪种回答更符合人类偏好。
3. 强化学习优化：用奖励模型给新回答打分，再通过 PPO 等算法更新语言模型，同时约束它不要偏离原模型太远。

图 3：InstructGPT 的三阶段训练流程。奖励模型学习的是标注数据所体现的偏好，并不是一个天然正确的“事实裁判”。图源：论文中文译注。

这一步改变的是模型的行为分布。原论文报告，在其提示分布的人工评估中，13 亿参数的 InstructGPT 输出比 1750 亿参数的 GPT-3 更受偏好。这个结果很能说明问题：模型更大可以抬高能力底座，但“是否好用”还取决于后训练和交互目标。

2022 年底，ChatGPT 以对话形式开放研究预览。对话界面看似只是把输入框换了个样子，实际却大幅降低了使用门槛。用户不必先理解语言模型、提示模板和 API，只要像发消息一样描述需求，就能直接感受到模型能力。大模型由此从研究人员和开发者手中的技术组件，变成了大众可以日常使用的产品。

当然，偏好对齐并不保证真实。人们可能偏好表达流畅、结构完整、语气自信的回答，而这些特点与事实正确并不总是一致。奖励模型学到的是偏好的近似，语言模型优化的也是这个近似目标。幻觉不会因为多了几轮对齐就自动消失。

RAG 和工具调用，把模型接进真实世界

模型参数里保存着训练过程中形成的知识和模式，但把它当作一个随时可更新、每条事实都可靠的数据库，很快就会遇到问题：新知识怎么进入？企业内部文档怎么查询？答案的依据在哪里？涉及账户、订单和支付的操作又由谁执行？

一类常见方案是检索增强生成，也就是 RAG。原始 RAG 论文 将参数化记忆与外部的非参数化记忆结合起来；放到今天的应用架构里，通常会经过文档切分、索引、检索、重排、上下文组装和生成几个环节。

图 4：一种简化的 RAG 流程。先从外部知识源检索相关内容，再把检索结果与用户问题一起交给生成模型。图源：RAG 架构介绍。

RAG 的价值很实际：知识更新可以发生在索引侧，回答可以附上来源，权限控制也能在检索阶段实施。但它同样不是“接上向量数据库就万事大吉”。文档切得太碎会丢上下文，切得太大又会稀释相关度；检索漏掉关键材料，生成模型再强也无从回答；把相似但不适用的段落塞进提示词，还可能制造一种“有引用支撑”的错觉。

工具调用解决的是另一类问题。模型可以生成结构化的函数调用请求，由外部程序执行搜索、计算、数据库查询或业务操作，再把结果返回给模型。一个可靠的系统通常会把职责分清楚：

用户目标 ↓ 模型：理解意图、规划步骤、生成调用参数 ↓ 运行时：校验权限与参数，执行真实操作 ↓ 工具结果：网页、计算值、数据库记录或执行状态 ↓ 模型：根据结果继续处理，或整理最终回答

这里最重要的边界是：模型可以提议操作，权威状态仍应由确定性系统维护。库存是否足够、转账是否成功、文件是否真的写入，都不能只凭模型一句“已完成”来认定。

到了这一步，大模型应用已经不只是训练一个网络。检索、权限、状态、错误处理、日志和评估共同决定了系统是否可用。模型是核心组件，却不是整个系统。

成本决定了能力能走多远

训练出好模型只是第一张账单。用户真正使用时，每一次请求还会产生推理成本。

自回归生成一般分为处理输入的 prefill 阶段和逐 token 输出的 decode 阶段。前者更像大规模并行矩阵计算，后者则要反复读取模型权重和 KV Cache；输入很长、输出很长、并发很高时，瓶颈并不相同。这也解释了为什么推理优化会出现这么多路线：量化减少权重和激活的存储开销，蒸馏把部分能力迁移到小模型，连续批处理提高设备利用率，缓存和推测解码则尝试减少重复计算或串行等待。

因此，实际产品很少只问“哪个模型分数最高”，还会同时问：

• 这个任务真的需要最大的模型吗？
• 首 token 延迟和整体吞吐能否接受？
• 长上下文带来的收益，是否抵得过成本？
• 小模型加检索或工具，能否完成同样的工作？
• 失败时能否发现、重试、降级或转交人工？

大模型的普及，一方面来自能力上限的提高，另一方面也来自单位任务成本不断下降。后者不显眼，却决定了很多应用能否从演示变成日常服务。

崛起之后，老问题换了一种样子回来

大模型没有绕开计算系统的基本矛盾，只是把它们带到了新的位置。

事实性仍然需要外部约束。流畅生成与真实可靠是不同目标，高风险场景需要检索依据、工具验证、规则检查和人工复核。

评估不能只看几个榜单。一个客服系统更应该关心自己的工单完成率、错误升级率和越权操作，而不是模型在通用考试题上的总分。真实任务集、对抗样本和线上回归往往比一次演示更有价值。

上下文不等于可信边界。网页、文档和工具返回的内容都可能包含恶意指令。把检索结果直接拼进提示词，而不做来源隔离和权限控制，会让提示注入从文本问题变成系统安全问题。

数据治理没有消失。训练数据、用户日志、企业文档和反馈数据各有不同的授权范围。模型接入得越深，越需要明确哪些内容可以进入上下文、哪些可以被记录、哪些允许用于后续训练。

这些问题并不表示大模型被高估了。恰恰相反，只有技术真正进入业务流程，可靠性、责任边界和成本才会从边缘问题变成核心问题。

写在最后

回看大模型的崛起，最容易记住的是某个聊天产品上线的时刻，最难看见的却是此前许多年的缓慢叠加。

预训练把海量未标注文本变成了学习信号；Transformer 提供了适合并行扩展的架构；规模化研究让参数、数据和算力的投入更有章法；指令微调与偏好对齐改善了模型的可用性；对话界面把能力交到普通用户手里；RAG、工具调用和推理优化又把它接进真实世界。

所以，“大”当然是这段历史的关键词，却不是全部。真正改变行业的是多个条件终于同时成熟：模型能训练出来，能力能稳定复现，成本能逐渐承担，外部系统也能把它约束在可验证的流程里。

今天再谈大模型，与其只问参数又增加了多少，不如多看一层：它接入了什么数据和工具，失败能否被发现，结果能否被验证，以及完成一项真实工作究竟要付出多少成本。答案通常比“更大”两个字复杂，也更接近这项技术真正的进展。