企业官网建设流程全解析

《Group Sequence Policy Optimization (GSPO)》由阿里巴巴Qwen团队提出，针对大规模语言模型（LLM）强化学习（RL）训练中的稳定性与效率问题，设计了一套全新的算法框架。以下是全文的核心内容总结：

1. 研究背景与痛点

• 现有算法（如GRPO）的缺陷：GRPO虽摆脱了PPO对价值模型的依赖，但在训练超大模型（尤其是MoE模型）和长序列任务时，极易发生不可逆的模型崩溃。

• 问题根源：GRPO在词元（token）级别使用重要性采样权重，但每个词元仅基于单个样本计算，违背了重要性采样需要大量样本平均的原理，导致梯度估计高方差、噪声累积，并被裁剪机制放大。

2. GSPO 的核心创新

• 序列级优化：将优化单元从“词元”提升到“完整序列”（response），与奖励（reward）的授予单元（整个序列）对齐。

• 重要性比率重定义：基于序列似然（sequence likelihood）定义重要性比率 si​(θ)，并进行长度归一化，使其数值稳定且跨长度可比。

• 序列级裁剪：对完整响应而非单个词元进行裁剪，避免过度“离策略”样本参与梯度更新。

3. 关键理论分析

• 梯度对比：

  • GRPO：每个词元的梯度权重为其自身的重要性比率，权重不均且随训练波动，导致不稳定。

  • GSPO：同一响应内所有词元的梯度权重完全相等（等于序列级重要性比率），消除了词元间权重差异带来的噪声。

• 变体 GSPO-token：在保持数值等价的前提下，允许按词元设置不同优势值，适用于多轮RL等细粒度场景。

4. 实验与主要发现

• 训练效果：在Qwen3-30B-A3B-Base冷启动模型上，GSPO相比GRPO：

  • 训练更稳定，奖励曲线平滑上升。

  • 同等计算资源下，在AIME'24、LiveCodeBench、CodeForces等推理基准上取得更高性能。

• 裁剪比例异常：GSPO裁剪了远多于GRPO的词元（相差两个数量级），但训练效率反而更高，证明GRPO的词元级梯度估计本质上是低效且有噪声的。

• MoE训练突破：

  • GRPO训练MoE模型时需依赖“路由重放”（Routing Replay）策略来稳定专家激活，这会带来额外开销并限制模型容量。

  • GSPO完全无需该策略，因为其只关注序列似然，对单词元似然和专家激活变化不敏感，从根本上解决了MoE训练的稳定性问题。

• 基础设施简化：由于GSPO使用序列级似然，对训练/推理引擎间的精度差异更鲁棒，可直接复用推理引擎返回的似然值，省去昂贵的重计算步骤。

5. 结论与意义

• GSPO作为稳定、高效、可扩展的RL算法，已成功应用于Qwen3系列模型，为其性能突破提供了关键支撑。

• 该工作为大规模LLM的RL scaling提供了一套更可靠的算法基石，有望推动后续在推理能力、长文本、MoE架构等方面的持续拓展。

GSPO通过将RL优化从词元级改为序列级，从根本上解决了GRPO的稳定性顽疾，尤其适用于MoE和长序列场景，在训练效率与最终性能上均显著超越GRPO。这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

摘要

本文介绍了分组序列策略优化（GSPO），这是一种用于训练大型语言模型的稳定、高效且性能卓越的强化学习算法。与先前采用词元级别重要性比率的算法不同，GSPO 基于序列似然定义重要性比率，并执行序列级别的裁剪、奖励和优化。我们证明了，与 GRPO 算法相比，GSPO 具有更优的训练效率和性能，尤其能稳定混合专家（MoE）模型的强化学习训练，并具有简化强化学习基础设施设计的潜力。GSPO 的这些优势为最新的 Qwen3 模型带来了显著提升。

1 引言

强化学习（RL）已成为扩展语言模型能力的关键范式（OpenAI, 2024; DeepSeek-AI, 2025; Qwen, 2025b;a）。通过大规模强化学习，语言模型能够发展出处理复杂问题的能力，例如竞赛级别的数学和编程问题，这通过进行更深入、更长的推理过程来实现。

要成功地将强化学习扩展到更大的计算投入，首要前提是维持稳定且鲁棒的训练动态。然而，当前最先进的强化学习算法，以 GRPO（Shao et al., 2024）为例，在训练超大规模语言模型时表现出严重的稳定性问题，通常会导致灾难性的且不可逆转的模型崩溃（Qwen, 2025a; MiniMax, 2025）。这种不稳定性阻碍了通过持续的强化学习训练来突破语言模型能力边界的努力。

在本文中，我们识别出 GRPO 的不稳定性源于其算法设计中对重要性采样权重的根本性误用和失效。这引入了高方差的训练噪声，该噪声会随着响应长度的增加而逐渐累积，并进一步被裁剪机制放大，最终导致模型崩溃。

为解决这些核心限制，我们提出了分组序列策略优化（GSPO），这是一种用于训练大型语言模型的新型强化学习算法。GSPO 的关键创新在于其基于序列似然（Zheng et al., 2023）定义重要性比率的理论根基，这与重要性采样的基本原理相一致。此外，GSPO 将归一化的奖励作为针对同一查询的多个响应的优势值，确保了序列级别的奖励与优化之间的对齐。

我们的实证评估表明，GSPO 在训练稳定性、效率和性能方面均显著优于 GRPO。至关重要的是，GSPO 从根本上解决了大型混合专家（MoE）模型在强化学习训练中的稳定性挑战，无需复杂的稳定化策略，并显示出简化强化学习基础设施的潜力。GSPO 的这些优势最终促成了最新 Qwen3 模型卓越的性能提升。我们期望 GSPO 能成为一个鲁棒且可扩展的算法基础，推动大型语言模型的大规模强化学习训练的持续进步。

2 预备知识

3 动机

梯度中引入了高方差噪声，这种噪声在长序列上累积，并被裁剪机制加剧。我们已凭经验观察到，这可能导致通常不可逆转的模型崩溃。一旦崩溃发生，即使恢复到之前的检查点并精心调整超参数（例如，裁剪范围）、延长生成长度或更换强化学习查询，也无法恢复训练。

上述观察表明 GRPO 的设计存在根本性问题。词元级重要性权重的失效指向了一个核心原则：优化目标的单元应与奖励的单元相匹配。由于奖励是授予整个序列的，因此在词元级别应用离策略校正似乎是有问题的。这促使我们放弃词元级目标，并探索直接利用序列级别的重要性权重和进行优化的方案。

4 算法

4.1 GSPO：分组序列策略优化

4.2 梯度分析

我们可以推导出 GSPO 目标的梯度如下（为简洁起见省略裁剪）：

4.3 GSPO-token：一种词元级目标变体

在多轮强化学习等场景中，我们可能期望比序列级别更细粒度的优势调整。为此，我们引入了 GSPO 的一个词元级目标变体，即 GSPO-token，以允许按词元定制优势：

5 实验与讨论

5.1 实证结果

我们使用从 Qwen3-30B-A3B-Base 微调而来的冷启动模型进行实验，并报告训练奖励曲线以及模型在 AIME'24（32 次采样的平均 Pass@1）、LiveCodeBench（202410-202502，8 次采样的平均 Pass@1）和 CodeForces（Elo 评分）基准上的性能曲线。在强化学习训练期间，每批回放数据被划分为四个小批量进行梯度更新。在 GSPO 中，我们将公式 (5) 中的左裁剪范围和右裁剪范围分别设置为 3e-4 和 4e-4。我们将 GRPO 作为基线进行比较，并将公式 (2) 中的左裁剪范围和右裁剪范围分别设置为 0.2 和 0.27，我们已仔细调整这些参数以确保公平比较。

注意，GRPO 需要路由重放训练策略才能使 MoE RL 正常收敛，我们将在 § 5.3 中额外讨论这一点，而 GSPO 已不再需要该策略。

图 1 显示，使用 GSPO 的训练全程稳定进行。我们观察到，GSPO 可以通过增加训练计算量、定期更新查询集以及延长生成长度来持续提供性能提升。此外，GSPO 在训练效率上也显著优于 GRPO，在相同的训练计算量和消耗查询数下实现了更好的训练准确率和基准性能。最后，我们已成功将 GSPO 应用于最新 Qwen3 模型的强化学习训练，这强有力地证明了 GSPO 在释放大规模语言模型强化学习扩展能力方面的功效。

图 1：从 Qwen3-30B-A3B-Base 微调而来的冷启动模型的训练曲线。GSPO 的训练效率显著高于 GRPO。

5.2 关于裁剪比例的奇特观察

GSPO 与 GRPO 的一个关键区别在于它对完整响应而非单个词元进行裁剪。特别是，如图 2 所示，我们观察到 GSPO 和 GRPO 之间被裁剪词元的比例存在两个数量级的差异（调整裁剪范围并不会改变这种数量级上的差异）。然而，尽管 GSPO 裁剪了显著更多的词元，从而使用更少的词元进行训练（或梯度估计），但它仍然实现了比 GRPO 更高的训练效率。这一反直觉的发现——裁剪更大比例的词元反而带来更高的训练效率——进一步表明 GRPO 的词元级梯度估计固有地充满噪声，且样本利用效率低下。相比之下，GSPO 的序列级方法提供了更可靠、更有效的学习信号。

图 2：GSPO 和 GRPO 在强化学习训练过程中平均被裁剪词元的比例。

5.3 GSPO 对 MoE 训练的益处

图 3：路由重放策略在 MoE 模型 GRPO 训练正常收敛中起着关键作用。

5.4 GSPO 对强化学习基础设施的益处

鉴于训练引擎（例如 Megatron）和推理引擎（例如 SGLang 和 vLLM）之间的精度差异，在实践中，我们通常使用训练引擎来重新计算在旧策略 πθold​​ 下采样得到的响应的似然。然而，GSPO 仅使用序列级别而非词元级别的似然进行优化，直观上，前者对精度差异的容忍度要高得多。因此，GSPO 使得直接使用推理引擎返回的似然进行优化成为可能，从而避免了使用训练引擎进行重新计算的需要。这在部分回放和多轮强化学习等场景以及训练-推理分离的框架中尤其有益。

6 结论

我们提出了分组序列策略优化（GSPO），这是一种用于训练大型语言模型的新型强化学习算法。遵循重要性采样的基本原理，GSPO 基于序列似然定义重要性比率，并执行序列级别的裁剪、奖励和优化。与 GRPO 相比，GSPO 展现出显著更优的训练稳定性、效率和性能，并且对于 MoE 模型的大规模强化学习训练尤其有效，为最新 Qwen3 模型的卓越改进奠定了基础。以 GSPO 作为一个可扩展的算法基石，我们将继续扩展强化学习，并期待由此带来的智能方面的根本性进步。