企业官网建设流程全解析

“每个参数大约对应 20 个 token”（常被叫作Chinchilla 比例）并不是一条“宇宙定律”。

你看到LLaMA 系列的 token/参数 比值远大于 20，核心原因是：他们优化的目标、约束条件、以及用来拟合的“最优前沿（frontier）”都变了。

尤其从 Llama 3 开始，论文里甚至明确承认：小模型会被“刻意训练得比 compute-optimal 更久”，因为这样在同等推理成本（inference budget）下更强。

一、先把“20”从哪来讲清楚：它来自 Chinchilla 论文的 compute-optimal 前沿

Chinchilla（Hoffmann et al., 2022 / 2203.15556）要解的问题是：

在固定训练计算量（FLOPs 预算）下，参数量和训练 token 数怎么分配，才能让 loss 最小？

论文里把训练计算量近似写成（文中用 FLOPs 估算；常见近似形式之一是与N ⋅