企业官网建设流程全解析

【AI大模型进阶】为什么大模型经常在“草莓”单词上翻车？——探秘分词器

这是【AI大模型进阶】系列第四十三课。

全网流传着一个极其诡异的AI“低级bug”：几乎所有主流大模型，GPT、Gemini、通义千问、GLM，都会在同一个简单问题上集体翻车——strawberry（草莓）这个单词里，一共有几个字母 r？

人类小学生一眼就能数清：s-t-r-a-w-b-e-r-r-y，一共3个r。但无数大模型会自信满满地输出2个r、偶尔1个r，答案五花八门、全程一本正经地出错。更离谱的是：哪怕是万亿参数的顶级模型，至今仍无法彻底根治这个低级错误。

很多人疑惑：大模型能写万字论文、解高数难题、写复杂代码、读懂专业文献，为什么连数一个单词的字母数量都做不对？

这不是模型算力不足、不是参数不够、不是推理能力差，而是所有大模型的底层核心短板——分词器（Tokenizer）的天然缺陷。

本节课带你从零吃透大模型分词器的底层逻辑，揭秘草莓翻车事件的终极真相，搞懂分词器如何决定AI的视野、认知与能力边界，搭配实战代码直观复现并修复该问题，彻底补齐大模型进阶的底层认知盲区。

一、全网爆火的草莓测试：AI集体翻车实证

我们先精准复现这个全网公认的AI“致命短板”，看懂问题全貌。

1、标准问题与正确答案

提问：英文单词strawberry中，一共有多少个小写字母 r？

完整拼写：s-t-r-a-w-b-e-r-