☰
AI学情诊断:从解题轨迹还原学生错误思路
2026/10/21 8:35:39 网站建设 项目流程

1. 项目缘起:一道错题背后的"思路黑箱"

去年我在一次教研活动上,碰到一位教了快二十年数学的高中老师,她跟我吐槽了一件事:班里有个学生,函数题每次都能写出正确答案,但她一看草稿纸就知道这学生根本没懂——用的全是偏门技巧,换个数就懵。最让她头疼的不是"学生做错了",而是"他到底哪一步想岔了"。那道错题旁边她写满了批注,可批注只能覆盖两三个学生,全班四十多人,她根本没时间一个个翻草稿。

这个场景,正是当时某沿海高校牵头、联合另外四所高校一起立项的"AI学情诊断"课题最想解决的核心问题。项目标题里那句"AI能否像老师一样看懂学生的错误思路",拆开来看其实有两个关键词:一个是"看懂",另一个是"错误思路"。市面上的智能批改系统大多只能判断最终答案对不对,或者顶多勾选几个采分点——这属于"结果性评价",而老师真正看重的"过程性评价"(学生是怎么一步步走到错误结论的),几乎没有现成方案能做。

我们五所高校凑在一起,学科背景刚好互补:有搞认知心理学的,有做教育大数据的,有长期驻校做教研的数学教学专家,还有像我这样主要管模型训练的。立项之前大家吵了很久,争论焦点不是"要不要做",而是"做成什么样才算成功"。最后达成了共识:一个能用的智能诊断系统,必须能从学生的解题轨迹里还原出"错误链条",并且用老师能理解的语言说清楚"这个孩子卡在哪类思维节点上"。做到这个程度,AI才算真正从"判官"变成了"助教"。

这个定位很重要——我们不是要去替代老师批改作业,那没有太大研究价值。我们想做的,是把老师费时费力的"思路追踪"工作自动化:AI负责初步定位错因并归类,老师负责确认和干预。这样一线教师可以从"不停批注"的重复劳动中解脱出来,把精力花在真正需要人来做的事情上,比如个别辅导和课堂设计。

2. 数据从哪里来:五校联合采集解题轨迹的坑与设计

项目启动后的第一道坎,是数据。任何模型都依赖数据,但"错误思路"这个东西,恰恰是常规考试数据里最稀缺的信息。试卷答题卡上只有最终答案,过程写在草稿纸上,考完就扔了。我们想研究学生的思路轨迹,就必须从源头设计一套能捕捉过程数据的方案。

2.1 用"系统内作答"替代纸质草稿

五所高校各自联系了合作学校,最终确定采用"平台化随堂练习"的方式采集数据:学生在一款自研的练习系统里作答数学题和物理题,系统记录的不只是最后提交的答案,还包括每道题上的停留时长、按键顺序、修改痕迹,以及关键步骤的输入序列。

听起来挺简单,做起来一堆问题。最大的坑是:学生不习惯在系统里打数学符号。一开始我们让学生直接输入公式文本,结果数据里全是格式错乱、语义残缺的内容,根本没法分析。后来改成了"步骤式作答",也就是把题目拆成若干小问,每一问让学生以"选择+填空"的方式分步作答,系统在后台把时间戳和作答序列串起来。这一步改动让数据质量有了质的提升,也让我们意识到:想做思路诊断,产品交互设计要先于模型设计。

2.2 数据脱敏与标注的规范化难题

教育数据涉及未成年人隐私,合规是第一位的。我们五校之间签订了数据使用协议,所有采集数据都做了去标识化处理:姓名、学校、班级全部剥离,只保留一个随机ID和年级、学科等必要属性。学生在系统里作答前,家长和学校都签署了知情同意书。

比隐私更头疼的是标注。要让模型学会"看懂错误思路",得先有大量"已被老师看懂的样本"做训练数据。我们的做法是:每次随堂练习结束后,请合作学校的老师对一部分典型错题做"思路级标注"。标注不是打一个叉,而是要点出这道题中学生错在哪个环节——是审题偏差、概念混淆、公式误用,还是推理跳跃。五位老师背靠背标注同一批数据,算一致率。第一轮一致率只有不到0.5,吵了很久才统一了标注规范。最后把标注方案精简成一张"错误分类表",只保留7个一级类别和24个二级类别,一致率才慢慢提升到0.7以上。

2.3 样本分布里的隐性偏差

另一个值得提醒的坑是样本偏差。合作学校大多是城市里的优质中学,学生整体水平偏高,错误类型分布跟农村或薄弱校完全不一样。我们拿到的数据里,"概念混淆类"错误占比明显偏低,而"计算失误类"占比偏高——因为优质学校的学生概念基础普遍扎实,但题目难度大,计算量也大。如果直接用这套数据训练模型,放到薄弱学校去用,诊断结果一定会失真。

我们当时的应对是在项目后期补充采集了部分薄弱校的数据做增量微调,同时在模型设计上刻意避免过度拟合"错误分布的先验概率"。这一点我想专门放在后面讲模型时说,因为很多做教育AI的团队都会在无意中踩进这个坑——拿某一类学校的数据训练,却指望模型在另一类学校里同样有效。

3. 技术路线选择:把"错误思路"变成模型能吃的东西

数据有了,核心问题就变成:怎么让模型理解"思路"?这跟"判断答案对错"完全是两个难度等级。答案对错是离散标签,思路却是一条带顺序、带依赖关系的轨迹。我们内部评估过好几条技术路线,最终选了"序列化输入+图结构纠错+分步定位"的组合方案。

3.1 为什么不能用传统的"答案对错"分类模型

如果你上来就训练一个分类模型,输入是题目文本和学生答案,输出是"对/错/半对",那么模型学到的其实是题面特征和最终结果之间的相关性,它完全不知道中间发生了什么。这就好比一个老师只看学生交上来的最终答案就打分,从不看草稿纸——他根本说不清学生错在哪一步。

我们的做法是把解题过程当作一个"时间序列"来处理:每一步动作(比如"列出方程""代入了某个数值""应用了某个公式")都编码成一个向量,同时把题目的知识点结构和步骤之间的依赖关系抽取成一张有向图——其实很像知识图谱里常见的先修关系表达。模型要做的事情,是同时看着"学生当前这一步"和"这一步在正确解题路径上应该在的位置",去判断偏差是从哪一步开始出现的。

3.2 "在校正中定位错因"的思路与实践

这句话是某高校一位认知心理学方向的老师反复强调的,我觉得特别值得展开。他说,老师看学生草稿纸时,不是只看哪一步写得不对,而是看"学生在哪一步开始偏离了正确路径"。所以我们的模型也模仿这个习惯,分为三个阶段:

第一阶段,用训练好的解题路径模型生成"标准步骤序列"和"常见错误分支序列"。标准步骤就是这道题的规范解法路径;常见错误分支是从历史错题数据里聚类出来的典型失败模式,比如"配方时常数项漏加""不等式两边同乘负数忘变号"这类。

第二阶段,把学生实际作答的步骤序列与标准路径做对齐。这一步用的是序列对齐算法,我们实际用的是编辑距离的变体,把每一步的"增、删、改"都记录下来。学生漏写了一个关键步骤,这里就会体现为"删除",然后我们顺着删除位置去检查后续步骤是否因此连锁出错。

第三阶段,把"对齐之后发现的第一步偏差"输出为诊断结果,并附带后续受影响步骤的链条。举个例子,一个学生解一元二次方程,配方那一步忘了凑完全平方,后面写出的判别式、求根公式步骤其实全是对的,但因为第一步配方错了,后面每一步都是"正确地在错误的起点上前进"。落在我们模型里,定位到的就是"配方环节的概念性错误",而不是"后面步骤的计算错误"。

这套"在校正中发现偏差起点"的思路,比直接拿全序列做分类要可解释得多,也是我们能在项目汇报中向一线教师讲清楚的核心技术卖点——因为老师一听就懂,甚至会觉得"这不就是我看草稿纸的方式吗"。

3.3 模型效果的两层评估标准

项目验收时,我们设了两层评估标准,缺一不可。第一层是"定位准确率",也就是模型输出的错误起点跟教师标注是否一致,这项最终在数学科目的典型题集上做到了约78%的Top-1准确率,Top-3准确率超过91%。第二层是"解释可用性",也就是模型给出的诊断结果是否包含清晰的原因说明和证据链,让老师不看原始数据也能明白"为什么模型认为这个学生错在这里"。

我们做过一次内部盲评,把模型的诊断文本和三位老师的诊断文本混在一起,请另一位专家判断哪些是AI写的、哪些是老师写的。结果AI的诊断被误认为"老师写的"的比例接近一半。这说明至少在语言层面,我们的输出已经足够自然、足够贴近教师的表达习惯。当然,误诊的部分也不少,后面我会单独讲。

4. 实测对比:AI诊断和教师诊断的差距到底在哪

项目中期,我们在四所合作学校做了一轮真刀真枪的对比测试。每所学校选两个平行班,同一套随堂练习,实验组用系统做题并由AI生成诊断,对照组用纸质试卷由老师手动批改和诊断,最后把两边的诊断结果送到专家组盲评。

4.1 准确率没那么好看,但"召回率"给了惊喜

很多报道喜欢晒"准确率95%"这种数字,我们内部斟酌之后决定不这么宣传,因为实测的定位准确率并没有那么玄幻。但有一个指标给了我很大惊喜:AI对"非典型错误"的召回率远高于老师。

所谓非典型错误,就是那些老师一眼看过去不知道学生为什么错、需要追问才能明白的错法。一线老师批改时往往默认"正确答案只有一种,错误答案千奇百怪但大都可以归类",可实际上很多学生的错误是组合式的——比如概念理解错误和审题偏差同时出现,还叠加一处计算失误。老师在有限时间内只能标注最显眼的那一种,而模型由于对每一步都做了对齐和偏差检测,能同时捕捉多处异常。

专家组在盲评时也注意到了这个差异:AI标注出的"复合错误类型"比例大约是老师标注的三倍。一位参与评审的教研员说了一句让我印象很深的话:"你们这个系统的数量优势不只是效率,而是维度——老师在疲劳状态下会漏掉的东西,机器不会漏。"这算是整个项目里我们拿到的最有价值的正向反馈。

4.2 诊断结果翻车现场:模型在哪些场景下"看不懂"

夸完了也得说问题。我们在测试中也收集了一大批AI诊断明显站不住脚的案例,大致可以分为三类。

第一类是文字表达歧义。数学题里的文字描述有时一句话能理解出两层意思,学生按其中一层去解,按另一层去判就是错的,而模型对齐标准路径时没有"容忍题意理解差异"的能力。第二类是学生使用了创造性解法。我们训练数据里的常见错误分支覆盖了大量"典型错误",但那些思路跳脱、自创解法、踩中答案却过程离奇的样本,模型经常定位失败。第三类是审题粗心的识别困难。学生漏看条件"x大于0"导致取值范围算错,这在教师看来属于典型的审题缺陷,但模型在步骤对齐时很可能把漏看条件当成"条件没有参与后续运算"来标记,输出结果跟教师判断完全不同。

后来我们也分析了根因,这类问题本质上是因为模型缺乏对"题目语义"的深层理解,只是机械地做步骤对齐。这也是下一步想引入预训练语言模型来增强语义理解的主要原因,不过那是项目二期的事了。

4.3 一份"诊断报告"和一个"班级知识树"

测试跑通之后,我们顺手做了一个很受学校欢迎的衍生功能:班级级聚合诊断。AI把每个学生的错误定位结果汇总起来,用班级为单位生成一张"知识点掌握热力图",再用聚类算法找出班内最强的三个共性薄弱点,比如"求导法则应用混乱""分类讨论不全"这类高发问题。数学老师拿到这张图,备课就有了非常具体的方向,不用再靠感觉猜"班里到底哪块不会"。

这其实不算多高级的技术,就是把信息从个体升维到群体。但一线教师对这种"群体画像"的接受度,远高于对某个学生个体的诊断报告。老师在意的从来不只看一个学生错在哪里,更关心"全班四十人里有多少人同样卡在这里"。这个功能给了我们很大启示,也让我反思了一个问题:AI教育产品光盯着"个性化"是远远不够的,"班级视角"同样是刚需。

5. 从模型到产品:给一线老师和学生留出"解释空间"

技术演示效果不错,但真要放进课堂里用,还有一批跟模型无关的麻烦事。这一章我主要想聊聊产品落地的那些细节,因为我知道很多团队死在了这一步。

5.1 界面设计:"答案是对的"不能让系统不吭声

我们第一个版本的诊断界面长这样:学生做完题,系统直接把每道题的"问题分析"列出来,从上到下依次是错因、解释、建议。内部试用时老师们普遍反馈"太吓人了"——满屏都是红字标注,学生看完心态直接崩了。

后来我们把界面改成了"三格布局":左侧列出学生的完整作答轨迹,中间显示系统判断出的"第一步偏差",右侧给出教师点评风格的诊断建议。而且我们加了一条关键交互原则:诊断信息默认折叠,学生先自己重新看一遍错题,想通了再展开系统分析。这个改动来自一位特级教师的反向建议,她说:"AI要是直接把错因讲清楚,学生就没有自己反思的机会了。你得像老师在旁边站着,而不是抢着说话。"

5.2 给老师一个"不认同按钮"

另一个反直觉的设计是:我们在诊断卡片上加了一个"不认同"按钮。起初产品经理和部分开发人员不理解,觉得这不是自己打自己脸吗?但跟一线教师深入沟通过之后我发现,这个按钮才是整个产品赢得老师信任的关键。

老师看到AI诊断时,不可能每次都认同。如果没有"不认同"这个出口,老师要么被迫接受AI的结论(然后产生抵触心理),要么干脆不用这个系统。有了这个按钮,老师可以把AI的诊断当作一份"参考意见",一键标记"我认为该生错因另有其他",还可以手动改写误诊描述。这些反馈数据我们也会收集,用来迭代模型。这等于把老师从"AI的上司"变成了"AI的同事"——AI先干粗活,老师做终审和补充。

5.3 只给标签不给分数,避免"被应试化"

还有一件事我们内部讨论了很久:AI诊断要不要跟考试分数挂钩?最终结论是不挂钩。我们设计诊断报告时,故意不出现"预估得分""班级排名变化"这类数据,只呈现"错因链条"和"学习建议"。原因很简单:一旦数据可以用来排名,老师们就会开始为排名优化使用方式,学生也会焦虑于"被机器盯着学",项目想研究的"思路诊断"就会被异化成"刷题优化器"。这个定位我们必须守住。

6. 项目复盘:三种角色看"AI看懂错误思路"这件事

项目进入到整理结题材料的阶段时,我们开了一次连夜复盘会,邀请了参与测试的两位老师、一位教研员、几位技术骨干,一起回顾这个课题真正改变了什么。我作为模型方向的主要负责人,把三方观点梳理一下,这一部分可能会对读这篇文章的同行更有参考价值。

6.1 教师眼里的价值:省下的不是批改时间,是"追问的线索"

参与测试的数学老师普遍表示,AI诊断并不能减少多少批改时间——因为目前系统只支持平台内作答,纸质作业仍然得人工批。但它实实在在改变了老师的备课方式:以前老师是凭经验猜测班级薄弱点,现在可以直接看系统聚合的"共性错误链条",知道下节课应该重点讲哪个环节、设计什么变式练习。

一位老师的原话我记到现在:"以前我需要叫几个学生来办公室挨个追问,才知道他们错在哪。现在AI帮我把这一步做了,我可以直接拿着报告去问学生'你是不是配方完了忘写这一步'。学生很惊讶,觉得我好像全程盯着他做题——这种'被看穿感'其实对学习是有促进的。"

6.2 研究者眼里的局限:AI诊断的"天花板"和下一步

从研究视角看,我们离"像成熟教师那样看懂错误思路"这个目标还有明显距离。成熟的老师不仅能定位错因,还能根据对学生的了解判断"他这次错是因为上周那个知识点就没学扎实,还是今天状态不好"。AI暂时无法整合这种跨时间的学情记忆,更谈不上情感同理心。

我们下一步想的几个方向,一是引入多轮作答的历史数据,建立"个人错误演化轨迹",这样诊断就不是一次性的,而是跟踪式的;二是尝试用更大的预训练模型增强对开放式解题过程的语义理解;三是探索"AI出题引导自我修正"——AI不直接告诉学生错在哪,而是设计几个提示性问题,让学生自己发现错误。这跟直接给答案的路径完全不同,也更贴近苏格拉底式教学的精神。

6.3 工程师角度的几个产品化教训

最后补几条偏工程视角的经验,都是我踩出来的坑,供打算做类似教育AI产品的人参考。

第一,尽早跟老师确认交互边界。我们花了很多时间把模型精度往上提,但真正让老师满意的三个改动(折叠诊断、不认同按钮、群画像聚合)全是交互层面的,跟精度高低关系不大。第二,数据采集一定要前置,最好在项目立项时就设计好完整的打点方案,等模型需要数据才开始采集,周期至少要拖半年。第三,别高估教育数据标注的速度。我们原计划三个月标注一万道错题,实际用了近五个月,因为专家标注远比众包标注慢,而且大量时间花在统一标准上。

至于"AI能否像老师一样看懂学生的错误思路"这个问题,我现在能给出的答案是:在可见的范围内,AI已经可以做到"用接近老师的方式描述学生的错误链条",并且在某些维度上超过疲劳状态下的老师。但要说完全替代老师的理解和判断,那还远远谈不上。这套系统的价值,不在于取代谁,而在于把老师从重复劳动里解放出来,让他们有更多精力去做真正需要人之为人的事情——比如在一个孩子发现自己错误时,给出恰当的、带着温度的反应。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询