企业官网建设流程全解析

技术面试这轮风向变得很快。前几年测试工程师面试，问的是 SQL、Linux、接口自动化；这两年再打开 JD，很多岗位明确写着“具备 AI 应用测试经验”“熟悉大模型评估方法”“会用 AI 工具提升测试效率”优先。不是让你读论文、调模型，而是要求测试工程师具备两种能力：一是会测 AI 产品，二是会用 AI 做测试。这篇就把 AI 测试面试里最常出现的真题整理出来，附上答题方向和可落地的验证思路。你至少应该能答出 80% 的内容，再去投简历。

1. AI 测试面试核心能力速览

先把面试官真正想考的能力拆开。AI 测试岗位面试问题的覆盖面很广，但归纳下来就六个能力域。

面试官的潜台词是：你不仅要会点按钮，还要能设计测试策略、写验证脚本、处理不确定输出。下面逐块给出真题和答题框架。

2. AI 测试与传统软件测试：高频差异题

面试第一题往往就是这个：AI 测试和传统软件测试有什么区别？

这类题考察的是你有没有建立正确的测试认知。传统测试的核心是“输入 -> 预期输出 -> 比对”。AI 系统的核心问题在于：很多情况下没有唯一的预期输出。同一个 Prompt 问两次，大模型可能给出不同的答案；同一个图片分类模型，置信度可能是 0.8，也可能在下次版本变成 0.7。这种不确定性贯穿测试设计、执行、断言全流程。

答题时可以从四个维度展开。

2.1 测试用例设计维度

传统测试用例要求可穷举，等价类、边界值、判定表都是基于明确规则。AI 系统的行为由训练数据和模型参数决定，无法靠人工枚举所有输入场景。对 AI 应用，测试用例不只要覆盖“输入”，还要覆盖数据分布、采样策略、模型版本。

更稳的答题方式是：把传统用例作为基础保障，把“数据采样 + 概率分布 + A/B 对比”作为 AI 测试的补充策略。

2.2 结果断言维度

传统接口测试断言“status_code == 200”“body[0].name == expected”。AI 应用返回的是自然语言或浮点数组，不能直接比字符串。实际工程中常用的做法是：

• 规则校验：回答是否包含关键实体、格式是否合法。
• 语义相似度校验：用 embedding 余弦相似度或者文本相似度算法。
• 模型评估：用裁判模型对回答质量打分。
• 人工抽样：对高风险场景保留人工复核。

2.3 回归测试维度

传统系统回归只看功能是否被破坏。AI 系统模型更新后，旧的错误用例可能修复了，但新的错误可能从训练数据中出现。回归测试必须包含“评估集回归”，即把一份固定的评测集跑一遍，观察精度、召回率、回答质量是否下降。

2.4 缺陷定位维度

传统缺陷能定位到代码行。AI 系统出问题，可能是数据问题、特征问题、超参数问题，也可能是版本兼容问题。缺陷描述时要把输入样例、模型版本、输入参数、概率分数一起记录下来，方便开发反推。

3. 大模型应用测试面试真题

现在面试最密集的考点是大模型应用测试。以下题目必须重点准备。

3.1 如何测试一个基于大模型的智能客服

这个题目几乎必考。答题框架建议如下。

第一层，功能维度。验证基本对话能力：意图识别是否准确、常见问题能否命中知识库、多轮对话上下文是否连贯、会话超时处理是否正确。

第二层，内容质量维度。重点关注幻觉问题。准备一份高置信度的“真题集”，覆盖知识库中明确存在的问答，观察模型是否给出与原文冲突的答案。还要测敏感信息：用户诱导模型输出系统 Prompt、泄露隐私数据、生成违法内容。

第三层，业务维度。客服系统往往有完整体验链路，包括转人工、工单创建、满意度评价、会话存档。需要验证 AI 无法处理时是否正确转人工，会话记录是否完整。

第四层，稳定性与性能。并发对话、长文本上下文、上下文窗口溢出、接口超时重试。

这部分答题时如果能说出“评测集”和“黄金答案集”这两个概念，面试官会认为你有真实的 AI 测试经验。

黄金答案集：由业务专家整理的问答对，作为评测基准。 评测维度：正确性、完整性、相关性、安全性。

3.2 RAG 系统怎么测

RAG（检索增强生成）是目前大模型应用最主流的架构。测试 RAG 系统的关键不是只看最终回答，而是要把链路拆开测。

检索阶段要测：查询改写是否合理、向量检索 TopK 是否返回正确文档、混合检索时关键词权重是否合理、知识库更新后检索结果是否同步生效。

生成阶段要测：模型是否基于检索到的上下文回答、引用的来源是否真实存在、在知识库无答案时是否能拒答而不是编造。

工程上常用的做法是分阶段评估：

# 检索质量评估：召回率与命中率 # 对每个测试问题，人工标注期望命中的文档ID # 调用检索服务，检查 TopK 结果中是否包含期望文档 curl -X POST http://127.0.0.1:8000/retrieve \ -H "Content-Type: application/json" \ -d '{"query": "退款多久到账", "top_k": 5}'

返回结果里检查 document_id 列表，如果期望文档不在其中，说明召回有问题。这一步可以自动化为批量脚本。

3.3 大模型幻觉问题怎么测

面试官问幻觉问题，不是让你背定义，而是让你说测试方案。推荐思路分三步。

第一步，构造反幻觉测试集。从知识库中抽取明确的事实条目，转化为问答对，然后混入“知识库未覆盖的问题”，看模型是否强行作答。

第二步，使用引用溯源。要求模型回答时返回参考来源编号。自动化校验每个答案的引用编号是否真实存在，答案内容是否与引用段落一致。

第三步，用 LLM-as-a-Judge 做批量打分。让一个评估模型对回答的正确性、忠实性、相关性打分，通过阈值判断是否属于幻觉。

import requests # 调用大模型接口进行幻觉批量评估 def eval_hallucination(test_cases, api_url): results = [] for case in test_cases: payload = { "question": case["question"], "context": case["context"], "answer": case["answer"] } resp = requests.post(api_url, json=payload, timeout=30) score = resp.json().get("faithfulness_score", 0) results.append({"question": case["question"], "score": score}) return results

3.4 Prompt 测试怎么做

Prompt 不是只写一次就完。测试岗位要做的是 Prompt 版本管理与回归对比。

核心测试维度包括：指令遵循率、格式稳定性、边界输入处理、Prompt 注入防护。具体做法是维护一组固定的 Prompt 评测集，修改 Prompt 后批量跑分，对比指标变化，而不是靠人工“感觉变好了”。

Prompt 注入测试尤其要关注间接注入场景。例如用户上传一个包含恶意指令的文档，让模型忽略系统指令。测试时需要用专门构造的对抗样本集验证模型是否被带偏。

4. 算法模型评估指标面试题

如果你面试的是偏算法测试或 AI 测试开发的岗位，必然会问到评估指标。注意别只背公式，要能说清楚“什么场景用什么指标”。

4.1 分类模型指标

举个例子：应用商店的内容审核模型，漏掉一条违规内容比误判一条正常内容后果严重得多，所以重点看 Recall；如果误判太多导致用户体验差，就要配合 Precision 一起看。面试时用业务场景解释指标，比纯背书更有效。

from sklearn.metrics import precision_score, recall_score, f1_score y_true = [0, 1, 1, 0, 1, 0, 1, 1] y_pred = [0, 1, 0, 0, 1, 0, 1, 1] print("Precision:", precision_score(y_true, y_pred)) print("Recall:", recall_score(y_true, y_pred)) print("F1:", f1_score(y_true, y_pred))

4.2 生成类模型指标

大模型、翻译、摘要、语音识别这类生成任务，输出是文本或语音序列，不能简单用分类指标。面试常问的有四个：

• BLEU：基于 n-gram 精确匹配，适合机器翻译，但不太适合开放式对话。
• ROUGE：基于召回率的 n-gram 重叠，适合摘要评估。
• Perplexity：衡量语言模型对文本的困惑度，越低表示模型越自信，但不能完全代表生成质量。
• Embedding 相似度：把生成结果和参考答案都转成向量，计算余弦相似度，适合语义一致性判断。

实操中直接调库评估即可：

from rouge_score import rouge_scorer scorer = rouge_scorer.RougeScorer(['rouge1', 'rougeL'], use_stemmer=True) scores = scorer.score( "大模型测试需要关注幻觉问题", "测试大模型必须重点验证幻觉问题" ) print(scores)

4.3 大模型输出评估的三种方式

面试时如果被问“大模型质量怎么评估”，建议把评估方式分为三层来答。

第一层，规则评估：关键词、正则、JSON 格式校验。适合结构化输出。

第二层，相似度评估：计算字符相似度、编辑距离、embedding 相似度。适合有标准答案的场景。

第三层，模型评估：LLM-as-a-Judge，用更强的模型对输出打分。适合开放式回答，但要注意评估模型本身的偏好偏差，不能盲信单一模型的分数。

5. AI 辅助测试：把 AI 用到测试工作里

面试除了问“怎么测 AI”，还会问“你怎么用 AI 做测试”。这部分回答得越具体越好，不要只说“我用 ChatGPT 写脚本”。

5.1 AI 生成接口测试用例

实际落地中，大模型生成接口测试用例的效率提升非常明显。拿一个查询接口举例，先设计一个基础 Prompt 模板，把接口文档片段喂给模型，让它输出参数组合。

prompt = f""" 你是一个资深测试开发工程师，请根据以下接口文档生成测试用例。 接口文档： {api_doc} 要求： 1. 覆盖正常、异常、边界、鉴权场景 2. 用 JSON 数组返回，每个元素包含 title、precondition、steps、expected 3. 不要输出多余文字 """

但要注意，面试时一定要强调“生成结果必须经人工校验”。AI 生成的用例可能存在断言错误、覆盖盲区，正式使用前需要测试人员做二次验证。你如果直接说“模型生成什么我就用什么”，面试官会认为你会引入严重质量风险。

5.2 用 AI 做缺陷分析与报告

接口自动化跑出大量失败用例时，AI 可以帮助初步归类：把失败日志、请求参数、响应结果丢给大模型，让它判断失败原因是环境问题、数据问题还是代码缺陷。这一步能显著减少人工排查时间，在批量任务场景下很实用。

输入：接口返回 500，错误日志堆栈 + 请求参数 + 最近一次变更记录 输出： - 可能原因：参数为空导致空指针 - 建议排查：查看 xx_service 第 88 行 - 风险等级：高

5.3 AI 辅助用例维护

UI 自动化脚本最容易因页面元素变更而失效。现在很多团队用视觉模型做元素定位兜底，当 XPath 失效时，通过截图识别按钮位置点击。这个方向可以作为加分项回答，但不要夸大，如果没接触过，就说“了解思路，生产落地还需要考虑稳定性和成本”。

6. 面试中的实战场景题

这部分考察的是综合设计能力。面试官抛出一个具体场景，限时让你说出测试方案。下面三个场景频率最高。

6.1 场景一：测试一个 AI 图像识别系统

图像识别测试需要分层设计。数据层面：验证训练集和测试集是否有重叠，避免数据泄露导致指标虚高；检查类别分布是否均衡。模型层面：不同类别准确率是否存在明显差异，例如背景复杂的图片是否误报率更高。接口层面：图片尺寸、格式、大小限制、超时时间、并发处理能力。鲁棒性层面：翻转、裁剪、亮度变化后的识别稳定性是否符合要求。

6.2 场景二：测试一个语音转写系统

除了接口和并发，语音系统还要重点测：不同口音和语速的识别准确率、背景噪声干扰、专业术语是否被正确转写、长音频的截断策略、说话人分离是否正确。评估指标常用字错误率 CER 或词错误率 WER。

CER = (插入错误数 + 删除错误数 + 替换错误数) / 参考文本总字数

6.3 场景三：测试一个推荐系统

推荐系统只有离线测试还不够。要设计线上 A/B 测试方案：确定实验时长、样本量、评估指标（点击率、转化率、人均时长）。还要关注推荐多样性、同质化问题，以及新用户冷启动时是否有兜底策略。

答题时先分“离线评估 -> 线上小流量 -> 灰度放量 -> 全量”四步，面试官会觉得你对算法产品的工程落地有完整认知。

7. AI 测试常用工具与平台

如果面试官问到你用过哪些 AI 测试工具，可以按分类回答。注意不要背工具名，要说明工具解决什么问题。

这里重点说一下 DeepEval 这类 LLM 测试框架。它的思路是内置了 AnswerRelevancy、Faithfulness、ContextualPrecision 等评估指标，可以直接对 RAG 应用做自动化回归测试。这种框架值得提前跑一个 demo，面试时作为项目经验讲会更有说服力。

8. 面试作答逻辑与职业发展建议

8.1 面试答题的通用组织方式

面试官问一个 AI 测试问题时，不要一上来就堆细节。建议按“定义问题 -> 拆解测试维度 -> 给出验证方法 -> 说明评估标准”四步组织答案。

以“怎么测试大模型输出的稳定性”为例：

1. 定义：稳定性指同一输入在相同条件下，多次输出是否保持一致。
2. 拆解：包含结果一致性、响应时间、格式稳定性、服务可用性。
3. 方法：对同一 Prompt 重复调用 N 次，统计输出变化率；设置 temperature=0 观察效果；对响应时间做 P95/P99 统计。
4. 评估：设定可接受阈值，例如核心业务场景答案一致率不低于 95%。

这个结构能让面试官快速抓到你回答的要点，也能避免一个问题答得东一句西一句。

8.2 最值得先学的三个方向

如果现在还是刚开始接触 AI 测试，建议按优先级补三块。

第一，大模型接口测试与 Prompt 评估。这是目前岗位需求最密集的方向，即使你不是测大模型产品，接口测试中也会频繁遇到调用大模型能力。

第二，RAG 应用的测试方法。大部分企业落地 AI 的方式是私有知识库问答，学会分析检索、排序、生成三个环节的测试点，能覆盖大多数面试场景。

第三，AI 辅助测试的工程化。用大模型生成测试用例、分析失败日志、维护自动化脚本。关键在于建立一条“生成 -> 人工校验 -> 回归 -> 沉淀”的流水线，而不是停留在软件操作层面。

9. AI 测试面试容易踩的坑

最后总结几个面试中常见的扣分点，提前避开。

坑一：把 AI 测试等同于传统测试。全程只谈功能测试、接口测试，不涉及数据质量、模型评估、概率性输出，面试官会认为你还没有建立 AI 测试思维。

坑二：编造工具经验。没跑过的框架不要硬说用过，比如没实际用过 DeepEval，被追问内部机制很容易露馅。更稳的说法是“我调研过这类 LLM 评估框架，了解其工作原理，后续可以快速上手”。

坑三：忽略安全合规。AI 测试必然涉及用户数据、提示词注入、内容安全。面试时能主动提到数据脱敏、越权访问、合规红线，是明显加分项。

坑四：不关注效果验证。面试官问你怎么判断测试有效时，如果你只能回答“用例都通过了”，说明缺少质量度量意识。要能说出召回率、F1、通过率、缺陷逃逸率这些量化指标。

如果你准备面试，建议先用上面第 3、4、5 章的问题做一次自检，每题能够独立说出测试思路和至少一个验证工具，再去投递 AI 测试岗位。这条赛道现在还在早期，真正有系统化 AI 测试经验的人不多，机会窗口还开着。