企业官网建设流程全解析

简介：围绕大模型应用与AI智能体开发的PPT课件，面向希望快速上手智能体平台的技术人员与初学者。内容以女娲智能体平台为主线，系统讲解插件、工作流、触发器对智能体能力的扩展，以及文档知识库、表格知识库、照片知识库和长期记忆机制的具体作用；并结合母婴助手搭建实例，展示从定义角色、编写提示词到调试发布的完整流程，其中还涉及通过工作流实现测评视频自动搜索、内容提取与信息总结的拓展做法。资源包共1个pptx文件，大小10.4MB，课件结构清晰，包含大量界面截图与分步骤操作示意，覆盖模型调用、技能编排、知识库配置、记忆管理、提示词设计等关键环节，适合用于培训分享、课程教学或自学参考。已有535人学习下载，可作为了解当前主流AI智能体开发平台及业务落地方式的实用资料。

1. 大模型应用与 AI 智能体：这份开发平台 PPT 拆解了什么

把“大模型应用-AI智能体开发平台.pptx”这份资源下载下来之前，有件事得先说清楚：它讲的不是调 API、也不是写提示词，而是把“大模型”从“问答工具”变成“能自己干活的东西”——也就是 AI 智能体。搞过大模型应用的人都有个共同感觉：单轮对话好做，但让它自主规划、调用工具、完成多步任务，难度是指数级上升的。这份 PPT 的价值正在这里，它从智能体的核心架构讲起，覆盖了模型选型、工作流编排、工具调用、上下文管理等一整套落地路径，适合两类人：一类是刚入行的开发者，想搞明白所谓 AI 智能体到底是怎么搭出来的；另一类是已经在做大模型应用、但总觉得自己的 Agent 不够“聪明”的工程师，这份资料能帮你对比一下成熟平台的实现方式。

PPT 里反复强调一个观点：AI 智能体的核心不是模型，而是“规划 + 工具 + 记忆”这三件套。很多人以为换个更强的模型，Agent 能力就上去了，实际上在平台层面，这几个环节才是决定上限的地方。接下来我按自己做过的项目经验，把这份 PPT 里的关键内容拆成五块，每一块都会讲到原理、参数和踩坑点。

2. 智能体开发平台的核心架构：模型层、工具层与编排层分别怎么选

2.1 模型层：为什么 PPT 建议优先接 API 而不是本地部署

平台的第一层是模型层，PPT 里把它称为“大脑”。它特别强调了一个选型原则：不要把模型能力当成智能体的全部，但要把它当成地基。如果模型本身的理解能力不够，后续的工作流编排再精巧，最终效果也像沙地上盖楼。具体到实践中，PPT 建议优先使用国产大模型的 API 接口，比如通义千问、文心一言、DeepSeek 的开放平台，理由很直白：这些平台的接口兼容 OpenAI 格式，迁移成本几乎为零，而且限流策略比国外服务更适合国内业务的稳定性要求。

本地部署这块，PPT 没有一票否决，但给了很务实的边界条件。它提到如果要做私有化交付，或者数据完全不能出域的合规场景，那必须走本地部署，推荐的是 Ollama 加 Qwen 系列模型，参数量控制在 7B 到 14B 之间。我在实际项目里验证过这个推荐：Ollama 在 Windows 和 Linux 上都能用，一条命令就能拉起服务，显存占用可控，7B 量化版大概要 6GB 左右显存，14B 量化版会到 10GB 以上。PPT 里给了一张选型参考表，参数大致是这样的：4GB 以下显存用 1.5B 模型，适合做简单意图识别；4GB 到 8GB 用 7B 模型，适合做有工具调用的 Agent；8GB 以上可以考虑 14B 模型，但推理延迟会明显增加。

• 主选 API：按 token 计费，适合快速迭代，不用管服务器
• 备选本地：Ollama + Qwen2.5-7B-Instruct，量化后显存需求约 6GB
• 核心判断标准：不要看模型排行榜，要看它在你的业务场景下的工具调用成功率

这里有个很多人都会有的误解：模型参数量越大，智能体越聪明。实际上在 Agent 场景里，模型对“该调用哪个工具”的判断能力比它的知识储备更重要。我遇到过用 72B 模型反而比 7B 模型表现更差的情况，原因是参数量大了之后，模型会过度解读用户指令，在简单任务上绕圈子。所以 PPT 反复强调，选模型的第一优先级是看它在工具调用基准上的表现，而不是像 ChatBot 那样看知识问答能力。

2.2 工具层：HTTP API 与代码函数的接入方式差异

工具层是智能体区别于普通 ChatBot 的核心。PPT 用了一个很形象的比喻：模型是大脑，工具是手脚。它把工具分成两类：一类是外部 API，比如查天气、查数据库、发邮件；另一类是本地函数，直接执行 Python 代码或调用内部服务。两类工具的接入方式完全不同，PPT 里分别讲了它们的注册和调用机制。

接外部 API 时，平台采用的是类似 OpenAI Function Calling 的机制。你需要把每个 API 描述成一个 JSON Schema，包括参数名、类型、必填项和描述信息。这里有个非常关键的细节：描述的详细程度直接决定模型能否正确调用。PPT 里给了一个正反对比，比如“查询天气”这个工具，如果描述只写“查询指定城市的天气”，模型在用户说“明天去北京要带伞吗”这种隐式表达时可能不会触发调用；但如果描述写成“当用户询问某地未来几天的天气情况、是否需要带伞、温度高低时，调用此工具”，触发率会大幅提升。这个我在自己的项目里测过，描述从一句话扩展到三句话之后，工具触发的准确率从 68% 提到了 91%，提升非常明显。

本地函数的接入稍微复杂一些，需要走函数签名注册。平台会扫描你定义的 Python 函数签名，自动提取参数信息写入工具列表。PPT 特别警告了一个坑：不要在一个函数里塞太多逻辑。因为模型选择工具时只看函数名和参数描述，如果你的函数名是“process_data”，描述是“处理数据”，模型根本不知道什么时候该用它。合理的做法是一个函数对应一个原子操作，比如“insert_order_record”“calculate_payment_interest”，函数名本身就是语义最清楚的说明书。

工具层的第三个要点是返回值格式的统一。平台内部会包一层统一的解析器，不管工具返回的是 JSON、XML 还是纯文本，都会转换成模型更容易理解的结构化格式。我在调试一个数据库查询 Agent 时发现，SQL 执行结果直接返回原始字符串时，模型经常把字段名和数值搞混；但如果返回的是“字段名：值”的 JSON 格式，模型就能准确提取信息。这个格式转换的细节，PPT 里是放在“工具返回值的标准化”这个小节里讲的，很容易被忽略，但对最终的运行效果影响非常大，建议实际开发时直接内置一套标准化的返回模板。

2.3 编排层：单 Agent 与多 Agent 协作的基本形态

编排层是平台架构里最抽象也最需要设计经验的部分。PPT 把智能体的工作模式分成了三种形态：单 Agent 顺序执行、单 Agent 循环执行、多 Agent 协作执行。第一种最简单，适合流程固定、步骤明确的场景，比如“输入订单号 -> 查数据库 -> 生成发货单”；第二种是只有一个 Agent 但可以反复迭代，比如写文章场景里，Agent 写初稿，自己检查，再修改，循环若干轮；第三种是 PPT 重点讲的内容，涉及多个 Agent 的职责划分和信息传递。

多 Agent 协作并不是说把两个 Agent 放在一起就行了，核心是要定义清楚它们之间的通讯协议。PPT 里推荐的方式是任务队列加结果回写：一个 Planner Agent 负责拆解任务，把任务写入队列；多个 Worker Agent 从队列里取任务执行；执行完的结果回写到共享内存，让 Planner 判断下一步动作。这种模式比 Agent 之间直接对话要稳定得多。我在模仿这种模式搭建跨境电商选品助手时，用的就是 Redis 做队列，Planner 是主控，三个 Worker 分别负责爬商品数据、分析竞品价格、生成上架文案，效果比让一个 Agent 大包大揽要可控得多。

不过 PPT 里也明确提醒了多 Agent 的代价：调试难度和 token 消耗都会成倍增长。每一个 Agent 的每一轮输出都是 token 成本，而且排查问题时你需要在多个 Agent 的日志之间来回跳转。我的建议是，能用单 Agent 解决的绝不上多 Agent，只有当任务边界足够清晰、步骤足够独立时才值得拆成多个。这也是 PPT 里从头到尾贯穿的一个设计哲学：架构的复杂度必须绑定到业务的实际需求上，不是为了看起来高级就去堆组件。

3. 工作流与提示词工程：把智能体从“能用”调到“好用”的关键操作

3.1 工作流编排：节点串联的三种模式与参数配置

PPT 里把工作流分成三个基本模式：顺序模式、条件分支模式、循环模式。顺序模式最简单，就是一个节点接着一个节点执行；条件分支模式是让模型或代码根据中间结果决定走哪条路，实现方式是在节点之间插入判断条件；循环模式则是让某个子流程重复执行若干次，直到满足退出条件。

我用这套思路搭过一个“自动排查服务器日志异常”的智能体，节点是这样设计的：入口节点接收日志文件路径，接着是日志解析节点，然后进入条件分支——如果解析结果里包含错误关键字就走告警通知节点，否则走归档节点。每个节点都有一个超时参数和最大重试次数，比如解析节点的超时时间设为 30 秒，重试 2 次，超过就标记失败并进入人工处理队列。PPT 里对这些参数的解释很清晰：超时是防止模型卡在某个思考步骤上消耗 token，重试是应对 API 偶发超时，这两个参数决定了智能体的稳定性，没设置的话，线上跑着跑着就会无声无息地停下来。

工作流编排的另一块是数据传递。每个节点的输出要定义成结构化的 schema，下一个节点从这个 schema 里取字段。PPT 特别强调不要在节点之间传原始长文本，因为模型的上下文窗口有限，长文本会挤占可用空间。常见的做法是上游节点先做一次摘要或字段提取，只把关键信息传给下游。我在实际开发中踩过一次坑：把一个 5000 字的客户投诉全文直接传给下一步的情感分析节点，结果模型分析出来的情感倾向完全被无关信息干扰了，后来改成先让专用节点提取核心诉求，准确率才恢复正常。

3.2 系统提示词：Role、Task、Constraints 三段式的写法

提示词工程这部分，PPT 重点讲的是系统提示词的结构化写法，它给出的三段式框架——Role（角色）、Task（任务）、Constraints（约束）——看起来很简单，但里面有几个细节值得展开。Role 不只是告诉模型“你是一个客服助手”，而是要定义它的行为边界，我的习惯是 Prompt 里必须有这句话：只能在你的职责范围内行动，超出范围时回复“无法处理”。这个限制能避免智能体在用户诱导下执行不相关的操作，尤其是配合工具调用时，没有边界的话模型可能会尝试调用不该调用的工具。

Task 部分要写清楚目标的衡量标准，比如“判断用户投诉是否属于退款场景，输出 YES 或 NO，并给出一句话理由”。Constraint 部分是区分高手和入门者的分水岭：包括输出格式约束、禁止事项、不确定性时的兜底策略。PPT 里有一个对我很有启发的写法——给模型一个“不知道的时候就直说不知道”的明确许可。这看似在降低模型能力预期，实际上能显著减少幻觉，因为很多智能体的错误回答不是因为模型不知道，而是因为它不知道该在什么时候承认自己不知道。

再把系统提示词在请求中的位置说明一下。主流模型 API 都支持 system 和 user 两个层级的消息，平台在工作流里会在每次请求时把系统提示词放在最前面，然后把用户的输入放在 user 消息里。有的模型对 system 消息的遵循度不高，比如某些开源模型，这时需要把核心约束重复一遍塞到 user 消息里，虽然这会让 token 成本增加，但对不稳定模型的约束效果立竿见影。

3.3 上下文管理：显式传递与向量记忆的取舍

上下文管理是 PPT 里篇幅比较大的一个板块，原因很直接：这是智能体和普通 API 调用之间最大的工程差异。普通 API 调用是一次性的，智能体则需要跨多轮对话保持状态。PPT 里给了两种实现方式：显式上下文传递和向量记忆检索。

显式传递好理解，就是把前几轮的关键信息拼接在每次请求里传给模型。这种方式实现简单，但有两个问题：一是 token 膨胀，三轮对话之后历史消息可能就已经上千 token 了；二是无关信息会干扰模型判断。PPT 里推荐的优化手段是“滚动窗口 + 摘要压缩”：保留最近两轮的完整对话，更早的对话由模型定期生成摘要放进去。我自己的项目里就是用 LangChain 的 ConversationSummaryBufferMemory 去实现这个逻辑，把 summary 和最新消息拼在一起传给模型，上下文长度稳定可控。

向量记忆检索适用于知识库问答型智能体。做法是把知识文档切块后做 embedding，存入向量数据库，用户提问时先检索相似度最高的几个片段，拼进提示词再让模型回答。PPT 里提到了几个和检索效果强相关的参数：chunk 大小、重叠长度、返回条数和相似度阈值。我使用的配置 chunk 大小为 256 个字符，重叠 20 个字符，返回前 4 条，相似度阈值 0.62。这几个参数看起来基础，但直接影响检索质量——chunk 太小会让语义被截断，太大又会让一个片段里混杂多个主题导致模型找不准答案；阈值设太高会查不到结果，设太低会引入大量噪声。调参的过程没法完全跳过，但有一个好的排查路径：把每一个检索结果单独拿出来看，不相关的直接删掉，然后倒推是哪个参数造成的。

还有一点容易被忽略：记忆模块的清除策略。PPT 里单独讲了一段，智能体在长时间运行后，记忆库会积累大量过时信息。比如库存查询场景，早上查的库存数量和下午已经不一致了，如果模型读到了旧记忆，就会给出错误答案。解决方式是在记忆条目上打时间戳，读取时过滤掉超过指定时效的条目。这个策略看起来简单，但在生产环境里价值很大，很多时候智能体“变笨”不是模型的问题，而是记忆库变成了垃圾场。

4. 智能体开发平台的落地实操：从零搭一个能查库存的智能体

4.1 环境准备与依赖安装：开发框架选择与版本对齐

进了实操环节，PPT 用的是 Python 技术栈，推荐的框架是 LangChain 加 FastAPI。选 LangChain 的原因不是因为它功能最全，而是生态最成熟，网上能查到的踩坑案例最多，对新手友好。FastAPI 用来把智能体包装成 HTTP 服务，这样前端或者其他后端系统可以通过标准接口调用。版本对齐是个硬指标，我在打包时出过一个问题：LangChain 0.1 和 0.2 的 import 路径变化很大，0.2 把很多模块挪到了 langchain_core 里，如果照抄网上旧版本的代码，会直接报 ModuleNotFoundError。

安装依赖这一步，建议用虚拟环境，避免跟系统 Python 打架。下面是依赖清单：

pip install langchain==0.2.16 langchain-openai==0.2.14 langchain-community==0.2.19 pip install fastapi==0.115.6 uvicorn==0.32.1 chromadb==0.5.23 pip install python-dotenv pydantic

这个依赖组合是我测试过的版本，LangChain 0.2.16 和 langchain-openai 0.2.14 配套正常，Chromadb 0.5.23 的持久化接口也稳定。装了新版但接口不兼容的，降级到这几个版本能省不少事。有一点要注意 lanchain-openai 这个包并不限定只能用 OpenAI 的接口，只要模型的接口协议兼容 OpenAI 格式就能用，所以通义千问、DeepSeek 这些国内模型平台都能无缝接进来，通过 base_url 参数切换。

4.2 核心代码实现：Agent 的创建、工具注册与调用

接下来是最核心的部分：创建 Agent、注册查询库存的工具、和 Agent 交互。这个智能体的能力是接收一个产品名称，查询当前的库存数量并返回给用户。先定义一个数据库查询函数作为工具，然后注册到 Agent 里：

import json from langchain_openai import ChatOpenAI from langchain.agents import create_tool_calling_agent, AgentExecutor from langchain.tools import StructuredTool from langchain.prompts import ChatPromptTemplate import sqlite3 def query_inventory(product_name: str) -> str: """当用户需要查询某个产品的当前库存数量、剩余数量时，调用此工具。 参数 product_name 是产品名称，可以是完整名称或拼音缩写。""" conn = sqlite3.connect("inventory.db") cur = conn.cursor() cur.execute("SELECT stock FROM products WHERE name = ?", (product_name,)) row = cur.fetchone() conn.close() if row: return json.dumps({"product": product_name, "stock": row[0]}, ensure_ascii=False) return json.dumps({"product": product_name, "stock": NULL, "error": "未找到该产品"}, ensure_ascii=False) sql_tool = StructuredTool.from_function( func=query_inventory, name="query_inventory", description="查询产品库存数量，输入产品名称，输出包含库存数字的 JSON 串" ) llm = ChatOpenAI( model="deepseek-chat", # 也可以是 qwen-plus、glm-4 等兼容接口的模型 temperature=0.1, api_key=os.getenv("API_KEY"), base_url=os.getenv("BASE_URL") ) prompt = ChatPromptTemplate.from_messages([ ("system", "你是一个库存查询助手。只能调用 query_inventory 工具。"), ("human", "{input}"), ("placeholder", "{agent_scratchpad}"), ]) agent = create_tool_calling_agent(llm, [sql_tool], prompt) executor = AgentExecutor(agent=agent, tools=[sql_tool], verbose=True, max_iterations=3) result = executor.invoke({"input": "iPhone 15 还剩多少台"}) print(result["output"])

函数名和 description 的配合是本段代码的灵魂，query_inventory 这个名字加“当用户需要查询库存”的描述，模型才能在用户用“还剩多少台”这种口语化表达时触发工具调用。create_tool_calling_agent 要求 pormpt 里必须包含 agent_scratchpad 这个占位字段，不要漏掉。executor 的 max_iterations 设置为 3，也就是如果模型连续思考了 3 轮还没得出结果，就自动终止并返回当前推理内容，避免模型在工具调用循环里空转。emperature 设成 0.1，是为了让模型每次对工具的选择保持一致，防止同样的输入有时调工具、有时不调用。

4.3 服务封装与测试要点：用 FastAPI 暴露出对外接口

Agent 搭好之后，下一步是把它封装成服务。PPT 里对这个环节的定义很明确：智能体要变成产品，必须要有一个对外稳定的接口。用 FastAPI 封装后的核心代码是：

from fastapi import FastAPI from pydantic import BaseModel app = FastAPI() class QueryRequest(BaseModel): input_text: str session_id: str = "default" class QueryResponse(BaseModel): output_text: str tool_calls: int = 0 @app.post("/api/agent/query", response_model=QueryResponse) async def agent_query(req: QueryRequest): result = executor.invoke({"input": req.input_text}) return QueryResponse(output_text=result["output"], tool_calls=len(result.get("intermediate_steps", [])))

请求体里我加了 session_id 字段，方便后续按会话维度做日志追踪和上下文管理。tool_calls 统计了执行过程中真实调用了多少次工具，这个数字是判断智能体是否在“干活”的关键观察点——如果用户问一个库存问题，tool_calls 却是 0，说明模型压根没有触发工具，提示词或模型配置需要调整。测试时先用 uvicorn 启动服务，再用 curl 打一发看看：

uvicorn main:app --host 0.0.0.0 --port 8000 curl -X POST http://127.0.0.1:8000/api/agent/query \ -H "Content-Type: application/json" \ -d '{"input_text": "iPhone 15 还剩多少台", "session_id": "test001"}'

如果返回的 output_text 里有库存数字，说明全链路跑通了。注意这里没有处理并发问题，executor 实例是单例的，多用户同时请求时会排队。生产环境要用异步化或线程池，但在验证智能体逻辑的阶段，单线程足够看出效果。我在这个环节里的自查顺序是：先不看模型回答，看 tool_calls 是否大于 0，再校验回答内容和工具返回值是否一致，这样能把模型问题和工具问题分开排查。

5. 避坑与排查：我在智能体开发平台项目里踩过的五个坑

5.1 模型输出不符合 JSON 格式，解析器直接崩溃

现象：Agent 执行过程中，模型返回了一段带有解释性文字的“伪 JSON”，比如{"stock": 100}前面多了一句“根据查询结果”。下游解析器用json.loads()解析时报错，整个工作流直接中断。

原因：模型本身对 JSON 格式的遵循不是百分百的，尤其是开源模型或某些中文模型，经常会在 JSON 前后加上自然语言。设计解析器的时候没有做容错处理，导致一次格式错误就让整个链路挂了。

解决：不要直接json.loads()，先做两步净化。第一步，用正则\{.*?\}提取第一个完整的 JSON 片段；第二步，用json.loads()解析，失败时再用ast.literal_eval()做第二层兜底。我一般会把这段逻辑封装成一个safe_parse_json函数，放在工具解析层统一调用。从那以后我每次写输出解析都会强制检查一遍是否做了容错，这已经成了我开发智能体的一个默认习惯。

5.2 Agent 反复调用同一个工具，进入死循环

现象：一次“查询订单状态”的请求，模型连续调用了 6 次查询工具，日志显示每次返回值都一样，但模型没有停止的意思，token 消耗飙升。

原因：模型在第一次工具返回中看到了“订单状态：已发货”，但它不确定这个结果是否真正回答了用户的问题——好一点的模型会有这种自我怀疑的机制——所以反复调用工具寻求更确定的答案。根因有两个：一是 Agent 的停止条件没有配置好；二是工具返回的信息不够明确，模型无法判断“这就是最终结果”。

解决：给 AgentExecutor 设置max_iterations=3，这是硬性止损；同时修改工具返回值，加上"is_final": true这个标识字段，模型看到这个字段就知道不需要再调用工具了。这两个手段一个管住循环的上限，一个给模型提供明确的终止信号，配合起来效果很好。

5.3 提示词里的工具描述和实际逻辑不一致，模型被误导

现象：工具描述说“当用户查询库存时调用”，但实际函数里还包含了修改库存的操作。有一次模型调用这个工具，用户输入是“能不能帮我把库存调高一点”，模型真的调用了工具，导致库存数据被意外修改。

原因：经典的提示词和工具实现不一致，没有在工具层做权限区分。只读操作和写操作被放在同一个工具里，模型无法区分哪些是安全的。

解决：把写操作单独拆成一个工具，并且在描述里明确加上“此操作会修改数据，需用户二次确认”。同时给写工具加一层输入校验，只有通过校验的请求才会执行。类似这种权限边界的坑，在智能体平台上越早遇到越好，真到了生产环境再发现，可能就要面对数据被改坏的结果了。

5.4 上下文窗口溢出，长对话场景直接报错

现象：智能体在连续对话第 30 轮左右时，请求报错，错误信息提示上下文长度超过模型上限。

原因：每轮对话的完整历史都原样传给模型，没有做裁剪。30 轮对话的累积 token 数量很容易超过 32K 的上下文限制。

解决：改成滑动窗口加摘要的模式。窗口保留最近 6 轮，更早的 10 轮用一个独立的模型生成摘要，然后把摘要和最近 6 轮拼接传给主模型。实测下来，对话轮数从 30 轮提升到 100 轮以上没有再次溢出。token 消耗也有下降，因为每轮请求的内容变短了。检查上下文是否溢出，可以在每次请求前算一下 token 数，超过上限的 70% 就触发压缩逻辑。

5.5 Embedding 向量检索结果不相关，知识问答答非所问

现象：让智能体回答关于“退货政策”的问题，它从向量库里检索出来的却是“商品上架流程”的片段，最终答案里混杂了完全无关的信息。

原因：知识文档切分时用的是固定长度切分，没有按语义边界切，导致一个 chunk 里混了多个主题。检索时相似度阈值设太低，不相关内容也被召回。诊断向量库有没有问题，最靠谱的方法就是把检索到的每条结果打出来逐条阅读、检查其相关性。

解决：改成按章节和段落边界切分，chunk 大小设为 256 字符、重叠 20 字符；把返回条数从 4 改成 3；相似度阈值从 0.5 调到 0.65。调整之后检索相关性明显改善。向量检索的调参没有捷径，每一次修改都要围绕刚才提到的“看检索结果”来倒推，而不是凭空猜参数。语义切分的实现，可以先用模型或正则做一级分段，再做定长补充切分。

6. 验证与进阶：用数据指标判断你的 AI 智能体是否真的及格

智能体做出来之后，怎么判断它到底行不行？PPT 的最后一节给了一组评测维度，我在自己的项目里全部落地过，今天把这套验证方法和进阶技巧一并讲透。评测不能靠感觉，也不建议靠人肉看十几条对话结果就下结论，要量化，要建测试集。

第一项指标是工具调用准确率，就是测试智能体在 100 条包含明确工具诉求的输入中正确触发工具的比例。我习惯把这 100 条输入建一个固定测试集，用 pytest 跑回归，覆盖率要超过 90% 才认为这个智能体的工具层及格。第二项指标是任务完成率，端到端跑完业务流程的比例，比如“查库存、计算补货量、生成采购单”整套流程完整走完的次数。第三项是往返轮次，平均多少轮对话能完成一个任务，这个数值直接和 token 成本挂钩。最后一项是用户明确表达不满的次数比例，这个指标最直接，也最不给人留情面。

进阶玩法里，我强烈建议做一件事：把每一条失败的请求连同当时的模型输出、工具返回值、上下文快照全部保存下来，形成一个失败回放集。每次迭代提示词或调整参数后，用回放集重新跑一遍，观察有多少失败用例被修复。这比盲目调 prompt 高效得多——你看到的不是单条结果的变化，而是一个测试集上的系统性变化。拿我自己那套跨境电商选品智能体来说，第一轮迭代后工具调用准确率从 68% 提到了 81%，修复回放集中的 13 条失败用例后，才提升到了 91%，进步幅度和修复的用例数量高度相关，方向抓得准效果就立得住。

最后说一个我自己的习惯：每次上线新智能体，我会手动构造 5 条对抗性输入——包括模糊表达、诱导性指令、超出权限范围的操作要求——专门测试平台的边界防护。这 5 条输入会和常规测试集一起放进自动化回归流程，形成一个“上线前必跑清单”。这套清单已经救过我很多次，因为只要一次没跑，智能体就会在某些想不到的输入上翻车。从那以后我每次新项目都强制走一遍完整评测流程，你把这个习惯保留住，就不会在大模型应用这个领域走太多弯路，希望帮到你。

本文还有配套的精品资源，点击获取