企业官网建设流程全解析

这项由DigitalOcean Holdings公司研究团队完成的研究发表于2026年4月1日的arXiv预印本平台，论文编号为arXiv:2604.00356v1，感兴趣的读者可以通过这个编号查询完整论文。

在人工智能快速发展的今天，智能体就像我们身边越来越常见的数字助手，它们能够与人对话、使用各种工具来完成复杂任务。然而，当这些智能体被部署到真实世界中为用户服务时，如何持续改进它们的表现却成了一个棘手问题。这就像医生需要定期为病人做体检一样，我们也需要为智能体制定一套"体检方案"来发现问题并加以改进。

DigitalOcean的研究团队注意到了一个有趣的现象：智能体在工作时会产生大量的交互记录，就像留下了详细的"工作日志"，但要从海量的日志中找出有价值的信息来改进系统却极其困难。传统的做法要么是人工逐一检查这些记录，要么是使用其他AI系统来评估，但前者耗时耗力，后者成本高昂。研究团队提出了一个巧妙的解决方案：开发一套轻量级的"信号系统"来自动筛选出最值得关注的交互记录。

这套信号系统就像给智能体装上了一个智能监控装置，能够实时识别各种行为模式，包括用户与智能体之间的沟通问题、智能体执行任务时的困难，以及系统环境的限制等。最重要的是，这套系统完全不需要调用大型语言模型，运行成本极低，却能显著提高找到有用信息的效率。研究团队在广泛使用的τ-bench基准测试中验证了这个方法，结果显示信号驱动的筛选方式找到有用信息的成功率达到82%，远超随机选择的54%和简单过滤方法的74%，效率提升了1.52倍。

一、智能体改进难题：海量数据中找"金子"

在现代人工智能应用中，智能体就像一个能干的数字员工，它们可以与用户聊天、调用各种工具、执行复杂的多步骤任务。这些智能体已经被大规模部署在实际应用中，每天处理着成千上万的用户请求。然而，让这些数字员工变得更聪明、更高效却面临着前所未有的挑战。

智能体在工作过程中会产生详细的行为数据，包括推理步骤、工具使用记录、执行结果和用户反馈等。这些数据就像智能体的"工作档案"，记录了它们如何思考、如何行动，以及用户对其表现的反应。同时，人工智能领域已经发展出了成熟的偏好学习方法，如人类反馈强化学习（RLHF）和直接偏好优化（DPO），这些方法能够根据精心构建的偏好数据来改进AI系统的行为表现。

问题在于，智能体产生的行为数据和偏好学习方法所需要的训练数据之间存在着巨大的鸿沟。生产系统能够捕获丰富的交互轨迹，但没有机制将这些轨迹转化为训练信号。偏好学习流程需要经过精心策划的比较数据，但缺乏从生产环境中系统性获取这些数据的方法。结果就是，改进已部署的智能体仍然主要依赖手工操作，开发人员需要人工检查轨迹，推测故障模式，然后在提示词或工具定义上进行迭代，整个过程缺乏结构化的流水线连接。

这种困难持续存在有几个关键原因。离线评估虽然对测试已知场景很有价值，但依赖于精心策划的基准测试，这些测试无法覆盖现实世界使用中的长尾情况。人工审查无法扩展，智能体轨迹数量庞大且不确定性很高，没有可靠的指标来检测智能体何时陷入无效循环或用户何时感到沮丧。一个自然的替代方案是使用辅助的大语言模型来评估每个轨迹，因为"LLM作为评判者"的方法在结构化任务上显示出与人类偏好超过80%的一致性，但将这种评估应用到每个轨迹在大规模应用中成本过高。

之前关于对话质量的工作提出了从对话特征中衍生的自动质量指标，但这些方法做出的假设在智能体系统中并不成立。首先，它们将对话视为全貌，而智能体将话语层（用户意图、澄清、挫折）与执行层（工具调用、API响应、状态变化）交织在一起。智能体可以保持流畅友好的对话，同时在执行上发生灾难性失败。其次，它们假设信号应该产生质量评分或规定修复方案，但质量判断是依赖上下文的。对专家用户来说简洁的回应可能是理想的，但对新手来说可能令人沮丧，将这种判断嵌入系统中有编码不能跨领域泛化的假设的风险。

二、信号框架：给智能体装上"智能体检仪"

研究团队提出了一个创新的解决方案，就像给智能体装上了一个智能体检仪，能够自动识别各种值得关注的行为模式。这个体检仪的核心是一套轻量级的轨迹信号系统，由多个检测器组成的分诊功能。信号是对反复出现的行为模式的描述性标记，涵盖交互层面（错位、停滞、脱离、满意）、执行层面（失败、循环）和环境层面（耗尽），这些信号可以在不调用模型的情况下计算，并作为结构化元数据附加到轨迹上。

交互信号和执行信号面向学习，适用于构建偏好数据，而环境信号支持系统级诊断，而不作为训练监督。关键的是，信号不是质量评分，它们识别可能对下游分析有信息价值的轨迹，既浮现失败案例也浮现范例案例，而不主张正确性或规定补救措施。

这种设计借鉴了信息检索领域的悠久传统，在该领域中，查询重新表述、停留时间和会话放弃等隐式行为信号一直作为用户满意度的代理，而不需要明确的反馈。研究团队将这个想法适应到智能体设置中，其中轨迹不仅包含自然语言，还包含工具调用、执行结果和环境反馈。

整个信号分类法按照两个正交轴组织轨迹信号：从中衍生信号的数据层和它们的下游效用。第一个轴区分从轨迹的话语层（用户-助手自然语言）衍生的信号和从执行层（例如工具调用、运行时事件）衍生的信号。第二个轴区分对学习有用的信号（即用于构建偏好数据和改进智能体策略）和主要对诊断和系统可观察性有用的信号。这产生了三个顶级信号组：交互信号（面向学习）、执行信号（面向学习）和环境信号（面向诊断）。

三、交互信号：读懂人机对话中的"弦外之音"

交互信号就像一个敏感的对话分析师，专门负责从用户与智能体的自然语言交流中捕捉各种微妙的信号。这些信号反映了面向用户的行为和合作动态，但不对智能体的内部状态或语义正确性做出判断。这些信号适用于偏好学习，因为它们暴露了直接对用户可见的成功和失败模式。

研究团队将交互信号分为四种反复出现的话语级模式。错位信号捕捉用户和智能体之间的语义或意图不匹配，比如重新表述、纠正、澄清和重申约束。重要的是，这些信号不主张任何一方是"错误的"，它们只表明共同理解尚未建立。停滞信号捕捉话语继续但未能取得可见进展的情况，包括近似重复的助手回应、循环解释、重复的脚手架和其他形式的语言退化。与执行级循环不同，停滞是根据话语动态而不是控制流来定义的。

脱离信号标记从交互中撤回合作意图，包括明确要求退出智能体流程（例如"与人类交谈"）、强烈的负面立场，以及当会话边界可观察时的放弃标记。脱离不同于错位和停滞，因为它代表终端或接近终端的状态。满意信号表明交互的成功收敛和完成，包括感谢表达、成功确认（例如"有效"）和结束话语。研究团队使用这些信号来采样范例轨迹，而不是分配质量评分。

这些信号的检测使用轻量级标准化和可解释的、容错的用户回合匹配。错位、脱离和满意主要由短语级线索触发，并在附近回合进行额外的局部相似性检查，以捕捉重新表述，即使在缺乏明确标记时也是如此。停滞使用简单的话语启发式检测，总结重复和低效率（例如说话者角色内的近似重复措辞和相对于基线的长时间交互）。整体设计强调对表面变化的鲁棒性，同时保持触发器对特定消息跨度的可追溯性，以便分诊。

四、执行信号：监测智能体的"动作表现"

执行信号就像一个专业的动作分析师，专门从智能体内部控制循环发出的结构化运行时事件中提取信息。这些事件可能包括推理步骤、动作选择、工具或网络调用、内存操作或其他智能体动作。与交互信号不同，执行信号是模态无关的且通常是确定性的。研究团队将执行信号作为单独的类别，因为它们反映智能体决策行为而不是外部系统条件。

执行信号被分为两种反复出现的行为模式。失败信号捕捉不产生可用或任务推进结果的动作尝试（例如空结果、无操作动作、不适当的动作选择），而不将责任归咎于智能体或环境。这些信号与学习相关，因为它们影响智能体的后续行为。循环信号捕捉智能体保持活跃但不取得进展的重复执行模式，包括重试、策略或动作类型之间的振荡以及渐进参数漂移。这些模式被统一视为非进展控制流的表现。

执行失败通过对结构化观察中的非推进工具结果进行分类来检测，并将每个结果与其触发调用关联以保留相关上下文（例如工具身份和参数）。执行循环通过调用流序列分析检测，使用简单的模式规则识别具有相同输入的重复调用、具有系统性变化输入的重复调用以及重复的多工具循环。这种分离允许失败捕捉局部故障，而循环捕捉持续的非进展控制流。

五、环境信号：识别"外部干扰因素"

环境信号就像一个系统环境监测器，专门捕捉来自周围系统而不是智能体内部策略或推理的失败和约束。这些包括基础设施、API和资源边界条件。研究团队将这些信号隔离出来，因为虽然它们对可观察性和诊断至关重要，但不适合作为训练监督。它们不反映智能体决策的质量，如果用于学习可能会引入虚假关联。需要注意的是，如果事件主要由系统约束或服务健康（配额、中断、上下文上限）解释，研究团队将其分类为环境信号，否则分类为执行信号。

环境信号被归入单一高级模式：耗尽信号捕捉边界和基础设施条件，如上下文溢出、速率限制、API失败和格式错误的外部响应，这些独立于智能体能力终止或降级行为。它们用于诊断而不是学习。

耗尽信号通过识别系统输出中的外部失败和资源限制指标从工具观察中检测。检测器产生轨迹局部化实例，支持诊断和系统级分诊，它通过将事件归因于外部服务条件和资源边界来区分环境驱动约束和执行驱动问题，当这些指标占主导地位时。

六、实验验证：在"考场"上测试信号系统

研究团队将提出的信号框架作为一个数据选择机制进行评估，该机制可以位于偏好构建和训练的上游。与其将信号评估为分类器或质量评分器，他们询问信号是否能够作为实用的采样基础设施：识别哪些轨迹值得人工审查，而不需要语义理解或明确的奖励建模。具体来说，他们旨在验证信号采样在固定注释预算下比基线策略表面更高比例的开发者信息轨迹的声明，揭示有意义的成功或失败模式，否则这些模式会被稀释或完全错过。

研究团队使用τ-bench作为测试平台，这是一个模拟配备工具的智能体在两个领域（航空和零售）中多轮对话的基准。其轨迹包含话语级交互（用户-智能体对话）和结构化执行事件（工具调用、API响应、数据库变更），运用了提议框架中的所有信号类别。他们从τ-bench公开可用的历史轨迹构建轨迹池，这些轨迹由多个智能体配置（变化模型骨干和提示策略）在所有基准任务中生成。结果池自然包括成功和失败。他们将总池大小表示为N，每种方法抽取固定大小的n=100轨迹样本。需要注意的是，τ-bench使用LLM模拟用户而不是真实用户，某些交互信号，特别是脱离和满意，因此相对于真实世界流量可能代表不足。

研究团队比较了三种采样方法，每种抽取100个轨迹。随机采样从完整轨迹池中均匀采样，作为无偏基线。启发式采样选择包含至少10条用户消息的轨迹，这是从业者可能应用的最自然的第一道过滤器。这个阈值捕捉了更长对话更复杂或更可能包含失败的直觉。然而，对话长度是难度的表面相关，而不是信息价值的直接指标。信号采样由组合交互和执行信号选择的轨迹。环境信号被排除，与其仅诊断角色一致。该方法使用完整的交互信号集（错位、停滞、脱离、满意）和执行信号（失败、循环），聚合为综合分诊评分，优先考虑显示一个或多个信号激活的轨迹。

所有三种采样策略抽取相同数量的轨迹（n=100），确保注释产出的任何差异可归因于采样策略而不是注释量。三名专家注释者，每人都熟悉智能体系统和工具使用模式，独立标记所有300个轨迹。来自所有条件的轨迹被打乱到单一队列中，注释者对产生每个轨迹的采样策略保持盲态。

七、令人瞩目的实验结果

实验结果就像一场精彩的比赛，信号采样方法表现出色。在评估注释可靠性方面，个体注释者的YES率范围从0.57到0.74，产生0.34的流行指数和0.17的偏差指数。这两个因素已知会降低κ族统计量，即使原始一致性是充分的，因此研究团队主要依赖Gwet的AC1，它纠正了这些效应，作为主要一致性系数。对于二元开发者信息问题，三评分者Gwet的AC1为0.477，表明中等一致性。

因为这个问题需要在分级、主观属性上进行二元划分，分歧集中在边界轨迹上，其中证据存在但模糊可操作，因此中等值反映阈值分歧而不是缺乏共同理解。这种解释通过主要原因类别得到确认：在所有三名注释者同意轨迹有信息价值的轨迹条件下（N=130），Fleiss的κ=0.662，Gwet的AC1=0.829，表明注释者一旦同意轨迹值得检查，就能可靠地识别相同的潜在问题。

τ-bench中的每个轨迹都带有二元奖励：只有当最终数据库状态与真实结果完全匹配且智能体响应包含所有必需信息时，轨迹才被认为成功。按这个奖励分层暴露了三个采样器之间的关键组成差异。启发式采样主要选择失败轨迹（70%奖励=0），而随机采样反映池的基本率（37%失败）。信号采样绘制更平衡的混合（52%失败）。这种组成差异具有重要含义。

在失败轨迹中，所有策略实现高信息率（75.7% – 96.2%），信号采样达到96.2%。实际差距在成功轨迹中更明显，三种策略在此分化最大：信号采样在66.7%的成功轨迹中识别信息模式，相比启发式采样的50.0%和随机采样的仅41.3%。这些是微妙的行为问题，例如政策违规和低效工具使用，不阻止任务完成但仍然对改进很重要。

为了将每种策略找到信息轨迹的能力与其过度采样失败的倾向隔离开来，研究团队进行了反事实标准化，将每种策略的分层特定率重新加权到随机采样的奖励分布（63%成功，37%失败）。在这种调整下，信号采样实现77.6%的标准化率，相比启发式采样的62.7%和随机采样的54.0%。启发式采样相对随机采样的优势在其失败重组成被移除后下降11.3个百分点，而信号采样的优势更加稳健（仅4.4点减少）。这证实信号采样提供真正的每轨迹信息增益，而不仅仅是过度采样失败轨迹。

八、实用效益：让智能体改进更高效

前述结果直接转化为实际节省。在100个注释的固定预算下，信号采样产出82个信息轨迹，相比启发式采样的74个和随机采样的54个。等价地，信号采样下每个信息轨迹成本1.22个标签，相对启发式采样的1.35个和随机采样的1.85个，对应相对无偏基线1.52倍效率增益。此外，正如奖励分层分析显示的，这种增益不仅仅是过度采样明显失败的人工制品：信号采样在失败和成功分层内都保持更高的信息率，意味着效率优势即使在样本组成保持恒定时也持续存在。

在开发者信息轨迹中，注释原因的分布在所有三种策略中是稳定的：动作/工具使用行为问题占57-60%，对话问题占38-43%，少量成功范例。这种一致性表明信号框架不偏向表面的问题类型，而是简单地表面更多问题。

研究团队还检查了信号采样的优势是否在τ-bench的不同领域中保持。在航空领域，所有策略实现高信息率（86% – 96%），为差异化留下有限空间。零售领域具有更复杂的多步骤任务和更低的基本信息率，揭示了最清晰的分离：信号采样实现78%信息率，相比启发式采样的66%和随机采样的35%。信号采样因此在轨迹最异质且非信息轨迹最普遍的地方提供最大边际价值。

九、局限性与未来展望

这项研究虽然取得了显著成果，但也存在一些局限性需要坦诚面对。实验是在τ-bench上进行的，该基准跨越两个领域（航空和零售）并使用LLM模拟用户。虽然这些领域运用了分类法中的所有信号类别，但观察到的优势是否能推广到更广泛的领域范围和真实用户群体仍然是一个开放问题。特别是，模拟用户可能低估了真实脱离和满意模式的变异性。

此外，信号分类法是有意粗粒度和行为性的。它捕捉反复出现的话语和执行模式，但不评估语义正确性或领域特定政策违规。流畅且行为上不显著但事实错误的轨迹不会被当前框架表面，表明信号最好与互补机制（如领域特定验证器或结果验证）一起使用。

最后，信号检测器依赖确定性规则和词汇启发式。基于模型的检测器可以提供改进的召回率，特别是对于缺乏明确词汇标记的微妙错位或隐式挫折模式，尽管代价是使始终在线部署可行的轻量级计算。探索结合基于规则的信号与选择性基于模型检测的混合架构是一个有前景的方向。

尽管存在这些局限性，这个框架为智能体系统的持续改进提供了一个实用且高效的解决方案。由于所有信号都通过确定性规则而不是模型调用计算，该方法产生微不足道的开销，并且能够轻松扩展到大型交互跟踪集合。这种实用性和效率的结合使信号基采样成为更广泛偏好数据构建流水线中引人注目的第一阶段：选择的轨迹，包括失败和成功范例，可以与反事实延续配对，为基于偏好的优化产生监督。

Q&A

Q1：什么是智能体轨迹信号系统？

A：智能体轨迹信号系统就像给AI助手装上的智能体检仪，能够自动识别AI在工作时的各种行为模式。它不需要调用大语言模型，运行成本极低，却能从海量的交互记录中快速筛选出最值得关注的案例，帮助开发者发现问题并改进AI系统。

Q2：这套信号系统如何提高AI改进效率？

A：传统方法筛选有用信息的成功率只有54%，而信号系统能达到82%，效率提升了1.52倍。这意味着在相同的人工审查成本下，开发者能找到更多有价值的改进线索，既包括需要修正的失败案例，也包括值得学习的成功范例。

Q3：DigitalOcean的信号分类法包含哪些类型？

A：信号分类法包含三大类：交互信号（识别用户与AI对话中的问题，如沟通不畅、对话停滞等）、执行信号（监测AI执行任务时的表现，如工具调用失败、陷入循环等）、环境信号（识别外部系统限制，如API故障、资源耗尽等，主要用于系统诊断）。