企业官网建设流程全解析

Era‑by‑Eon：面向企业智能体的隐藏知识能力评测基准

arXiv编号：arXiv:2609.30055v1
摘要
在Era‑by‑Eon基准原有可计算问题中，问题的全部推理规则均在题干或企业文档内显式给出；当智能体支持代码执行能力时，四款最强模型在27道可计算问题上答对22‑25题，模型之间区分度很低。本文为该基准新增8道依赖隐藏知识的问题模板：隐藏事实不会出现在任何题干与文档中，表面记录展示的是其它信息，必须通过多源数据交叉推导得出真实事实。例如CRM记录显示客户放弃采购原因为时间因素，但销售通话录音揭示真实诱因是服务宕机。
基准代码可以为每一份生成的虚构企业数据集填充模板并计算标准答案，全程不依赖大模型。本文一共评测12组智能体（6个大模型 × 2套智能体执行程序），每个问题执行3轮测试。最优智能体在24次尝试中答对18题；6个模型中有4个，无论搭配哪套智能体程序，24次尝试最多仅答对6题。最难的题目要求在多条高度相似记录中甄别正确条目，例如客户签署的三份续约报价中识别实际生效的那一份；全部智能体合计84次尝试，仅1次答对该类问题。

关键词
企业智能体；Agent评测；隐藏知识；多源数据推理；业务数字孪生；Era‑by‑Eon；MCP协议

目录

1. 引言
2. 背景：Era‑by‑Eon基准介绍
3. 原有可计算问题的能力天花板
4. 隐藏知识的定义与约束条件
5. 新增隐藏知识问题模板
6. 数据集与问题生成流程
7. 实验设置
8. 实验结果与失败分析
9. 讨论
10. 结论
11. 参考文献
12. 附录A 问题模板样例
13. 附录B 完整实验原始数据

1 引言

大语言模型智能体可以调用工具访问企业业务数据，完成业务查询任务。一个智能体由大模型基座+智能体执行程序两部分组成：执行程序提供工具，工具调用企业系统API；模型输出工具调用，执行程序运行工具并返回结果，模型整合输出最终答案。部分执行程序还允许模型在沙箱中自主编写运行Python代码。

现有企业智能体基准：CRMArena、τ‑bench、TheAgentCompany、WorkArena、Era‑by‑Eon，大多使用可计算问题：解答问题所需要全部规则、条件，全部显式写在题干或者知识库文档中。
Era‑by‑Eon会生成虚构企业，使用业务应用模拟器对外提供数据，代码直接生成标准答案。在原有可计算问题集合上，当智能体支持代码运行，顶尖模型得分高度接近，基准区分能力不足。

现实企业业务场景存在大量隐藏知识：事实不会显式存储在单一系统，需要跨多个异构业务系统、跨记录交叉推断。

示例场景：CRM将客户放弃扩购商机原因标记为「时间因素，明年重新评估」；但销售通话录音记录客户董事会因为服务宕机取消本次扩购；宕机证据来自客户在此商机关闭前提交的最高优先级紧急工单。只读取CRM会得到错误结论，必须结合通话记录、工单系统交叉推导。

本文主要贡献：

1. 定义隐藏知识，划分三类隐藏知识，给出依赖隐藏知识的问题存在唯一标准答案的四项约束条件。
2. 为Era‑by‑Eon基准新增8套隐藏知识问题模板；基准可基于随机种子生成企业数据集，自动填充模板并计算标准答案，全程不需要LLM参与。
3. 评测12组智能体（6模型×2套执行程序），分析智能体在隐藏知识任务上的失败模式；揭示跨系统交叉推断是当前企业智能体的显著短板。

2 背景：Era‑by‑Eon基准介绍

Era‑by‑Eon由Eon公司开发，生成虚构企业并模拟各类真实业务软件。
输入规格包含五项：行业、企业规模（微型‑超大型）、商业模式、业务应用列表、随机种子；生成过程具备确定性，相同规格输出完全一致。
核心产出实体图（entity graph），存储员工、客户、商机、工单、通话记录、聊天消息、文档等全部业务实体。

每套业务系统由模拟器实现，对外提供两套接口：

1. REST API：程序调用接口；
2. MCP（Model Context Protocol）服务：大模型工具调用标准接口。

模拟系统包含：Salesforce/HubSpot CRM、Zendesk工单、Jira工程任务、Gong销售通话记录、Slack聊天、S3文件存储。全部模拟器读取同一实体图；部分场景刻意制造不同系统记录出现信息分歧，用于构造隐藏知识题目。

智能体只有只读权限。

• 评判器：直接基于模拟器返回的数据通过代码计算标准答案key；将智能体输出与key对比打分，不使用LLM做评判。
• 项目资源地址：https://console.era.eon.io

业务术语说明：

• Account：客户企业；Contact：客户企业联系人；
• Deal：商机，潜在销售机会，流转于不同阶段，最终赢单或丢单；
• Contract：签署合同；Renewal：合同续约；Proposal：续约报价方案；
• Ticket：Zendesk支持工单，优先级：Highest / High / Medium / Low；
• Pipeline：全部未结商机。

本文实验使用一套固定随机种子生成的大型金融科技B2B企业，员工规模1000人；40位系统用户（工程17人、客服13人、销售8人、售前2人）；包含250客户账户、4190联系人、198合同、2500商机、3000工单、3506通话记录、9880 Jira Issue、1918 Slack消息、2367份文档。HubSpot存有部分Salesforce商机副本，部分副本的金额、关闭日期存在不一致。

3 原有可计算问题的能力天花板

可计算问题定义：解答该问题需要的全部规则，全部显式写在题干或者企业内部文档。

本文使用两套智能体执行程序：

1. Era原生程序：不支持运行代码；支持MCP + REST API；单轮最大165轮次、165次工具调用；工具返回最大32000字符。
2. LangGraph程序：基于LangGraph构建；工具集合和Era程序保持一致，额外增加沙箱Python代码执行工具；沙箱无外网，脚本只能通过外层程序转发请求访问模拟器API；最大150轮次。

评测6个模型：Claude Fable 5.1、Claude Sonnet 5、GPT‑6 Astra、GPT‑5.6 Sol、GPT‑5.6 Luna、DeepSeek‑V3.2。

27道可计算问题，每道题目运行1次。

现象：开启代码沙箱之后，四款最强模型答对22‑25题；原有可计算任务对顶尖智能体区分度极低。因此需要引入依赖隐藏知识的题目提升基准难度。

4 隐藏知识的定义与约束条件

隐藏知识（Hidden Knowledge）：事实不在任何题干、文档、单条业务记录中显式存在；必须综合多条来自不同系统的记录交叉推导得到。

三类隐藏知识

1. 冲突式隐藏知识：不同系统记录对同一事件给出不一致描述，真实事实需要甄别。（如CRM标记丢单原因为时间，通话录音揭示宕机才是根因）
2. 间接关联隐藏知识：多条记录通过实体ID、时间、人名做间接链接，合并之后才得到结论。
3. 多候选甄别隐藏知识：多条高度相似候选记录，依靠时间、状态等细微约束筛选出唯一正确条目。

具备唯一标准答案的四项前提条件：

1. 全部用于推导的原始记录可以通过只读工具访问；
2. 推导逻辑可以完全由确定性代码实现，不需要主观推测；
3. 实体之间关联链路完整，不存在关键记录缺失；
4. 存在可判定的真值，不需要外部常识。

5 新增隐藏知识问题模板

新增8套问题模板；固定问题句式与推导规则；基准程序从生成企业数据选取实体填入模板，自动计算标准答案。更换随机种子，实体实例、标准答案随之改变。

示例类型：

1. 商机丢单真实根因识别（CRM记录与通话记录冲突，结合工单佐证）；
2. 识别客户实际签署生效的续约报价（多份报价，依靠签署日期、报价有效期筛选）；
3. 跨系统识别客户投诉事件的真实触发源；
4. 销售行为的交叉校验（CRM记录与通话记录不一致）；
5. 工单‑商机关联推导；
   6‑8. 其它多源交叉甄别类任务。

其中多候选甄别类题目难度最高：例如三份续约报价，只有一份在客户签署当日仍处于有效期，需要筛选得到客户实际签署版本。

6 数据集与问题生成流程

1. 基于固定随机种子生成完整金融科技企业实体图；
2. 8套模板，选取对应业务实体填充，生成问题；
3. 确定性Python代码读取模拟器数据，计算标准答案，不调用LLM；
4. 每道题目允许智能体最多3轮尝试。

7 实验设置

1. 被测对象：6个基座模型 × 2套执行程序（Era无代码 / LangGraph带Python沙箱），合计12组智能体。
2. 评测题目：8道隐藏知识题目，每题运行3次，每组智能体一共24次尝试。
3. 环境：Era‑by‑Eon模拟器；评判器为确定性代码评判，不使用LLM judge。
4. 限制条件：Era程序最多165轮次；LangGraph最多150轮次；工具返回字符上限沿用基准配置。

8 实验结果与失败分析

主要实验结果

• 最优智能体：24次尝试答对18题。
• 表现最好两个模型：Claude Fable 5.1、GPT‑6 Astra；对于这两个模型，开启代码沙箱并没有带来明显正确率提升。
• 6个模型中有4个，无论搭配哪套执行程序，24次尝试最多答对6题。
• 最难的多候选甄别题目：全部12组智能体合计84次尝试，仅1次答对。

典型失败模式

1. 只依赖单一系统记录：优先读取CRM等主系统，忽略通话、工单等其它异构数据源，直接采信表面字段；
2. 识别信息冲突，但不去追溯佐证记录：发现两份记录矛盾，无法继续检索第三方证据；
3. 多条相似候选记录无法做精细过滤：拿到多条候选，无法应用时间、有效期等细粒度约束筛选唯一正确记录；
4. 代码沙箱虽然擅长聚合统计，但很难驱动多步跨系统的假设验证与冲突甄别。

关键现象：可计算任务上代码沙箱带来巨大收益；但在隐藏知识冲突甄别任务，代码执行能力本身不足以解决问题；难点在于智能体需要主动意识到存在冲突、主动去检索补充数据源，而不是数据拿到手之后的聚合计算。

9 讨论

1. 原有Era‑by‑Eon可计算任务对强模型区分度过低；新增隐藏知识题目有效拉开模型与智能体程序之间差距。
2. 代码沙箱擅长聚合、join、统计；但是无法解决“不知道需要读取哪些系统”的问题。隐藏知识任务瓶颈是工具检索规划，而不是拿到数据之后的计算。
3. 多候选甄别类任务难度极高，现有企业智能体普遍存在短板。

局限性

1. 实验仅使用一套固定种子生成的企业数据集；不同企业数据分布，难度会发生变化。
2. 全部任务为只读查询任务；不涉及数据修改、写操作。
3. 题目全部为人工设计模板；真实企业业务的隐藏事实模式更加多样复杂。

未来方向：

• 扩充更多隐藏知识模板；
• 拓展多企业种子做大规模评测；
• 研究提升智能体跨系统冲突识别、假设验证检索能力。

10 结论

原有Era‑by‑Eon基准的可计算问题，在智能体具备代码执行能力之后顶尖模型得分趋同，区分度不足。本文新增8道依赖隐藏知识的评测题目，事实不能从单份记录直接读取，需要跨多业务系统交叉推导。12组智能体评测结果显示：当前企业智能体在冲突甄别、多源证据交叉推理任务存在显著短板；即使有Python沙箱代码执行能力，也无法弥补检索规划层面的缺陷；多相似候选甄别类任务几乎全部智能体都很难答对。该套扩充题目提升Era‑by‑Eon基准对企业智能体的区分能力。

11 参考文献

完整参考文献查阅原始arXiv网页：https://arxiv.org/html/2609.30055v1

附录简要说明

• 附录A：隐藏知识完整问题模板样例，输入输出示例。
• 附录B：全部12组智能体24次尝试原始对错统计表，失败案例采样。