企业官网建设流程全解析

总目录

[第 1 章] 你的 RAG 为什么总在「一本正经地胡说」
[第 2 章] 一张图看懂 RAGAS：核心概念与 7 大指标
[第 3 章] 数据构建——样本、数据集与模型接入
[第 4 章] Faithfulness、Context Recall…RAGAS 核心指标怎么算
[第 5 章] 生成侧指标与指标选型：别再乱用 Faithfulness
[第 6 章] 把指标真正跑起来：执行、质控与回归闸门
[第 7 章] 没标注数据？用 RAGAS 自动合成测试集
[第 8 章] 让评估贯穿研发：实验追踪与 @experiment/Dataset 工作流
[第 9 章] 从笔记本到 CI：把 RAGAS 做成生产级流水线
[第 10 章] 内置不够用？手搓 RAGAS 自定义指标（含 SQL/MultiHop）
[第 11 章] RAGAS 不是唯一：6 大评估工具横向对比（功能篇）
[第 12 章] 怎么选？不同团队画像的选型决策矩阵
[第 13 章] 团队落地 RAGAS 的五阶段路线图

在上一篇文章《内置不够用？手搓 RAGAS 自定义指标（含 SQL/MultiHop）》中，我们学会了用扩展点定制自己的评估指标。但 RAGAS 不是唯一选择——接下来跳出 RAGAS，横向对比 6 大评估工具的能力边界。

读者画像：需要做"选型决策"的技术负责人 / 架构师。
本章目标：在了解 RAGAS 的基础上，看清它所在的工具生态、主要竞品的能力边界，并给出可落地的选型框架与 Checklist。

版本口径（全章统一）：本文涉及 RAGAS 处一律以v0.4.3为准。官方仓库统一写作vibrantlabsai/ragas（旧镜像explodinggradients/ragas现已重定向至前者，仍可访问）。

事实 / 观点标注约定：正文中以「【事实】」标注可核验的客观陈述，以「【观点】」标注带主观判断、需结合团队语境自行取舍的建议。竞品信息均引自各自官网 / 官方文档 / 官方仓库。

10.1 为什么需要看生态：RAGAS 不是唯一，理解替代品才能选对

RAGAS 是评估 RAG / Agent 应用的事实标准之一，但它**【事实】**并不是唯一选择，也不是在所有维度上都最优。把 RAGAS 当成"评估工具"的全部，可能导致两个问题：

1. 能力盲区：RAGAS 的核心是"指标打分"，本身不做生产级追踪（tracing）、不做红队（red-teaming）、不提供托管 SaaS。如果你的核心痛点是"线上请求为什么变坏"，单靠 RAGAS 不够。
2. 重复造轮子：很多团队已经在使用 LangSmith、Azure AI Foundry、Phoenix 等平台，它们内置了评估能力。强行另起一套 RAGAS 流水线，可能割裂可观测性与评估数据。

因此，本章的立场是：【观点】选型的第一步不是"选 RAGAS 还是别的"，而是先厘清你的核心诉求（无标注指标？生产追踪？合规审计？CI 门禁？红队安全？），再据此匹配工具——RAGAS 往往是对的位置，但不一定是一站式答案。

值得一提的是，RAGAS 在设计上是**【事实】** provider-agnostic（LLM / embedding / 向量库无关），并且官方已提供与 Phoenix、Langfuse、LangSmith 等可观测性平台的集成入口（见docs.ragas.io），这让它天然适合"作为指标引擎嵌入更大的可观测性栈"，而非与竞品互斥。

10.1 小结

• RAGAS 强在"指标"，弱在"追踪 / 托管 / 安全测试"。
• 选型先定诉求，再定工具；RAGAS 常作为指标层存在。
• 仓库：vibrantlabsai/ragas（v0.4.3）。

10.1 动手检查点

• 列出你团队当前最痛的 3 个评估相关问题（例如"线上质量无监控"“上线前无回归门禁”）。
• 确认团队是否已在使用任一可观测性平台（LangSmith / Phoenix / Azure AI Foundry / Langfuse）。

10.2 主要竞品逐一简介

下列六个工具覆盖了"指标评估 / 追踪 / 托管 / 安全红队"的主要象限。每个条目给出定位与关键能力，并标注其与 RAGAS 的差异点。

10.2.1 DeepEval（Confident AI）

• 定位：开源 LLM 评估框架，背后有 Confident AI 托管平台。【事实】
• 关键点：
  • 提供丰富的"单元测试式"评估：把评估写成pytest用例，天然适合CI。【事实】
  • 指标覆盖 RAG（faithfulness、answer relevancy 等）、对话、Agent，多数为reference-free。【事实】
  • LLM 无关：可接任意模型。【事实】
  • 与 Confident AI 平台联动可做结果沉淀与对比（托管侧）。【事实】
• 与 RAGAS 差异：DeepEval 的"pytest 原生 + 平台沉淀"对 CI 密集团队更顺手；RAGAS 更偏"数据集 → 指标 → 报告"的离线/批式评估。【观点】
• 来源：DeepEval GitHub（注1） ｜ 官方文档（注2）

10.2.2 TruLens

• 定位：开源 LLM / RAG 评估与追踪库（源自 TruEra，现属 IBM 生态）。【事实】
• 关键点：
  • 以RAG Triad（Context Relevance、Groundedness、Answer Relevance）著称，多为reference-free。【事实】
  • 通过"feedback functions"自定义评分，并内置记录（records）用于追踪与对比。【事实】
  • 轻量、开源、可本地运行。【事实】
• 与 RAGAS 差异：TruLens 的反馈函数范式与 RAGAS 的指标类范式思路不同；二者指标集高度重叠，可互为校验。【观点】
• 来源：TruLens GitHub（注3） ｜ 官网（注4）

10.2.3 Arize Phoenix

• 定位：开源 LLM / ML 可观测性与评估平台（Arize AI）。【事实】
• 关键点：
  • 基于OpenInference（OpenTelemetry 语义约定）做生产级追踪，是生态里追踪能力最强的开源选项之一。【事实】
  • 支持LLM-as-judge与模型式评估，可对采集到的 trace 直接打分。【事实】
  • 多模态 / 向量友好：trace、embedding、检索链路均可可视化，适合做根因定位。【事实】
  • LLM 无关，且是 RAGAS 官方集成的追踪后端之一。【事实】
• 与 RAGAS 差异：Phoenix 强在"看见发生了什么"，RAGAS 强在"量化好不好"；两者常组合使用（见 10.6）。【观点】
• 来源：Phoenix GitHub（注5） ｜ 官网（注6）

10.2.4 Giskard

• 定位：开源 ML / LLM 测试与漏洞扫描平台（Giskard AI），含 Giskard Hub。【事实】
• 关键点：
  • 提供LLM Scan自动化扫描（提示注入、敏感信息泄露、幻觉、偏见等），偏"合规 / 安全体检"。【事实】
  • 覆盖 RAG 与 Agent 的测试生成与报告，适合需要向审计方交付测试证据的团队。【事实】
  • 开源核心 + Hub（托管/自托管）。【事实】
• 与 RAGAS 差异：Giskard 的卖点是"自动化安全体检 + 可交付报告"，RAGAS 的卖点是"研究级量化指标"；对合规驱动型团队，Giskard 的缺省报告更省心。【观点】
• 来源：Giskard GitHub（注7） ｜ 官网（注8）

10.2.5 Promptfoo（已被 OpenAI 收购）

• 定位：开源的 prompt / LLM 应用评估与红队（red-teaming）CLI 与库。
• 【事实，一手来源】OpenAI 已于 2026-03-09 宣布收购 Promptfoo，计划将其能力整合进OpenAI Frontier平台（用于构建与运营 AI coworkers）；OpenAI 明确表示将继续构建 Promptfoo 开源项目，同时推进 Frontier 内的企业集成。【事实，一手来源】收购公告详见 OpenAI 官方公告：OpenAI to acquire Promptfoo（注9）；Promptfoo 团队也在官方博客确认：Promptfoo joining OpenAI（注10）。（请勿引用第三方二手站点作为此事实来源。）
• 关键点：
  • 以YAML/CLI定义测试与断言（assertions），支持多 provider 对比，CI 友好。【事实】
  • 强项在prompt 实验、回归对比、红队 / 安全断言（prompt injection、jailbreak、数据泄露等）。【事实】
  • LLM 无关，可接任意模型与框架。【事实】
  • 因并入 OpenAI Frontier，【观点】其企业安全/治理能力后续可能与 OpenAI 平台深度绑定，选型时需关注"开源 CLI 长期承诺"与"Frontier 集成"两条线的演进。
• 与 RAGAS 差异：Promptfoo 偏"prompt/攻击面实验与 CI 门禁"，RAGAS 偏"RAG 质量量化"；两者可互补（用 Promptfoo 跑红队，用 RAGAS 跑质量指标）。【观点】
• 来源（一手）：OpenAI 公告（注9） ｜ Promptfoo 官方博客（注10） ｜ Promptfoo 官网（注11） ｜ Promptfoo GitHub（注12）

10.2.6 LangSmith（LangChain）

• 定位：LangChain 出品的托管 SaaS，提供追踪、评估、数据集管理与 CI 门禁。【事实】
• 关键点：
  • 原生tracing（LangChain 调用链可视化）+datasets + evals一体化，CI 可通过langsmithSDK 接入。【事实】
  • 多模态与复杂链路支持较好，适合已重度使用 LangChain 的团队。【事实】
  • 评估可复用线上 trace，做"生产 → 评估 → 回归"闭环。【事实】
  • 主要计费模式为托管 SaaS（席位/用量），本地自托管能力有限——【观点】对"数据必须不出境"的团队是选型摩擦点。
• 与 RAGAS 差异：LangSmith 是"全栈托管可观测+评估"，RAGAS 是"可嵌入的指标引擎"；已用 LangChain 的团队，LangSmith 上手成本最低，但 RAGAS 仍可充当其评分后端之一。【观点】
• 来源：LangSmith 文档（注13） ｜ 官网（注14）

10.2 小结

• 指标型：RAGAS、DeepEval、TruLens。
• 追踪型：Phoenix（开源最强）、LangSmith（托管最强）。
• 合规/安全型：Giskard（体检报告）、Promptfoo（红队，现属 OpenAI）。
• 托管全栈：LangSmith；开源+平台：DeepEval/Confident AI、Giskard/Hub、Phoenix（可自托管）。

10.2 动手检查点

• 为上述六个竞品各记一句"它最擅长什么"。
• 用一句话写下：你的团队更需要"指标"“追踪"还是"合规报告”？

10.3 横向对比表（逐项维度）

说明：下表为选型速查。单元格内"强/中/弱"为相对主观的定性判断，标注「【观点】」；是否为开源、是否支持某能力等为**【事实】**（引自各官网）。多模态指对图像/音频/视频或 embedding 可视化的支持程度。

读法建议（【观点】）：

• 只想"量化 RAG 质量"→ RAGAS / DeepEval / TruLens。
• 想"看见线上每一步"→ Phoenix 或 LangSmith。
• 想"交一份安全/合规体检报告"→ Giskard；想"跑攻击面回归"→ Promptfoo。
• 想"一站式托管"→ LangSmith（代价：自托管与数据出境受限）。

10.3 小结

• 没有"全能冠军"；RAGAS 在指标维度领先，在追踪/托管/安全维度缺位。
• 追踪强项在 Phoenix / LangSmith；安全强项在 Giskard / Promptfoo。

10.3 动手检查点

• 在表格里圈出你团队"必须有"的 3 个维度。
• 找出哪一个工具在你的必须维度上最弱，记下来作为"需互补"的信号。

参考资料

1. DeepEval GitHub — https://github.com/confident-ai/deepeval
2. 官方文档 — https://docs.confident-ai.com/
3. TruLens GitHub — https://github.com/truera/trulens
4. 官网 — https://www.trulens.org/
5. Phoenix GitHub — https://github.com/Arize-ai/phoenix
6. 官网 — https://phoenix.arize.com/
7. Giskard GitHub — https://github.com/Giskard-AI/giskard
8. 官网 — https://www.giskard.ai/
9. OpenAI 官方公告：OpenAI to acquire Promptfoo — https://openai.com/index/openai-to-acquire-promptfoo
10. Promptfoo joining OpenAI — https://promptfoo.dev/blog/promptfoo-joining-openai
11. Promptfoo 官网 — https://promptfoo.dev/
12. Promptfoo GitHub — https://github.com/promptfoo/promptfoo
13. LangSmith 文档 — https://docs.smith.langchain.com/
14. 官网 — https://www.langchain.com/langsmith

前一篇：《内置不够用？手搓 RAGAS 自定义指标（含 SQL/MultiHop）》
后一篇：怎么选？不同团队画像的选型决策矩阵