说RAG评估之前,要问一下为什么要评估? 学什么东西都要3W1H,what、why、how、who,知其然更要知其所以然。
01 为什么要评估?
02 评估的两种核心视角-黑盒 V.S. 白盒
03 黑盒评估的核心:经典三元组
04 衡量三元组关系的核心指标
05 如何自动化打分和评估?
06 白盒评估:深入RAG内部,精准定位性能瓶颈
07 评估组件(1):检索器(Retriever)
08 检索器评估黄金标准:MTEB
MTEB LeaderBoard:
https://huggingface.co/spaces/mteb/leaderboard
MTEB架构
09 评估组件(2):生成器(Generator)
10 评估工具箱:让评估变得简单
11 总结:一个完整的RAG评估流程
12 RAG系统的关键追踪指标