企业官网建设流程全解析

Evaluator Mapping

【免费下载链接】awesome-copilotCommunity-contributed instructions, agents, skills, and configurations to help you make the most of GitHub Copilot.项目地址: https://gitcode.com/GitHub_Trending/aw/awesome-copilot

Built-in evaluators used

Agent evaluators

Manual custom evaluators (mechanical checks only)

Applicability summary

• Dataset-level defaults(apply to all items): Factuality, pixie_qa/evaluators.py:extraction_accuracy
• Item-specific(apply to subset): ClosedQA (only items with expected_output)

这份清单之所以重要，是因为数据集的求值器作用域有两种：**数据集级默认求值器**（适用于所有条目，来自 Step 1c 中的"通用准则"）与**条目级求值器**（仅适用于特定子集，来自"场景专属准则"）。在 [testing-api.md](https://link.gitcode.com/i/1a9aa02d7b51855582815e896853e351) 中可见其执行规则：条目省略 `evaluators` 字段则继承数据集默认值；写 `["...", "ClosedQA"]` 表示默认值加 ClosedQA；写 `["OnlyThis"]`（不含 `"..."`）则**只用** OnlyThis、完全不用默认值。 ### 输出清单 - 自定义求值器实现：`pixie_qa/evaluators.py`（如需要自定义求值器） - `pixie_qa/03-evaluator-mapping.md`：准则到求值器的映射 --- ## 5. 与后续步骤的衔接：从定义到验证 ### 5.1 Agent 求值器如何参与 `pixie test` 定义完成后，Step 4 数据集按名字引用求值器，Step 5 用 `pixie test` 运行（参见 [5-run-tests.md](https://link.gitcode.com/i/8efe9af47af685be6a58863acf37c155)）： ```bash uv run pixie test uv run pixie test -v # 输出每条用例的分数与求值器 reasoning

【免费下载链接】awesome-copilotCommunity-contributed instructions, agents, skills, and configurations to help you make the most of GitHub Copilot.项目地址: https://gitcode.com/GitHub_Trending/aw/awesome-copilot