企业官网建设流程全解析

1. 研究智能体为何不出现过拟合：把假设搜索拆成可计费轨迹

在跑研究智能体的假设搜索与消融实验时，我先用 TaoToken 管 Key：https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=research_agent_intro 。Base URL 固定为 https://taotoken.net/api，所有子智能体只读TAOTOKEN_API_KEY。这条线来自一个看似反直觉的问题：研究解释机器学习研究智能体为何不出现过拟合。把它落到工程里，不是问模型有没有记忆，而是问假设搜索、验证选择、消融评审三段流程有没有把过拟合信号挡回去，以及每一步消耗了多少 Token。

研究智能体和普通代码生成助手的区别在于：普通助手直接产出一个补丁，研究智能体要反复提出假设、设计实验、生成训练脚本、读取本地结果、评审结论。它不过拟合，往往不是因为底层模型更“聪明”，而是因为外层流程在做类似模型选择的事情：每轮只保留少量假设，用验证集或离线指标淘汰，再用消融实验检查某个组件是否真的有效。换句话说，研究智能体的“正则化”发生在搜索策略、评审机制和实验预算里，而不是发生在模型权重更新里。

这也解释了为什么 Token 消耗会突然放大。假设生成一轮可能只有几千 Token，但实验设计、代码生成、运行反馈摘要、评审归因会叠加。更麻烦的是，多路子智能体如果各自读不同 Key，最后你无法回答“这次不出现过拟合，是因为评审关掉了，还是因为搜索轮数变短了，还是因为代码生成模型换成了更轻量的版本”。所以实验配置里要先把供应商入口固定下来。

下面是一个只描述实验结构的 YAML 片段，不连接生产库，也不自动执行昂贵训练，所有脚本都由读者在本地运行：

experiment: name: ml_research_agent_overfit_probe provider: name: taotoken base_url: https://taotoken.net/api api_key_env: TAOTOKEN_API_KEY agents: hypothesis: role: 生成可证伪假设 temperature: 0.7 max_tokens: 2048 designer: role: 设计对照实验与消融维度 temperature: 0.2 max_tokens: 1536 coder: role: 生成训练与评估脚本 temperature: 0.1 max_tokens: 4096 reviewer: role: 审查指标泄漏、验证集污染与过拟合信号 temperature: 0.0 max_tokens: 1536 search: rounds: 8 hypotheses_per_round: 5 keep_top_k: 2 stop_when_no_improve: 3 ablation: dimensions: - hypothesis_rounds - reviewer_enabled - validation_split - coder_model output: token_log: runs/token_usage.jsonl run_dir: runs/ml_research_agent_overfit_probe

这个配置的重点不是模型名，而是把每个角色的 Token 预算、温度、最大输出分开。假设生成需要多样性，温度可以略高；实验设计和评审需要稳定，温度应低；代码生成需要较长输出，但要限制最大 Token，防止一个子智能体吃掉整轮预算。只有 Key 来源统一，这些字段才有归因意义。

从研究工程角度看，“不出现过拟合”可以拆成三个可观测信号：

1. 假设保留率：每轮生成很多假设，最终进入下一轮的很少。如果保留率过高，说明评审没有起作用。
2. 验证集与测试集间隙：如果训练指标上升但验证指标不升，过拟合风险增加。研究智能体若能识别这种间隙，它就不会盲目追高训练分数。
3. 消融收益：关掉评审、缩短搜索、替换代码生成模型后，如果最终指标大幅下降，说明原流程中的某个环节确实在抑制过拟合，而不只是增加了 Token 消耗。

这些信号都要和 Token 消耗记录放在一起看。否则你只能得到“看起来不错”的结论，无法复现。

2. TaoToken Key 与环境变量：让假设搜索、代码生成、评审共用可追踪入口

在给研究智能体设置 API Key 的环境变量时，去 TaoToken 官网拿 Key：https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=key_env_setup 。创建时建议按实验线拆 Key，例如research-baseline、research-no-reviewer、research-short-search，这样即使多个终端同时跑消融，也能在控制台看清哪条实验线消耗异常。Base URL 仍然统一为https://taotoken.net/api，Base URL 本身不加 UTM 参数。

通用环境变量可以这样写：

export TAOTOKEN_API_KEY="YOUR_API_KEY" export TAOTOKEN_BASE_URL="https://taotoken.net/api" # 下面这组只给 Claude Code 使用，Codex 不要读 ANTHROPIC_*。 export ANTHROPIC_BASE_URL="https://taotoken.net/api" export ANTHROPIC_AUTH_TOKEN="$TAOTOKEN_API_KEY"

如果你在同一台机器上同时跑 Claude Code 和研究智能体的 Python 脚本，建议把通用 Key 和工具专用变量分开：

# 通用 Key：Python 脚本、CC Switch、Codex 的 env_key 都读它 export TAOTOKEN_API_KEY="YOUR_API_KEY" # Claude Code 专用 export ANTHROPIC_BASE_URL="https://taotoken.net/api" export ANTHROPIC_AUTH_TOKEN="$TAOTOKEN_API_KEY" # 本地实验记录 export RESEARCH_RUN_ID="overfit-probe-$(date +%Y%m%d-%H%M%S)"

验证环境变量是否生效：

env | grep -E 'TAOTOKEN|ANTHROPIC|RESEARCH_RUN_ID'

如果输出里TAOTOKEN_API_KEY为空，不要继续跑实验。研究智能体最怕的不是单次报错，而是某些子进程继承了旧 Key，另一些子进程继承了新 Key，最后 Token 消耗表完全对不上。

Python 侧建议只从环境变量读 Key，不要把 Key 写进实验 YAML：

import os from openai import OpenAI client = OpenAI( base_url="https://taotoken.net/api", api_key=os.environ["TAOTOKEN_API_KEY"], ) def build_agent_client() -> OpenAI: if not os.environ.get("TAOTOKEN_API_KEY"): raise RuntimeError("TAOTOKEN_API_KEY 未设置，请先在 TaoToken 官网创建 Key") return client

这里用https://taotoken.net/api作为统一入口，不在代码里写 UTM，也不把 Key 硬编码到仓库。实验脚本只读本地数据，不做任何生产库直连；需要统计结果时，由读者在本地执行 SQL 或 Python 聚合。

3. Claude Code 配置：settings.json 与 ANTHROPIC_* 跑研究实验

Claude Code 适合承担研究智能体里的代码生成和局部重构任务。它读取settings.json中的env字段，也可以继承环境变量。为了减少每次开终端都手动 export，可以把项目级配置放到.claude/settings.json，把 Key 仍保留在环境变量中。示例：

{ "env": { "ANTHROPIC_BASE_URL": "https://taotoken.net/api", "ANTHROPIC_AUTH_TOKEN": "YOUR_API_KEY", "ANTHROPIC_MODEL": "claude-sonnet-4", "ANTHROPIC_SMALL_FAST_MODEL": "claude-3-5-haiku" }, "permissions": { "allow": [ "Read", "Edit", "Bash(python:*)", "Bash(pytest:*)", "Bash(git diff:*)" ] } }

如果你不想把真实 Key 写进settings.json，可以用环境变量覆盖，或只在本地配置文件中保留YOUR_API_KEY占位符，提交前用.gitignore排除。更稳妥的方式是：

1. 在 TaoToken 控制台创建实验专用 Key。
2. 在 shell 里导出ANTHROPIC_AUTH_TOKEN="$TAOTOKEN_API_KEY"。
3. settings.json只保留非敏感字段，例如模型名、权限、Base URL。

Claude Code 在研究智能体中的典型用法不是让它直接改训练代码，而是让它根据实验配置生成可复现的实验脚本，例如：

claude "读取 experiments/baseline.yaml，生成一个本地实验脚本 scripts/run_hypothesis_search.py。要求：只使用本地 CSV，输出每轮假设保留率和 token_usage.jsonl，不连接数据库。"

这段命令的边界要写清楚：只读本地文件、只生成脚本、不自动提交、不自动部署。Claude Code 跑完后，再用评审智能体检查脚本是否存在指标泄漏，例如是否在划分验证集之前做了全局归一化，是否用测试集参与模型选择。

常见报错排查：

• 401：检查ANTHROPIC_AUTH_TOKEN是否等于当前 Key，检查是否误用了旧实验线的 Key。
• 404 或路径错误：检查ANTHROPIC_BASE_URL是否为https://taotoken.net/api，不要额外拼接未经验证的路径。
• 模型不存在：检查ANTHROPIC_MODEL是否在 TaoToken 模型列表里可用，不要照搬别的供应商模型名。
• Token 统计缺失：Claude Code 的交互输出不一定包含完整 usage，实验脚本侧仍要单独记录 Token。

Claude Code 的配置核心是ANTHROPIC_*，这套变量不要复制给 Codex。

4. Codex 配置：config.toml 与 TAOTOKEN_API_KEY，别把 ANTHROPIC_* 塞进来

Codex 使用config.toml管理模型供应商，不使用ANTHROPIC_*。如果你的研究智能体里同时有 Claude Code 和 Codex，务必把两套配置分开。Codex 的config.toml可以这样写：

model = "gpt-5-codex" model_provider = "taotoken" approval_policy = "on-request" [model_providers.taotoken] name = "TaoToken" base_url = "https://taotoken.net/api" env_key = "TAOTOKEN_API_KEY" wire_api = "chat"

对应环境变量只需要通用 Key：

export TAOTOKEN_API_KEY="YOUR_API_KEY"

然后在项目目录运行：

codex exec "根据 experiments/baseline.yaml 生成本地实验脚本，只写文件，不执行训练。"

Codex 的env_key指向TAOTOKEN_API_KEY，而不是ANTHROPIC_AUTH_TOKEN。如果你把ANTHROPIC_BASE_URL或ANTHROPIC_AUTH_TOKEN写进 Codex 环境，它不会按 Claude Code 的方式读取，反而容易造成“终端里看起来有 Key，但 Codex 仍报未配置”的假象。

Codex 配置排查清单：

• model_provider的值必须和[model_providers.taotoken]的段名一致。
• env_key必须和 shell 里实际导出的变量一致。
• base_url使用https://taotoken.net/api，不要带 UTM 参数。
• 如果使用 Chat Completions 兼容方式，wire_api可按客户端要求调整；如果客户端支持 Responses 接口，再按实际能力切换。
• 不要把 Claude Code 的settings.json直接复制成 Codex 配置，两者字段不同。

在消融实验里，Codex 更适合做“代码生成”和“脚本重构”分支。比如coder_model维度可以比较强模型和轻量模型在可运行率、Token 消耗、最终验证指标上的差异。所有生成的训练脚本都应在本地沙箱或本地目录执行，不要让它直接连生产数据库。

5. CC Switch 三件套：baseline、no-reviewer、short-search 多分支不串 Key

如果你用 CC Switch 管理多个 API 入口，建议把“三件套”一次写清楚：Provider 名称、Base URL、API Key 环境变量。这样在 baseline、no-reviewer、short-search 之间切换时，不会出现 Claude Code 用了 A 线 Key、Codex 用了 B 线 Key、Python 脚本又读 C 线 Key 的情况。CC Switch 里可以按下面字段填：

Profile Name: taotoken-research-baseline Provider: TaoToken Base URL: https://taotoken.net/api API Key Env: TAOTOKEN_API_KEY Claude Code Env: ANTHROPIC_BASE_URL=https://taotoken.net/api; ANTHROPIC_AUTH_TOKEN=${TAOTOKEN_API_KEY} Codex Config: model_provider=taotoken; env_key=TAOTOKEN_API_KEY; base_url=https://taotoken.net/api

如果要做多分支消融，可以复制出多个 profile：

taotoken-research-baseline taotoken-research-no-reviewer taotoken-research-short-search taotoken-research-alt-coder

每个 profile 仍然指向同一个 Base URLhttps://taotoken.net/api，但可以使用不同 Key。创建 Key 的入口在这里：https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=cc_switch_profiles 。实验结束后，你可以在控制台按 Key 名称回看消耗，这比在散落的终端历史里找 Token 数字可靠得多。

推荐的本地目录结构：

research-agent/ experiments/ baseline.yaml no_reviewer.yaml short_search.yaml alt_coder.yaml claude/ settings.json codex/ config.toml scripts/ run_hypothesis_search.py summarize_tokens.py runs/ baseline/ no_reviewer/ short_search/ alt_coder/ .env.example .gitignore

.env.example只写占位符：

TAOTOKEN_API_KEY=YOUR_API_KEY TAOTOKEN_BASE_URL=https://taotoken.net/api RESEARCH_RUN_ID=baseline

.gitignore至少排除真实.env、runs/中的敏感输出、以及任何包含真实 Key 的本地覆盖文件。CC Switch 的 profile 名称和实验 YAML 名称保持一致，后续做 Token 对照表时可以直接按目录聚合。

CC Switch 三件套的意义不是“多一个面板”，而是把工具入口和实验线绑定。研究智能体不过拟合的解释如果缺少 Key 来源记录，就无法判断某次改进是流程带来的，还是供应商切换带来的。把三件套固定后，消融实验才有可复现的起点。

6. 消融实验 Token 消耗对照表：把“不出现过拟合”变成可量化证据

研究智能体不出现过拟合，通常不是单一组件造成的。评审智能体可能挡住了指标泄漏，短搜索可能减少了无效假设，验证集划分可能阻止了测试集信息回流。要验证这些机制，必须同时看指标和 Token。下面是一张示例口径的 Token 消耗对照表，数值仅用于说明如何组织实验，实际跑的时候请用你本地token_usage.jsonl聚合替换：

这张表要回答三个问题：

1. 总 Token 变化是否与验证指标变化同向？如果 Token 增加但验证指标不升，说明流程在空转。
2. 训练-验证间隙是否随评审关闭而扩大？如果扩大，说明评审智能体确实在抑制过拟合信号。
3. 代码生成模型变轻量后，可运行率是否下降？如果下降太多，节省的 Token 会被重试成本吃掉。

建议在每个实验脚本里记录每次调用的 usage。下面是一个本地记录片段，只写 JSONL，不连接外部数据库：

import json import os import time from openai import OpenAI client = OpenAI( base_url="https://taotoken.net/api", api_key=os.environ["TAOTOKEN_API_KEY"], ) def call_agent(agent_name: str, prompt: str, model: str, max_tokens: int = 2048) -> str: started = time.time() response = client.chat.completions.create( model=model, messages=[{"role": "user", "content": prompt}], max_tokens=max_tokens, temperature=0.2, ) usage = response.usage record = { "run_id": os.environ.get("RESEARCH_RUN_ID", "local"), "agent": agent_name, "model": model, "prompt_tokens": usage.prompt_tokens, "completion_tokens": usage.completion_tokens, "total_tokens": usage.total_tokens, "latency_ms": int((time.time() - started) * 1000), } os.makedirs("runs", exist_ok=True) with open("runs/token_usage.jsonl", "a", encoding="utf-8") as f: f.write(json.dumps(record, ensure_ascii=False) + "\n") return response.choices[0].message.content

跑完一个分支后，用本地命令聚合：

python - <<'PY' import json from collections import defaultdict totals = defaultdict(int) with open("runs/token_usage.jsonl", encoding="utf-8") as f: for line in f: item = json.loads(line) totals[item["agent"]] += item["total_tokens"] for agent, tokens in sorted(totals.items()): print(f"{agent}: {tokens}") PY

这个聚合脚本只读本地 JSONL。你可以在本地 SQLite 中建表再查询，也可以直接用 pandas，但不要在研究智能体里直连生产库。研究实验的数据边界应该是本地样本、本地日志、本地结果。

把 Token 消耗表和验证指标放在一起后，研究智能体“不出现过拟合”的解释就不再是口头结论，而是一条可复现的证据链：评审开启时，间隙更小；短搜索时，Token 更低但收益可能下降；轻量代码模型可以降低生成成本，但需要检查可运行率。每一项都对应一个实验配置、一个 Key 来源、一份 Token 记录。

7. 从实验到复现：模型对话、Coding Plan、创建 Key、Claude Code 文档

如果你准备把上面的研究智能体实验跑起来，建议按这个顺序操作：

1. 先用模型对话快速验证假设搜索提示词，确认评审智能体能否识别训练-验证间隙。入口：https://taotoken.net/models/detail/chat?utm_source=taotoken_aicg_blog_end&utm_content=research_agent_cta_chat
2. 如果要把 Claude Code、Codex、CC Switch 都纳入多分支实验，查看 Coding Plan：https://taotoken.net/coding-plan?utm_source=taotoken_aicg_blog_end&utm_content=research_agent_cta_coding
3. 在控制台创建实验专用 Key，并按 baseline、no_reviewer、short_search、alt_coder 命名：https://taotoken.net/console/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=research_agent_cta_key
4. 配置 Claude Code 的settings.json和ANTHROPIC_*前，对照 Claude Code 文档确认当前字段：https://taotoken.net/doc/ClaudeCodeAnthropic?utm_source=taotoken_aicg_blog_end&utm_content=research_agent_cta_doc

最后再检查一遍关键项：

• Base URL 是否统一为https://taotoken.net/api，没有带 UTM 参数。
• Claude Code 是否只读ANTHROPIC_BASE_URL、ANTHROPIC_AUTH_TOKEN。
• Codex 是否只读config.toml里的env_key = "TAOTOKEN_API_KEY"，没有混入ANTHROPIC_*。
• CC Switch 三件套是否写清楚：Provider、Base URL、API Key 环境变量。
• 每个消融分支是否有独立 Key 命名和独立RESEARCH_RUN_ID。
• token_usage.jsonl是否记录了 agent、model、prompt_tokens、completion_tokens、total_tokens。
• 训练脚本是否只读本地数据，测试集是否不参与模型选择。

研究智能体为何不出现过拟合，工程答案往往不在模型本身，而在实验流程是否把假设搜索、验证选择、消融评审做成了可追踪的闭环。TaoToken 管住 Key 来源，Base URL 固定为https://taotoken.net/api，Claude Code 走ANTHROPIC_*，Codex 走config.toml，CC Switch 管住多分支三件套，Token 消耗表才能和验证指标一起形成可复现结论。这样再回头看“不出现过拟合”，你得到的不是一句解释，而是一组能重跑、能对照、能归因的实验记录。