企业官网建设流程全解析

AI 代理昂贵成本源于重复读取旧数据。本文以 Claude 为例，分析提示词缓存（Prompt Caching）如何通过区分静态前缀（如指令、工具）和动态后缀（如用户消息、助手回复）实现高效缓存。利用 Transformer 的 KV 缓存机制，可显著降低预填充阶段的计算负担，实现 92% 的缓存命中率。文章详细阐述了缓存的经济账、哈希缓存的脆弱性及应对策略，并提供了具体实施建议，帮助开发者优化 AI 代理成本。

关于 Claude 如何实现 92% 缓存命中率的案例研究

每当 AI 代理执行一步操作，都会把整个对话历史发送给大语言模型。

这包含了系统指令、工具定义，以及几轮之前已经处理过的项目背景。所有内容在每一轮都会被重新读取、重新处理并全额计费。

对于长期运行的代理工作流，这种冗余计算往往是整个 AI 基础设施中最昂贵的一项支出。

一个包含 2 万 Token 的系统提示词运行 50 轮，意味着产生了 100 万 Token 的冗余计算，且全部按全价计费，却未产生任何新价值。这笔成本会随着每个用户和每次会话不断累积。

解决方案在于提示词缓存（Prompt Caching）。但要用好它，必须理解其背后的实际运行机制。

静态与动态上下文

在优化提示词之前，需要明确什么是不变的，什么是变化的。

每个代理请求包含两个根本不同的部分：

• 静态前缀：在多轮对话中保持一致的部分，包括系统指令、工具定义、项目背景和行为准则。
• 动态后缀：随每一轮对话增长的部分，包括用户消息、助手回复、工具输出和终端观察结果。

这种区分使得提示词缓存成为可能。基础设施存储了静态前缀的数学状态，后续拥有相同前缀的请求可以直接跳过计算，从内存中读取。

一旦理解这一点，文章中提到的每一个架构决策都变得显而易见。

KV 缓存的工作原理

要理解为何缓存如此有效，需要了解 Transformer 在处理提示词时的实际运作方式。

每次 LLM 推理请求分为两个阶段：

• 预填充阶段（Prefill Phase）：处理整个输入提示词。它在上下文中所有 Token 上运行密集矩阵乘法，以构建模型的内部表示。这是计算密集型任务，成本高昂。
• 解码阶段（Decode Phase）：逐个生成 Token。每个新 Token 被添加到序列中，模型预测下一个 Token。此阶段受限于内存，因为它主要读取历史状态而非进行大量计算。

在预填充阶段，Transformer 为每个 Token 计算三个向量：查询（Query）、键（Key）和值（Value）。注意力机制利用这些向量确定每个 Token 与其他 Token 的关系。给定 Token 的键和值向量仅取决于其之前的 Token，一旦计算完成，它们就不会改变。

GIF

若无缓存，这些键值张量会在每次请求后被丢弃，下一次请求则需从头重新计算。对于一个 2 万 Token 的前缀，这意味着 2 万 Token 的注意力计算本无需再次发生。

KV 缓存通过将张量持久化在推理服务器上解决了这个问题，并以令牌序列的加密哈希作为索引。当带有相同前缀的新请求到来时，哈希匹配，张量从内存加载，这些 Token 的预填充计算被完全跳过。

这将每个生成 Token 的计算复杂度从 O(n²) 降至 O(n)。对于一个在 50 轮对话中重复出现的 2 万 Token 前缀，这是一个巨大的缩减。

经济账

定价结构决定了这一架构决策的重要性。

缓存读取成本为基准输入价格的 0.1 倍，即每个缓存 Token 享受 90% 折扣。缓存写入成本为 1.25 倍，即存储 KV 张量需支付 25% 溢价。一小时扩展缓存成本为 2.0 倍。

以下是 Anthropic 的 Claude 模型中的具体表现：

只有当缓存命中率保持高位时，上述计算才成立。最佳的生产环境案例是 Claude Code。

与 Claude Code 进行 30 分钟编码会话

Claude Code 围绕单一目标构建：保持缓存处于活跃状态。

从计费视角看，一次真实的 30 分钟编码会话如下：

第 0 分钟：Claude Code 加载系统提示词、工具定义和项目 CLAUDE.md 文件。此负载超过 2 万 Token，由于每个 Token 都是新的，这是整个会话中最昂贵的时刻。但此成本仅需支付一次。

第 1 到 5 分钟：用户开始发出指令，Claude Code 调度探索子代理导航代码库、打开文件并运行 grep 命令。所有这些都被追加到动态后缀中。但 2 万 Token 的静态前缀现在以每百万 Token 0.30 美元的价格从缓存读取，而非 3.00 美元。

第 6 到 15 分钟：计划子代理接收摘要简报而非原始结果，因为传递原始输出会不必要地膨胀动态后缀。它生成实施计划，经确认后，Claude Code 开始进行修改。每一轮都从缓存读取静态前缀，命中率攀升至 90% 以上，每次访问重置生存时间（TTL）以保持缓存温暖。

第 16 到 25 分钟：用户请求变更，意味着更多工具调用、更多终端输出和更多上下文积累在动态后缀中。此时会话已处理数十万 Token，但每一轮都从缓存读取了 2 万 Token 的基础部分。

第 28 分钟：用户在终端运行/cost命令。若无缓存，Sonnet 4.5 费率下 200 万 Token 将花费 6.00 美元。缓存以 92% 的效率运行时，184 万 Token 为缓存读取，总成本降至 1.15 美元。单次任务成本降低 81%。

这就是热缓存的样子。只需为静态基础支付一次费用，之后即可免费读取。动态尾部是唯一会被收费的部分。

基于哈希缓存的脆弱性

这里有一个最违反直觉的事实：

“1 + 2 = 3”可以命中缓存，但“2 + 1”则是缓存未命中。

基础设施对从头开始的完整令牌序列进行哈希。如果该序列中任何内容发生变化，哪怕只是两个元素的顺序不同，哈希值就会改变，整个前缀将按全价重新计算。

这不是次要的实现细节。这是 Claude Code 中每一项工程决策所围绕的核心约束。

以下是生产环境中导致缓存失效的真实案例：

• 注入系统提示词的时间戳导致每次请求生成唯一哈希。
• JSON 序列化器在不同请求间以不同顺序排序工具模式键，使前缀失效。
• 会话中途更新参数的 AgentTool 清除了整个 2 万 Token 缓存。

由此衍生出三条规则：

1. 不要在会话中修改工具。工具定义属于缓存前缀的一部分，添加或删除工具会使下游所有内容失效。
2. 会话中途不要切换模型。缓存是针对特定模型的，这意味着在对话中途切换到更便宜的模型需要从头重建整个缓存。
3. 永远不要修改前缀以更新状态。与其编辑系统提示词，不如在下一条用户消息中添加提醒标签，以保持前缀不受触碰。

如何应用到你自己的 Agent

无论使用 Claude Code 还是从零构建自己的 Agent，规则均适用。

按以下顺序构建提示词：

1. 系统指令和行为规则置于顶部。会话期间不要更改。
2. 预先加载所有工具定义。不要添加或删除。
3. 检索到的上下文和参考文档紧随其后。在整个会话期间保持其稳定。
4. 对话历史和工具输出置于底部。这是动态后缀。

启用 Anthropic API 的自动缓存后，缓存断点会随着对话增长自动推进。若不使用，则需手动跟踪 Token 边界，错误的边界意味着完全错过缓存。

当接近上下文限制时，使用缓存安全的分叉进行上下文压缩。保持相同的系统提示词、工具和对话历史，然后将压缩指令作为新消息追加。缓存前缀将被复用，唯一计费的 Token 仅是压缩指令本身。

验证缓存是否生效，需在每个 API 响应中监控以下三个字段：

• cache_creation_input_tokens：写入缓存的 Token。
• cache_read_input_tokens：从缓存提供的 Token。
• input_tokens：未经缓存处理的 Token。

缓存效率计算公式为：cache_read_input_tokens / (cache_read_input_tokens + cache_creation_input_tokens)。像监控正常运行时间一样追踪它。

关键要点

提示词缓存不是一个可以开关的功能。它是一种围绕设计的架构纪律。

核心理念很简单：结构化提示词，使静态内容位于顶部，动态内容在底部生长。基础设施对前缀进行哈希，存储 KV 张量，并在随后的每次读取中提供 90% 的折扣。

关键在于细节。不要在系统提示词中注入时间戳，不要打乱工具定义，不要在会话中途切换模型，不要在缓存断点上游修改任何内容。

Claude Code 展示了规模化后的效果，实现了 92% 的缓存命中率和 81% 的成本降低。如果你正在构建 Agent 却未围绕提示词缓存进行设计，那么大部分利润空间都被遗忘了。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包：

• ✅ 从零到一的 AI 学习路径图
• ✅ 大模型调优实战手册（附医疗/金融等大厂真实案例）
• ✅ 百度/阿里专家闭门录播课
• ✅ 大模型当下最新行业报告
• ✅ 真实大厂面试真题
• ✅ 2026 最新岗位需求图谱

所有资料 ⚡️ ，朋友们如果有需要《AI大模型入门+进阶学习资源包》，下方扫码获取~

① 全套AI大模型应用开发视频教程

（包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点）

② 大模型系统化学习路线

作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！

③ 大模型学习书籍&文档

学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。

④ AI大模型最新行业报告

2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

⑤ 大模型项目实战&配套源码

学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。

⑥ 大模型大厂面试真题

面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

以上资料如何领取？

为什么大家都在学大模型？

最近科技巨头英特尔宣布裁员2万人，传统岗位不断缩减，但AI相关技术岗疯狂扩招，有3-5年经验，大厂薪资就能给到50K*20薪！

不出1年，“有AI项目经验”将成为投递简历的门槛。

风口之下，与其像“温水煮青蛙”一样坐等被行业淘汰，不如先人一步，掌握AI大模型原理+应用技术+项目实操经验，“顺风”翻盘！

这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

以上全套大模型资料如何领取？