企业官网建设流程全解析

降本方案

调用 LLM 的花销结构：

当前的成本消耗模型：

• 每条工单会调用两次LLM（detect_ticket_type+call_classify_llm）
• 每次调用的 prompt 结构为{固定模板} + \n\n【工单对话数据】：{变化的对话}
• 固定模板部分很长（例如promptIntentClassifyGongDanX2D.txt有约 200 行，路由 prompt 也不短），但每次请求都完整重传
• 使用的是gemini-3.1-pro-preview，是较贵的 Pro 模型
• 有 19 个子模板 + 1 个路由模板，几乎每次调用都是同一个模板前缀重复出现

下面按收益/改动成本排序给出方案：

---

方案 1（强烈推荐）：Vertex AI 显式上下文缓存（Context Caching）

这是最直接的降本手段，专门针对"prompt 大部分固定"这个场景。

Gemini 在 Vertex