AI PM 手册 v1(三):需求定义、提示词工程与模型生命周期管理实战全景
作为《AI PM 手册 v1》系列的收官篇,本文将前两篇关于“非确定性体验设计”与“确定性验收标准”的方法论,落地为一套可直接复用的产研全流程工程治理规范。
在传统的 Web/App 开发中,产品经理交付 PRD 后,研发按照原型图实现 Controller 与 Service 即可。但在 AI 原生应用中,Prompt 是业务逻辑的一部分,模型路由是核心分发器,而数据评测集则是功能质量的唯一裁判。如果产品经理不懂这些工程要素的生命周期管理,整个产品迭代就会陷入“上线靠玄学、改动靠运气、回滚靠救火”的灾难状态。
一、AI 需求定义阶段:四维边界声明
在撰写 AI 特性的 PRD 时,除了常规的业务背景与用户故事,必须强制包含以下四维边界声明:
## AI 特性边界声明模板 1. 【输入约束】 - 最大输入 Token 阈值:4,096 tokens - 支持的文件类型与结构:PDF (纯文本/单栏表格), Markdown - 过滤与清洗规则:强制剥离所有 Base64 内嵌图片与 HTML 标签 2. 【输出 Schema 规范】 - 强制响应格式:严格遵循 RFC 8259 标准 JSON - 必备字段:`summary` (string), `confidence_score` (float: 0.0~1.0), `citations` (array) 3. 【SLA 与性能指标】 - 首字输出耗时(TTFT):< 800ms - 全文生成 P95 耗时:< 3.5s - 幻觉阻断率门禁:在 Golden Dataset 上必须 >= 98.5% 4. 【降级与失败兜底】 - 模型超时(> 5s):自动降级至本地小模型抽取关键词 - 结构解析失败:触发正则重试,若仍失败提示“生成格式异常,已保留原始快照”二、提示词工程(Prompt Engineering)的版本化治理
在团队内部,我们严禁将复杂的 Prompt 直接以硬编码字符串的形式写在后端代码中。Prompt 必须作为受控的产品配置资产独立治理。
┌─────────────────────────────────────────────────────────────┐ │ Prompt 版本化治理流水线 │ └─────────────────────────────────────────────────────────────┘ ▲ ╱ ╲ ╱ ╲ [Git 结构化 YAML 仓] ──> Jinja2 模板渲染 ──> [自动化评测 Benchmark] ╲ ╱ ╲ ╱ ▼ [线上配置中心动态发布] (支持灰度分流与秒级回滚)1. 结构化 YAML 定义规范
# prompts/v2.1/meeting_action_extractor.yaml meta: version: "2.1.0" author: "ZhongYiren" description: "从研发会议纪要中提取责任人与动作项" target_model: "gpt-4o-mini" temperature: 0.1 parameters: - name: "term_dict" type: "list" required: true - name: "raw_text" type: "string" required: true system_template: | 你是一个高精度技术会议纪要解析引擎。 规则: 1. 仅提取明确指定了执行人(@Name)和时间节点的任务; 2. 模糊意向放入 `open_topics` 数组; 3. 专业术语强制映射:{{ term_dict | to_json }}。 user_template: | 待解析文本: {{ raw_text }}2. 变更必须跑通 CI 评测流水线
任何产品经理修改 Prompt 后,在提交 PR 时,GitHub Actions 会自动针对包含 200 条典型用例的基准测试集运行评估:
- JSON 格式解析成功率是否为 100%?
- 核心实体抽取召回率(Recall)是否出现负向漂移?
- 评测未通过的 PR 严禁合并到主分支。
三、模型生命周期管理(Model Lifecycle Management)
大模型厂商的 API 随时可能发生静默微调或版本下线。AI PM 必须建立全生命周期的防御机制:
| 阶段 | 核心任务与监控项 | 负责人与交付物 |
|---|---|---|
| 选型期 | 吞吐量(Tokens/s)、价格、并发限额(RPM/TPM)、商用合规性 | AI PM + 架构师《选型评估报告》 |
| 上线期 | 双模型灰度分流(如 10% 流量给新版本)、影子流量(Shadow Traffic)验证 | 研发团队《灰度监控看板》 |
| 运营期 | 用户点赞/点踩率、错误堆栈分布、单日 Token 消耗大盘 | AI PM《周度质量与成本报表》 |
| 下线/升级 | 触发全量回归测试、旧版本 Prompt 参数平滑迁移与归档 | 研发负责人《版本迁移 Checklist》 |
四、结语:做懂底层的 AI 产品人
AI 时代的产品经理,绝不能再做一个只会画界面草图、提模糊需求的“传话筒”。
当你能用确定性的架构去包裹不确定性的大模型,用严密的指标去量化每一个 Prompt 的商业价值,用系统级的全局视角去规划算力与体验的平衡点时,你才真正掌握了定义下一代智能软件的核心能力。