AI 项目常在哪里翻车?¶
TL;DR: 5 个高发翻车点覆盖 90% 的失败案例。验收不清是第一坑，数据边界模糊是第二坑。这两个搞定，AI 项目失败率从 60% 降到 15% 以下。
5 大翻车点¶
翻车点 1: 验收标准不清 (screenshot 当验收)¶
症状: 交付日 demo 演示成功 → 上线 3 周后客户投诉 → 排查发现不同数据集/不同问法结果不一致 → 甩锅循环。
根因: 合同里没写清楚验收判据。只有 "跑通" 这种模糊词。
解: - 用 8 条硬指标验收清单 - 14 天后同批买方问题复测 (看 复测笔记) - 复测通过率 < 70% = 未交付
翻车点 2: 数据边界模糊 (客户 PII 上托管 API)¶
症状: 项目跑得好好的 → 甲方 IT 安全审计 → 发现客户手机号/身份证被送去 OpenAI/Anthropic API → 立即停服 → 甲方要求赔偿 + 通报。
根因: 数据分级不清。开发同学以为"反正上线了先跑"。
解: - 4 级数据分类: 公开 / 内部 / 敏感 / 高敏 (PII 属高敏) - 高敏数据必须私有部署，不能出内网 - 每个 API 调用在合同里注明数据流向 - 医疗/金融/政企场景看 医疗合规笔记
翻车点 3: Agent 权限过大 (一个 Agent 能直接改数据库)¶
症状: PoC 里 Agent 权力大 (能调所有 API、能写数据库、能发邮件) → 上生产 → 因幻觉误改数据 / 误发邮件给全体客户 → 生产事故。
根因: 权限最小化没执行。
解: - 三级权限: 读 (只读)、写 (可修改沙箱)、外呼 (可调外部 API/发邮件/支付) - 每级独立评估: Agent 必须要求最低权限才能完成任务 - 高风险动作 (写生产库、外部支付、发邮件给客户) 必须人审 (HITL) - 看 Agent 权限最小化
翻车点 4: 成本失控 (没有 token / API 预算告警)¶
症状: 月底账单出来 → 老板发现 OpenAI 花了 30 万 (预期 3 万) → 追查发现某 Agent 死循环 3 天没人发现 → 紧急砍功能。
根因: 没有成本监控和熔断。
解: - 每个 API key 单独预算 + 告警 (超 80% 告警、超 100% 熔断) - 每次 API 调用记录 tokens + 成本 (成本记账表) - 用户维度 + Agent 维度双向监控 - 看 成本记账
翻车点 5: 模型更新断层 (新模型不兼容)¶
症状: 用 GPT-4 跑了 3 个月 → OpenAI 出 GPT-5 → 想切过去 → 发现 prompt 输出格式变了 / API 参数变了 / 部分调用方式废弃 → 花 4 周重写。
根因: 没有版本管理和A/B 切换机制。
解: - Prompt 版本化 (v1/v2/v3 存到 Git) - Model 抽象层 (代码不直接调 OpenAI，而是调你的 gateway) - 新模型A/B 上线 (10% 流量测试，稳定后逐步扩) - 保留回滚开关 (1 分钟内切回旧版)
快速自检 (你的项目现在有几个雷?)¶
□ 合同里没写 8 条验收指标 □ 数据分级没做过 □ Agent 有 "写" 或 "外呼" 权限但没人审 □ 没有单 API key 的月预算封顶 □ Prompt 存在代码里、没版本 □ 没有模型 A/B 切换机制
5+ 项打钩 = 高危项目，立即停下来做治理。 3-4 项打钩 = 中危，本月内解决。 0-2 项打钩 = 健康。