Lesson 07 · Agent 直接决策放贷 / 处方 → 责任归属崩盘¶
Problem¶
金融 / 医疗 / 央企法务客户想"完全自动化": - Agent 直接决策"放贷 / 拒贷" - Agent 直接输出"治疗方案 / 处方" - Agent 直接生成"合同终稿, 甲方签字" - Agent 直接选出"标书胜出方"
上线 3-6 个月后: - 出现错误决策 → 客户投诉 / 内部质疑 - 谁来背? AI 供应商说"我给的是建议不是决策" - 客户说"你的 Agent 直接给的答案, 我们照做的" - 监管 / 法务介入, 责任归属谈判 6 个月 - CIO 引咎辞职, AI 项目全面收缩
Root Cause¶
AI 决策的责任归属在法律和合规上不明确.
- 医疗事故法: 处方错误医生承担
- 金融监管: 放贷决策金融机构承担
- 合同法: 终稿签字方承担
- 招标法: 评标委员会承担
如果 AI 直接决策, 而不是给建议: - AI 供应商没有"医生资质 / 放贷牌照 / 律师资格" - 客户主张"是 AI 决定的", AI 供应商主张"是客户签字批准的" - 双方合同没明确责任归属 → 打官司 → 项目死
Fix¶
严格 Human-in-the-Loop:
- Agent 输出建议 + 置信度 + 依据链, 从不直接决策
- 人类审阅并签字, 承担最终责任
- UI 明确"AI 建议 · 请人审确认"
- 关键场景 (金融放贷 / 医疗处方 / 合同终稿) 强制双人复核
合同层: - 明确责任归属条款 (AI 供应商责任 · 客户责任 · 争议解决) - AI 输出保留审计日志 ≥ 3 年 (监管随时查) - SLA 定义建议准确率, 不定义决策准确率 - 保险: 高风险场景要求客户购买职业责任险
How to Avoid¶
- 需求阶段明确"Agent 是给建议还是做决策" (答案: 建议)
- 合规评估在方案阶段就介入 (法务 + 合规官 + 业务)
- 合同起草必含责任归属条款, 律师深度参与
- 监管咨询在高风险场景 (医疗/金融/证券/律所) 提前做, 不要"上线后监管来找你"
- 上线仪式明确"AI 建议 + 人审决策", 员工培训到位
Related cases¶
- Case 08 · SOE 4 层合同法审 Agent — Agent 输出建议, 人审终稿, 法审时长 3d → 4h
- Case 18 · 集团合同智审系统 — 15 子公司统一模板 + 人审终判
- Case 20 · 医院医保预审 Agent — 高风险 case 强制人审
- Case 07 · 招投标应答 Agent — Agent 起草, 人审终稿
Related industries¶
避坑成本估算: 责任归属打官司 = 项目全废 + 客户信任崩塌 + 供应商法律费用 50-500 万.
下一步: 30 min 责任归属对齐