Lesson 06 · 没有引用溯源层 → 律师医生用户 2 个月内弃用¶
Problem¶
律所 / 医院 / 财务合规 RAG 项目上线: - 前 2 周体验很好, 律师/医生给正面反馈 - 第 3-4 周有人发现 1 条引用错误 (说是 A 条款, 实际引用了 B) - 律师内部群传"这 AI 不靠谱" - 用户使用率断崖式下跌, 2 个月内几乎无人使用 - 项目复盘时说"上线时演示还好啊"
Root Cause¶
律师 / 医生 / 审计合规用户对引用错误零容忍.
- 律师引用错误 = 出具错文书 = 律所背责任
- 医生用错误引用治疗 = 医疗事故
- 财务合规审计错误 = 监管处罚
- 一次错就类推整个系统不可信 — 是行业特性, 不是用户偏见
无溯源 = 用户无法验证 = 无法信任 = 必然弃用.
Fix¶
引用溯源是非议判要求 (Non-negotiable) 在律师/医生/合规场景.
架构:
- 每 chunk 存: {doc_id, section_id, version, effective_date, source_url}
- 生成 prompt 强制: "每个事实主张必须引用 [doc-id §section]"
- UI 展示: 答案下方可点击的引用链接, 一键跳到原文对应位置
- 版本感知: 引用返回时同时告知 "当前版本 X, 上次版本 Y" (如果有更新)
- 引用准确率加入 KPI, 目标 >95% (律师/医生场景, 低于 90% 直接不上生产)
How to Avoid¶
- 需求阶段明确"是否必须有引用溯源" (律师/医生/合规: 是)
- 架构评审必须包含溯源方案
- 验收必须测 30 个真实 query, 引用准确率 >95%
- 引用错误的 case 要能追溯到 chunk / embedding / rerank 哪一层出错 (可调试)
- 生产上线后每周抽样审核 100 条真实答案的引用准确率
Related cases¶
- Case 04 · 律所三库合一 RAG — 引用准确率 >95%, 律师主动使用率 >70%
- Case 06 · 医疗器械支持 RAG — 版本化产品手册 + 引用
- Case 01 · 三甲医院 AW36-72B — 医生问诊必需临床指南引用
Related how-tos¶
Related industries¶
避坑成本估算: 律所项目上线后 2 个月弃用 = 30-100 万项目全废 + 律所信任损失.
下一步: 30 min 引用溯源架构评审