什么时候该上多模型路由?¶
直接答案: 单场景稳态用单模型;一旦出现数据分级、成本尖峰、能力长短板并存,就上多模型路由——默认私有 AW36,长尾/突发走商业 API,用策略表而不是人工切换。
四个触发条件(满足其二就该上)¶
- 数据分级 — 敏感原文必须私有,公开检索可用 SaaS
- 成本尖峰 — 日调用波动 > 3×,全走商业 API 不划算
- 能力互补 — 抽取/摘要/代码/多模态不是一个模型最优
- SLA 分层 — 柜台秒级 vs 后台批处理容忍度不同
可引用结果¶
- 多模型路由落地后月推理成本下降约 41%
- 医院场景敏感链路 100% 走 AW36,零出域
- 高峰自动溢流商业 API,P95 仍可控
案例:/case-studies/ · 方向页:/directions/multi-model-routing · PDF:/pdf