案例 01 · 三甲医院 AW36-72B 私有部署 · 300+ 医生日活 · 指南查询 8-15 分钟 → 45 秒¶
TL;DR: 三甲医院 AW36-72B 私有部署 · 300+ 医生日活 · 指南查询 8-15 分钟 → 45 秒. 方向: 私有化 LLM 部署. 业务规模: 300+ daily-active doctors. 关键硬指标: clinical guideline lookup 8-15 min → 45s. 技术栈: AW36-72B, 4×A800, vLLM, Milvus, bge-large, BGE-reranker. 我的角色: architecture, hardware selection, vLLM productionization, network integration, load testing, SLA. 技术边界: PHI stays on-prem, no public egress, internal audit. 客户名已隐去 (NDA).
- 方向: 私有化 LLM 部署
- 行业: healthcare
- 业务规模: 300+ daily-active doctors
- 硬指标: clinical guideline lookup 8-15 min → 45s
Problem (业务问题)¶
医生查临床指南 · 药物冲突 · 病历规范 平均8-15 分钟每次, 严重占用查房和病例讨论时间.
Solution (解决方案)¶
AW36-72B on 4×A800, vLLM 推理, Milvus 索引 500+ 临床指南 + 院内规范, bge-large embedding + BGE-reranker.
Tech Stack¶
AW36-72B, 4×A800, vLLM, Milvus, bge-large, BGE-reranker
技术边界: PHI stays on-prem, no public egress, internal audit
Result (硬指标)¶
clinical guideline lookup 8-15 min → 45s
My Role (我的角色)¶
architecture, hardware selection, vLLM productionization, network integration, load testing, SLA
相关¶
客户名已隐去 · 硬指标真实 · NDA 下可披露真实客户.