案例 03 · 大型集团多租户 LLM 网关 · 20+ 业务线共栈 · Token 计量与配额¶
TL;DR: 大型集团多租户 LLM 网关 · 20+ 业务线共栈 · Token 计量与配额. 方向: 私有化 LLM 部署. 业务规模: group-wide multi-tenant. 关键硬指标: 20+ business lines on one gateway, per-department token budget cap. 技术栈: OpenAI-compatible gateway, Redis metering, department quota, audit log. 我的角色: gateway architecture, token metering, multi-tenant isolation, SLA. 客户名已隐去 (NDA).
- 方向: 私有化 LLM 部署
- 行业: enterprise-group
- 业务规模: group-wide multi-tenant
- 硬指标: 20+ business lines on one gateway, per-department token budget cap
Problem (业务问题)¶
大集团 20+ 业务线 (含 3 家工业子公司), AI 需求参差, Token 成本失控, 缺统一治理.
Solution (解决方案)¶
统一 LLM 网关 → 内部 AW36-72B (工业敏感) + DeepSeek-V2 (通用) + 部分公有 API, 部门 Token 预算封顶, Redis 计量, 审计日志全留.
Tech Stack¶
OpenAI-compatible gateway, Redis metering, department quota, audit log
Result (硬指标)¶
20+ business lines on one gateway, per-department token budget cap
My Role (我的角色)¶
gateway architecture, token metering, multi-tenant isolation, SLA
相关¶
客户名已隐去 · 硬指标真实 · NDA 下可披露真实客户.