案例 14 · AIOps 三源根因分析 · 400+ 微服务 · MTTR 45 分钟 → 12 分钟 · 告警疲劳减半¶
TL;DR: AIOps 三源根因分析 · 400+ 微服务 · MTTR 45 分钟 → 12 分钟 · 告警疲劳减半. 方向: AI + DevOps. 业务规模: 400+ microservices, 5000+ alerts/day. 关键硬指标: MTTR 45min → 12min, alert fatigue halved. 技术栈: OpenTelemetry + ClickHouse + LLM correlation, SRE feedback loop. 我的角色: data flow architecture, LLM correlation engineering, SRE integration. 客户名已隐去 (NDA).
- 方向: AI + DevOps
- 行业: fintech
- 业务规模: 400+ microservices, 5000+ alerts/day
- 硬指标: MTTR 45min → 12min, alert fatigue halved
Problem (业务问题)¶
fintech 400+ 微服务, 告警 5000+/天, 根因定位靠资深 SRE 手工关联 logs / metrics / traces.
Solution (解决方案)¶
实时 logs + metrics + traces 三源时间对齐, LLM 生成根因假设 + 关联分析, 输出 Top-3 候选.
Tech Stack¶
OpenTelemetry + ClickHouse + LLM correlation, SRE feedback loop
Result (硬指标)¶
MTTR 45min → 12min, alert fatigue halved
My Role (我的角色)¶
data flow architecture, LLM correlation engineering, SRE integration
相关¶
客户名已隐去 · 硬指标真实 · NDA 下可披露真实客户.