侠量身 AIailiangshen.com
AI 落地工作课 · 专题短课 · 第 12 课

故障复盘与告警整理

把值班记录变成时间线,把告警归并成要先看的几条

免费公开约 10 分钟零基础网页课 + PPT + 视频

这一课讲故障复盘与告警整理。我们要做两件事:把杂乱的值班记录排成时间线,写出复盘初稿;把上百条告警归并成几组,挑出值得人先看的几条。

这一课讲这几件事

  • 场景
  • 做法
  • 提示词与样例
  • 小练习、测验与带走

视频版:约 6 分钟

旁白由 AI 合成。视频在哔哩哔哩播放,上面的章节按钮会跳到对应位置。不看视频也没关系,直接往下滚动看课程。

播放器不显示?在哔哩哔哩打开 ↗

01

场景

建议用时约 1 分钟

先看一个情境虚构示例,数字为示意

渡川通信 · 网络运维工程师洪志远

每个班次要面对上百条告警,同源告警反复出现。

值班交接靠手写,每班约七十分钟。

栖岚智能的后端研发邱子昂,昨晚线上出了故障,复盘要写经过、影响、原因假设和改进项,约三小时。

常见的错:时间线顺序写错,推测被写成确定的原因,改进项没有责任人。
02

做法

建议用时约 2 分钟

做法:五步,只读不处置

1
只给脱敏的时间加现象设备写成设备 01,客户写成客户甲;不贴整份日志、源代码、网络地址和用户内容
2
按时间排序,标出时间缺口某段时间谁在看、做了什么,记录里没有,就标出来
3
分出事实栏和推测栏推测一律标「待验证」,不得写进「原因」一栏
4
告警归并成几组写出值得人先看的三条,统计每类出现几次,防止低级别但反复出现的告警被漏看
5
由人来确认原因由人写;影响范围的数字对着监控核对;改进项写上责任人和期限
它只读不处置;归并只是建议,是否派单由值班长决定。

贴之前,逐项打勾

先看公司的 AI 使用规定。源代码、密钥和客户网络数据不得贴入公共 AI 应用;本练习的素材是虚构的,可以直接贴。
03

提示词与样例

建议用时约 4 分钟
技巧

告警归并,只读不处置

建议用时
提示词一(告警归并)
你是一位做了十年的运维值班长型助手,只读,不处置。
下面是一个班次的告警(已脱敏:设备写成设备 01 等)。
请:
1. 按可能的同一根因归并成几组,写出每组的条目时间和数量;
2. 写出值得人先看的三条,并说明为什么;
3. 统计每类告警出现了几次;
4. 末尾写「我没有看到的信息」。
规则:只归并,不判断定级,不给任何处置命令;没有给你的告警,不得写成「无异常」;只用我提供的内容,缺的写「待补」,不要编。
告警:[粘贴]
分组要能回到原始告警里核对;看不到的信息都写进末尾的清单。
技巧

复盘初稿,事实和推测分栏

建议用时
提示词二(复盘初稿)
下面是线上故障的时间加现象记录(已脱敏)。
请:
1. 按时间排序,并标出时间缺口:哪段时间记录里没有人做了什么;
2. 分两栏:事实栏只含记录里明确写了的时间和现象;推测栏是记录里有人猜的原因,每条标「待验证」;
3. 起草复盘结构:经过、影响(数字待我核对)、原因(只写「待确认」)、改进项(责任人和期限写「待确认」);
4. 末尾写「我没有看到的信息」。
规则:不要把推测写进原因;不要编造时间。
记录:[粘贴]
原因一栏只写待确认;所有猜测都在推测栏,并标待验证。

样例:把一段故障记录排成时间线虚构示例,数字为示意

原始记录

21:40 版本二发布完成;21:52 响应时间升高;22:05 群里有人说「可能是数据库连接满了」;22:30 决定回滚;22:41 响应时间恢复正常。

整理后

  • 事实栏:21:40、21:52、22:30、22:41 四个时间点
  • 推测栏:22:05 那句,标「待验证」
  • 时间缺口:21:52 到 22:05 之间,没有人做了什么的记录
  • 原因:待确认
22:30 为什么决定回滚,记录里没有依据。这就是要人去补的缺口。

常见偏差与补救

把推测写成原因

补救:原因一栏只写待确认;所有带「可能」「大概」的句子,放进推测栏。

漏看低级别但反复出现的告警

补救:让它统计每类告警的次数,次数多的,即使级别低也要列出来。

它说「其余告警均无异常」

补救:要求写出读过的条数和总条数,抽查几条;对不上,就是没读完。

它给出处置建议或命令

补救:提醒只读不处置,删掉;是否处置由值班长决定。

改进项没有责任人和期限,就写待确认,不让它自己指派。
04

小练习、测验与带走

建议用时约 3 分钟

三道小题,检验一下

第 1 题:复盘里的「原因」,由谁来写?

答案 B。它只能给假设,原因要由人确认,推测一律标待验证。

第 2 题:它说「其余告警均无异常」,你怎么办?

答案 B。没有读到的告警,不能写成无异常。对不上,就是没读完。

这一课,带走四句话

  1. 只给脱敏的时间加现象,源代码、密钥和客户日志不贴
  2. 时间线按时间排序,并标出时间缺口
  3. 事实栏和推测栏分开,推测一律标待验证
  4. 告警只读不处置,没读到的,不能写成无异常
展开完整文字稿(视频旁白)
故障复盘与告警整理

这一课讲故障复盘与告警整理。我们要做两件事:把杂乱的值班记录排成时间线,写出复盘初稿;把上百条告警归并成几组,挑出值得人先看的几条。先看一个情境。

先看一个情境

先看一个情境,是虚构的,数字只是示意。渡川通信的网络运维工程师洪志远,每个班次要面对上百条告警,同源告警反复出现,值班交接靠手写,每班约七十分钟。栖岚智能的后端研发邱子昂,昨晚线上出了故障,复盘要写经过、影响、原因假设和改进项,大约要三个小时。两人常犯的错很像:时间线顺序写错,把推测的原因写成确定的原因,改进项没有责任人。

做法:五步,只读不处置

做法分五步。第一步,只给脱敏后的时间加现象,设备写成设备 01,客户写成客户甲,不贴整份日志、源代码和网络地址。第二步,按时间排序,标出时间缺口。第三步,分成事实栏和推测栏,推测一律标待验证。第四步,告警归并成几组,写出值得人先看的三条,并统计每类出现的次数。第五步,由人来确认:原因由人写,数字对着监控核对,改进项写上责任人和期限。它只读不处置,归并只是建议。

贴之前,逐项打勾

贴之前,请逐项打勾。第一,内容只有时间和现象,没有源代码、密钥和客户日志。第二,设备、客户、地址都已换成代号。第三,知道它给的原因只是待验证的假设。第四,会对照原始记录,抽查两条归并结果。另外提醒:先看公司的 AI 使用规定,源代码、密钥和客户网络数据不得贴入公共 AI 应用。本练习的素材是虚构的,可以直接贴。

提示词一:告警归并,只读不处置

第一条提示词,是告警归并,只读,不处置。请它按可能的同一根因归成几组,写出值得人先看的三条,统计每类告警出现的次数,末尾写上我没有看到的信息。规则写得很死:不判断定级,不给处置命令,没有给它的告警,不得写成无异常。缺的写待补,不要编。

提示词二:复盘初稿,事实和推测分栏

第二条提示词,是复盘初稿。先按时间排序,标出时间缺口;再分成事实栏和推测栏,推测每条都标待验证;然后起草复盘结构,原因一栏只写待确认,改进项的责任人和期限也写待确认。规则只有两条:不把推测写进原因,不编造时间。

样例:把一段故障记录排成时间线

看一段虚构的故障记录,数字是示意。原始记录有五条:二十一点四十版本二发布完成;二十一点五十二分响应时间升高;二十二点零五分,群里有人说可能是数据库连接满了;二十二点三十分决定回滚;二十二点四十一分响应时间恢复正常。整理后,事实栏放四个时间点,那句数据库的猜测放进推测栏,标待验证。二十一点五十二分到二十二点零五分之间没有记录,这是时间缺口。二十二点三十分为什么回滚,记录里没有依据,要人去补。

常见偏差与补救

常见偏差有四种。一,把推测写成原因,补救是原因一栏只写待确认。二,漏看低级别但反复出现的告警,补救是让它统计次数,次数多的也要列出来。三,它说其余告警均无异常,补救是要求写出读过的条数,并抽查几条,对不上就是没读完。四,它给出处置建议或命令,补救是提醒只读不处置,并删掉。改进项没有责任人和期限,就写待确认,不让它自己指派。

小测验 第 1 题

来做小测验。第一题:复盘里的原因,由谁来写?A,神龙大侠直接写,写得最像样。B,由人确认;它只能给假设,且假设要标待验证。C,由值班长凭印象写,写完再让它润色。答案是 B。它只能给假设,原因要由人确认,推测一律标待验证。

小测验 第 2 题

第二题:它说其余告警均无异常,你怎么办?A,直接采纳,写进交接稿。B,要求它列出读过的条数,并抽查几条。C,在改进项里写上无异常。答案是 B。没读到的告警,不能写成无异常;对不上,就是没读完。

这一课,带走四句话

我们来回顾,这一课带走四句话。第一,只给脱敏后的时间加现象,源代码、密钥和客户日志不贴。第二,时间线按时间排序,并标出时间缺口。第三,事实栏和推测栏分开,推测一律标待验证。第四,告警只读不处置,没读到的,不能写成无异常。

下一步:做一份你自己的复盘初稿

下一步,用公司允许使用的脱敏记录,把两条提示词各跑一遍。挑一段记录,按时间排序,分出事实栏和推测栏;再把归并结果里的三条,回到原始记录抽查核对。本视频的旁白由 AI 合成。谢谢收看。