运维规则
我们不做黑盒。下面这四张卡是 91传媒 目前在执行的运维规则:从自动巡检的颗粒度,到每一级故障的响应与恢复时限,再到维护窗口的固定时间点和用户侧能看到的状态信息。这些数字同时也是客服回复你时唯一的口径,如果实际表现和这里写的不一样,可以直接拿这一页去质询。
每整点做一次全链路探测,覆盖 320 个播放节点与 4 个清晰度档位,单轮约 90 秒;每天 04:00 再做一次 20 分钟全量巡检,查转码积压和回源率。异常自动推给当班工程师,不靠用户报障。
P0 全站打不开或无法播放:5 分钟响应、2 小时内恢复;P1 单频道或单档清晰度异常:15 分钟响应、4 小时恢复;P2 局部卡顿、片源缺失:1 小时响应、24 小时处理;P3 建议类 48 小时内答复。
常规维护固定在每周二 03:00 到 05:00,避开晚间高峰;大版本升级每年 3 月和 9 月各一次,单次不超过 4 小时。窗口提前 72 小时在 App 内和状态页公告,临时维护至少提前 2 小时说明原因。
状态页每 60 秒刷新一次,故障期间显示受影响频道数、已恢复节点百分比和下次更新时间。App 首页顶部会挂一条提示条,点击直达状态页;恢复后提示条保留 12 小时,并附完整故障时间线。
以上数字取自 2024 年 1 月至 6 月的运维值班记录,含全部 P0 与 P1 事件,未剔除超时个案。
用户评价
下面三条评价都是真实的报障记录,包含我们自己做得不好的部分。我们没删差评,也没把超时的案例藏起来。
2 月 18 日晚上全站挂了,我 22:07 在反馈群提的,22:11 收到人工回复说定位到回源故障,22:41 播放恢复。中间状态页上的节点恢复百分比一直在跳,比只回一句“正在处理”强太多。
周二凌晨维护被我撞上过一次,正看到一半弹出维护卡片,写着预计 05:00 结束、影响 4 个频道。说实话挺扫兴的,但 04:52 就恢复了,公告里写的时间和实际结束时间对得上,这点我认。
P2 的片源缺失处理算不上快。我 3 月报的一个老片 1080P 缺源,第二天傍晚才补上,基本是踩着 24 小时的线过的。不过客服给了工单号和排期,没拿话术糊弄我,所以还在用。
常见问题
窗口定在每周二 03:00 到 05:00,是因为这两个小时是全天在线人数最低的时段,实测并发约为晚高峰的 6%。白天做热更新虽然不用停机,但涉及播放节点切流和转码集群重启的操作无法在线完成;硬顶着晚高峰做,一旦失败影响面会大得多。这也是我们必须提前告知、却没法完全避开的一次性代价。
超过 2 小时会自动升级:当班工程师上报技术负责人,之后每 30 分钟在状态页更新一次进展,并说明卡在哪一步、下一步做什么。近半年共有 3 次 P0 超过 2 小时,最长一次 3 小时 12 分,原因和事后复盘都写在状态页的历史记录里,没有下线。
已经下载完成的离线内容在窗口内仍可播放,不受影响;下载到一半的任务会暂停,恢复后自动续传,不需要手动重试。但在线播放、搜索和收藏同步在窗口内不可用,这部分只能等服务恢复。所以如果你有凌晨看片的习惯,建议提前把要看的内容下好。
以状态页为准。App 内的提示条是缓存的,网络差的时候可能滞后几分钟;状态页每 60 秒刷新一次,并且会标注最后更新时间。两边都看不到时,可以在 App 内提交工单,P0 期间工单会在 5 分钟内被人工接手,而不是排队到第二天。
状态页支持邮件订阅,故障开始和恢复各发一封,通常比 App 推送早 1 到 2 分钟。App 内推送默认开启,可以在设置里关掉。另外每次故障结束后 24 小时内,状态页会补一条复盘,写明影响时长、影响范围和下次如何避免,方便你自己判断要不要继续用。