一台白色双臂 AI 机器人立在室内地板上的实拍

Reliability layer

自愈。

任务挂了,系统自己先修一遍,再叫人。

结果校验、自动重试、连续失败告警与小时级健康巡检,组成一条不会把异常留到第二天的恢复路径。

01 / 问题

任务没有消失,
只是晚了一天才被看见。

182 个定时任务分布在门店、运营与数据链路里。任何一个静默失败,表面上都像正常运行,直到第二天才发现结果没有到达。

自愈首先解决可见性:每个结果都要被校验,每次失败都要进入记录,而不是被跳过。

182 个定时任务
持续运行

没有结果校验,任务“已执行”不等于业务结果“已送达”。一次静默失败,就足以让第二天的运营动作失去依据。

任务状态示意 监测中
182 scheduled tasks示意
关键不是“跑了没有” 而是“结果对不对,谁知道了”
Astraea Plan 运行场景
02 / 怎么做

先修,再叫人。

自动路径负责机器能判断的异常;人工路径只接住需要业务判断的部分。顺序不能反过来。

01自动校验

任务执行结果校验

不只看进程是否结束,还要确认结果是否生成、格式是否完整、业务口径是否通过。

02自动重试

失败自动重试

可重试的瞬时异常先进入恢复路径,保留每次尝试与结果,不让失败停在日志里。

03通知到人

连续失败告警到人

达到连续失败阈值后,把任务、原因和已尝试动作一起送到负责人,避免“报警了但没人知道哪里坏了”。

04持续巡检

健康巡检按小时跑

用小时级巡检兜住执行层没有主动暴露的问题,让状态从“等发现”变成“主动确认”。

恢复顺序:校验 → 重试 → 升级 巡检频率:每小时
Astraea Plan 运行场景
03 / 要点

失败必须留痕。

一条可追溯的执行记录,应该能回答:做了什么、失败在哪、试了几次、谁被通知、最后是否恢复。

不许静默跳过。

No.记录字段状态
01任务标识与触发时间recorded
02结果校验与失败原因recorded
03重试次数与每次结果recorded
04告警对象与送达状态recorded
05人工处理与最终结论recorded
04 / 边界

机器负责恢复,
人负责判断。

自愈不是让系统替业务做决定。能重试的自动重试,需要判断的人工介入。

AUTO ≠ AUTONOMOUS
自动恢复有清晰边界
AUTO

A可以自动重试

系统能确认异常是瞬时的、任务可安全重复执行,并且重试不会改变业务判断。

  • 结果未生成、格式不完整或链路暂时不可达
  • 任务具备幂等性,重复执行不会重复写入或重复触达
  • 每次尝试与结果都写入执行记录
HUMAN

H需要人工判断

异常涉及业务取舍、数据口径或对外动作时,系统停止自动推进,把判断交还给人。

  • 需要确认业务结果是否正确、能否继续发布
  • 需要选择数据版本、覆盖范围或处理口径
  • 连续失败后仍需负责人决定是否恢复执行
System context

不是实验室里的自动重试。

这套自愈逻辑服务于真实的连锁运营体量,任务、部门与门店链路都在同一个企业边界内运行。

200+门店
49个城市
10个部门
14个智能体
182个定时任务
Next step

让下一次失败,
在当天就被修好。

从一条关键任务开始,把校验、重试、告警与巡检接成闭环。数据留在企业内,判断权也留在企业内。