补刊说明:本文补齐原定学习日;资料与题目于 2026-11-21 检索核验。
第 17 天已经有了任务、attempt、事件和用量表。现在最危险的窗口是:API 成功插入 ai_task 后进程崩溃,消息没有发到队列;或者消息发了两次,两个 Worker 都以为自己应该执行。第 18 天用事务 Outbox + 条件领取 + 租约和 Fencing Token把这些窗口缩到可回放的状态。
一、明确要保证的事实
我们要求:
- 请求接收成功后,任务及“需要调度”的意图在同一数据库事务持久化。
- 队列消息允许重复,Worker 每次执行仍须验证任务状态、租约与版本。
- 进程崩溃后可恢复;结果未知时保留 attempt 和待对账状态。
- 重试只针对可恢复故障,受任务截止时间、次数、成本和下游限额约束。
跨数据库和消息队列不要轻易声称“严格恰好执行一次”。这里采用至少一次投递 + 业务幂等 + 可对账状态。供应商模型调用可能因重试重复计费,外部写工具更需稳定业务幂等键和回执查询。
二、提交任务时写 Outbox
接续第 17 天的 ai_task,新增一张事件 Outbox 表:
1 | CREATE TABLE outbox_event ( |
示意 SQL 省略了同键冲突读取和预算预留实现;这两步必须在提交前按第 16、17 天契约补齐。Outbox 表也必须有租户隔离策略;跨租户发布器使用单独的、受审计的服务角色,不应把高权限角色给普通 API。
上表含 published_at,适合轮询发布器:发送到 broker 并得到确认后再标记已发布;两步之间仍可能崩溃,因此消费者必须去重。若改用 Debezium CDC 的 Outbox Event Router,应按其默认字段或配置映射调整表结构,保持 Outbox 只追加 INSERT,不要再更新 published_at;该 SMT 会把 UPDATE 视作异常操作。Debezium 把 Outbox 作为缓解数据库状态与对外事件不一致的模式,但不保证下游业务严格执行一次。Debezium Outbox Event Router 源文档(检索日期:2026-11-21)
三、Worker 领取时取得一个递增凭证
消息只告诉 Worker “某个任务可能需要执行”,不是执行许可。Worker 先核验消息的 event_id 与受信 Outbox 记录,再读数据库条件领取对应任务。下面的语句假设 tenant_id / task_id 已从受信记录解析;实际实现还要处理 RLS 授权、租户分区与公平性,不能直接把未经验证的消息字段当租户授权。
1 | WITH candidate AS ( |
PostgreSQL 文档说明 SKIP LOCKED 会跳过当前无法立即加锁的行,得到的视图不适合一般一致性查询,但适合队列式消费场景。PostgreSQL SELECT(检索日期:2026-11-21)。上面的事务领取完成后立即提交;在同一短事务中创建递增 attempt_no 的 ai_attempt,接下来才执行模型或工具网络调用。过期的 RUNNING 任务被接管后,必须先核对上一次 attempt 和外部动作状态,不能直接从头执行。
Worker 定时续租时要求 task_id + lease_owner + fence 均匹配,且旧租约尚未过期;完成写回也须同时检查 lease_until > now()。旧 Worker 即使在租约过期后才从慢调用返回,也不能覆盖任务状态。租约过期不等于旧 Worker 进程已停止,因此 Fencing Token 必须由数据库单调增加,并在受控写入端验证。若外部系统不支持 Fencing Token,仍可能出现旧 Worker 的外部副作用;要依赖动作幂等键、结果查询和对账。
还需要一个独立租约扫描器:broker 消息可能已经确认,Worker 却在领取后崩溃,此时不会有新消息自动到来。扫描器周期性查找过期的 RUNNING,在短事务内锁定任务,按 task_id + fence 生成唯一的 LEASE_EXPIRED Outbox 事件,等待发布器重新通知 Worker。上表的 dedupe_key 唯一约束用于防止同一代次反复补发;原始 TASK_QUEUED 的键可写为 task_id:queued,恢复事件可写为 task_id:lease-expired:fence。接管者仍要先核对旧 attempt 和外部动作,再决定续跑、对账或终止。
四、失败分类与有界重试
| 失败 | 任务处理 | 是否直接重试 |
|---|---|---|
| 临时网络失败,确定未执行 | 记录 attempt,按指数退避加抖动设 next_run_at |
可,在截止时间和总预算内 |
| 429 带等待时间 | 按供应商错误语义与 Retry-After 排程 |
等待超过 deadline 则不重试 |
| 参数错误、无权限、配额硬上限 | 记稳定错误码,任务失败或待人工处理 | 否 |
| 外部写动作回执丢失 | 进入 RECONCILING,查下游操作状态 |
不盲目重放 |
| 已向用户输出部分流式内容 | 事件记录部分结果,结束当前流代次 | 不静默拼接新模型输出 |
所有重试都增加新的 attempt_id,单独记供应商请求 ID、用量与可能的费用。第 N 次仍失败时进入明确的 FAILED 终态或人工队列,保存原因;“死信”是可排查的持久化入口,不是把消息丢弃。队列长度、最老等待时间、重试次数、租约失效、重复投递、每成功任务成本都要进入观测。
五、一次故障演练
用 FakeModelClient 与虚拟时钟模拟五次崩溃窗口:
- 任务和 Outbox 提交后、消息发布前崩溃:恢复后 Outbox 仍能发布。
- 消息发布后、
published_at更新前崩溃:消息重复,但只有一个领取者进入有效租约。 - Worker 调用模型后崩溃、usage 未写入:留下 attempt 的未知用量,进入对账。
- 租约到期,新 Worker 已领取,旧 Worker 才返回:旧 Worker 的
fence写回失败;外部副作用按幂等回执核对。 - 消息已确认,Worker 崩溃且没有再次投递:独立扫描器发现过期租约,写出唯一恢复事件;新 Worker 先核对旧 attempt。
输出 task_id / attempt_id / event_id / fence / trace_id 的逐步时间线,以及每个窗口的任务状态与账本状态。若能把上述五种情况都回放,才算真正理解“异步化”,而非只会调用一个后台任务函数。FastAPI 的 BackgroundTasks 可在响应后运行进程内工作,但长期任务需要能跨进程恢复的持久化调度;官方文档也把重计算和多服务器执行指向独立任务队列方案。FastAPI Background Tasks(检索日期:2026-11-21)
六、今日面试题(检索日期:2026-11-21)
以下题面来自牛客可直接查看正文的用户自述。企业归属均未获官方核验;参考答案和追问由本文整理,不代表企业标准答案。
1. 消息丢失可能发生在哪些环节?生产者确认和消费者确认分别解决什么?
- 方向 / 难度:消息队列、Agent 异步任务 / 难。
- 参考答案:任务落库后未发布、发布后未得到 broker 确认、broker 持久化或复制故障、消费者拿到消息后未提交业务就确认、提交业务后未确认导致重投,都是不同窗口。任务与 Outbox 同事务解决第一类;broker 确认解决发布可见性;消费者确认结合数据库幂等与状态更新处理重复。
- 追问:业务已写成功、消费者确认前宕机,为什么下一次消费不能再调一次模型或写工具?
- 来源:牛客“快手 AI 全栈一面”用户自述,正文列出消息丢失、生产者与消费者确认;企业归属未获官方核验。
2. Lease 过期后旧 Worker 又返回,怎样避免旧结果覆盖新结果?
- 方向 / 难度:分布式任务、并发控制 / 难。
- 参考答案:租约过期只允许新 Worker 接管,不会杀死旧 Worker。每次领取递增
fence;续租和写回按 owner、fence、状态条件更新,旧值写入失败。外部系统若无法识别 fence,还需要稳定业务幂等键和对账。 - 追问:两个 Worker 都对不支持幂等的外部服务发起写入,数据库 fencing 能否保证下游只执行一次?不能,需在下游或业务协议里补保证。
- 来源:牛客“快手大模型 Agent 研发一面”用户自述,正文直接列出 Lease 和 Fencing Token 追问;企业归属未获官方核验。
3. 消费失败重试几次,超过次数进死信还是丢弃?
- 方向 / 难度:Worker 恢复、重试策略 / 中高。
- 参考答案:先按错误语义分类。临时错误在总 deadline、最大 attempt、成本与下游容量内退避重试;永久错误立即终止;结果未知的副作用先对账。超出界限后记录终态和可排查死信,不静默丢弃。核心业务还要有人工处理与补偿入口。
- 追问:一千个任务同时遭遇 429,如何防重试风暴?分散抖动、按租户和模型池限流,并把重试流量计入准入预算。
- 来源:牛客“快手 AI 全栈一面”用户自述,正文列出消费失败与死信追问;企业归属未获官方核验。
资料与下一步
- Debezium Outbox Event Router 源文档:CDC 方案的默认字段与仅追加约束。
- PostgreSQL SELECT:
SKIP LOCKED的用途与限制。 - FastAPI Background Tasks:响应后任务与独立 Worker 的边界。资料检索日期均为 2026-11-21。
第 19 天可把持久化事件接到前端:先定义 SSE 事件顺序、断线补播和终态,而不是把模型原始 Token 直接透传给浏览器。