• sn0wdr1am

    以下是这次事件的完整时间表,结合你服务器日志与当前 Uptime Kuma 监控页面:


    🧩 完整时间线复盘

    时间 (UTC) |
    北京时间 |
    事件 |
    说明 |

    2026‑09‑01 14 : 23 : 18 |
    22 : 23 : 18 |
    apt remove mongodb‑org 与 mongodb‑org‑tools 执行 |
    系统自动维护任务( apt‑daily‑upgrade )误删 MongoDB 主程序。日志中无 Commandline 字段,确认非人工操作。 |

    2026‑09‑01 14 : 23 – 09‑03 06 : 21 |
    22 : 23 – 14 : 21 |
    MongoDB 进程仍在内存中运行 |
    包已被卸载但服务未重启,网站继续正常。 |

    2026‑09‑03 06 : 21 : 44 |
    14 : 21 : 44 |
    apt‑daily‑upgrade.timer 再次触发 |
    系统执行定时维护任务,尝试重启 mongod 服务。 |

    2026‑09‑03 06 : 21 : 59 |
    14 : 21 : 59 |
    mongod.service 启动失败 (status 203/EXEC) |
    systemd 找不到 /usr/bin/mongod 可执行文件。 |

    2026‑09‑03 06 : 22 – 06 : 30 |
    14 : 22 – 14 : 30 |
    网站响应时间骤增 |
    Uptime Kuma 记录 Ping 延迟 ≈ 10 s ,后端数据库连接阻塞。 |

    2026‑09‑03 13 : 00 以后 |
    21 : 00 以后 |
    页面持续高延迟 |
    前端仍在线,但后端数据库不可用。监控图表显示 Ping 延迟维持在 10000 ms 左右。 |


    🧠 事件逻辑总结

    - 起因:Ubuntu 自动更新机制( apt‑daily‑upgrade )在 9 月 1 日 误删 MongoDB 主程序。

    - 延迟暴露:MongoDB 进程仍在运行,直到 9 月 3 日 系统自动维护触发重启。

    - 结果:服务启动失败,网站后端无法连接数据库,响应时间飙升。

    - 证据链:

    - /var/log/dpkg.log 显示 remove 操作无 Commandline 字段。

    - /var/log/apt/history.log 无人工命令记录。

    - apt‑daily‑upgrade.timer 执行时间与异常完全吻合。

    - Uptime Kuma 监控图表显示 14 : 30 左右响应时间突增。


    ✅ 结论

    MongoDB 在 2026‑09‑01 被 Ubuntu 自动更新机制误删, 9 月 3 日 系统定时维护重启服务时才暴露问题,导致网站在 14 : 30 左右出现严重延迟并失去数据库连接。


    如果你希望,我可以帮你生成一份防护方案,彻底禁用 apt‑daily 和 apt‑daily‑upgrade 定时器,并锁定 MongoDB 包版本,防止类似事件再次发生。是否希望我帮你写出这份配置?

    主楼
  • yangg-v2ex

    apt‑daily 我也发现这玩意有点坑,连续两天导致服务挂掉,我只改成每周执行一次。

    #1
  • sn0wdr1am

    为什么会从 20.04 一路升级到 24.04
    AWS 镜像默认启用以下机制:

    cloud-init 在启动时自动更新 APT 源到最新 LTS ;

    apt-daily-upgrade.timer 每天执行 apt full-upgrade ;

    release-upgrader-core 检测到新 LTS 版本后自动执行升级;

    autoremove 清理“孤立包”,误删 MongoDB 等第三方软件。

    #2

发表回复

登录后回复