GPU 机离线事故根因分析（2026-09-03）
现象：用户反馈 ComfyUI 断开连接，随后确认整机（192.168.31.25 / zywpc）完全不可达。
结论：突发断电/电源故障导致整机掉电，ComfyUI 报错是结果而非原因
系统日志、内核日志、sar 资源记录、磁盘/journald 状态四方面交叉验证， 没有任何软件崩溃痕迹，全部证据指向突发断电（掉电）。
一、时间线重建（UTC，本地 = UTC+8）
| 时间 (UTC) | 事件 |
|---|
| 06:10 起 | CPU 活跃度从 0.1% 升至 2~3.5%（sar）→ 用户在用 ComfyUI 跑视频生成 |
| 06:24:24 | 生成完成：0657… 前一个任务 062424_00001_audio.mp4（11.2MB） |
| 06:57:21 | 生成完成：065721_00001_audio.mp4（12.7MB）——最后一个成功任务 |
| 07:00:25 | 最后一条系统日志（fwupd 例行刷新 + sysstat 采样），此后日志戛然而止 |
| — | 无 shutdown / reboot / panic / OOM / hung task / Xid / thermal / MCE 任何记录 |
| 07:18:12 | RTC 时间连续（主板时钟未断，说明是电源切断而非 CMOS 问题） |
| 07:18:34 | 重新开机（boot 0） |
二、关键证据
1. 掉电实锤：journald 自述 "uncleanly shut down"
本次启动日志：
systemd-journald: File .../system.journal corrupted or uncleanly shut down, renaming and replacing
非正常关机的直接证据（正常关机不会出现）。
2. 无任何软件/硬件错误记录
- 上次启动（boot -1，连续运行 9 天 4 小时）grep 无 panic / OOM / hung task / watchdog / nvidia Xid / thermal critical / MCE / hardware error；
last -x 无本次 shutdown 记录（非正常关机路径）；- 无 crash dump、无 coredump。
3. 死亡瞬间资源正常，排除过载
sar 采样（07:00:25，死亡瞬间）：
- CPU 仅 3.5%；
- 内存 86.88% 已用但仍有 2.9GB 空闲，无交换压力；
- 无 OOM 记录。 → 不是生成任务把机器压死的。
4. WOL 无法唤醒 → 与完全断电一致
之前发 Wake-on-LAN 魔术包无效：断电状态下 PSU 无待机供电，网卡收不到魔术包， 与"完全断电"而非"休眠/挂死"吻合。
5. ComfyUI 死机时处于空闲
- 最后一个任务 06:57:21 完成，死机（07:00:25）前 3 分钟已空闲；
- 无 temp 残留、无半成品文件（若生成中断会留下部分文件）；
- ComfyUI 前端"报错"= 掉电瞬间浏览器的连接失败/重置，属必然现象。
三、附带发现：PCIe 链路速率降级（需关注，非本次死机原因）
- 本次启动内核枚举：
126 Gb/s，limited by 16.0 GT/s PCIe x8（Gen4）；
- 当前 lspci：
LnkSta: Speed 2.5GT/s (downgraded), Width x8 (downgraded)（空闲降档）；
- 而运维记录修复后基线为 32 GT/s（Gen5）稳定 → 本次开机链路只训练到 Gen4；
- AER 无纠正/不可纠正错误记录，故不是本次死机原因，但与既往"GPU 掉总线" 隐患同方向，建议观察。
四、建议
- 排查电源（主因方向）：
- PSU 状态（是否有保护触发/老化）；
- 电源线、插排接触（同一电路是否有大功率设备启停引起闪断）；
- 考虑 UPS 或更换电源后观察。
- PCIe 链路：重新插拔显卡/检查槽位接触，确认后续开机能否恢复 32GT/s Gen5； 关注是否伴随 Xid/掉总线现象。
- ComfyUI 自启：建议配 systemd user unit，恢复供电开机后自动拉起 （本次断电后 8189 未自启，需手动 start_comfyui_v6.sh）。
- 复现监测：若再次出现无日志硬断，可加挂 UPS 的日志记录确认市电事件。