# GPU 机离线事故根因分析（2026-09-03）

**现象**：用户反馈 ComfyUI 断开连接，随后确认整机（192.168.31.25 / zywpc）完全不可达。

## 结论：突发断电/电源故障导致整机掉电，ComfyUI 报错是结果而非原因

系统日志、内核日志、sar 资源记录、磁盘/journald 状态四方面交叉验证，
**没有任何软件崩溃痕迹**，全部证据指向**突发断电（掉电）**。

---

## 一、时间线重建（UTC，本地 = UTC+8）

| 时间 (UTC) | 事件 |
|---|---|
| 06:10 起 | CPU 活跃度从 0.1% 升至 2~3.5%（sar）→ 用户在用 ComfyUI 跑视频生成 |
| 06:24:24 | 生成完成：`0657…` 前一个任务 `062424_00001_audio.mp4`（11.2MB） |
| 06:57:21 | 生成完成：`065721_00001_audio.mp4`（12.7MB）——**最后一个成功任务** |
| 07:00:25 | **最后一条系统日志**（fwupd 例行刷新 + sysstat 采样），此后日志戛然而止 |
| — | 无 shutdown / reboot / panic / OOM / hung task / Xid / thermal / MCE 任何记录 |
| 07:18:12 | RTC 时间连续（主板时钟未断，说明是电源切断而非 CMOS 问题） |
| 07:18:34 | 重新开机（boot 0） |

## 二、关键证据

### 1. 掉电实锤：journald 自述 "uncleanly shut down"
本次启动日志：
```
systemd-journald: File .../system.journal corrupted or uncleanly shut down, renaming and replacing
```
非正常关机的直接证据（正常关机不会出现）。

### 2. 无任何软件/硬件错误记录
- 上次启动（boot -1，连续运行 9 天 4 小时）grep 无 panic / OOM / hung task /
  watchdog / nvidia Xid / thermal critical / MCE / hardware error；
- `last -x` 无本次 shutdown 记录（非正常关机路径）；
- 无 crash dump、无 coredump。

### 3. 死亡瞬间资源正常，排除过载
sar 采样（07:00:25，死亡瞬间）：
- CPU 仅 3.5%；
- 内存 86.88% 已用但仍有 **2.9GB 空闲**，无交换压力；
- 无 OOM 记录。
→ 不是生成任务把机器压死的。

### 4. WOL 无法唤醒 → 与完全断电一致
之前发 Wake-on-LAN 魔术包无效：断电状态下 PSU 无待机供电，网卡收不到魔术包，
与"完全断电"而非"休眠/挂死"吻合。

### 5. ComfyUI 死机时处于空闲
- 最后一个任务 06:57:21 完成，死机（07:00:25）前 3 分钟已空闲；
- 无 temp 残留、无半成品文件（若生成中断会留下部分文件）；
- ComfyUI 前端"报错"= 掉电瞬间浏览器的连接失败/重置，属必然现象。

## 三、附带发现：PCIe 链路速率降级（需关注，非本次死机原因）

- 本次启动内核枚举：`126 Gb/s，limited by 16.0 GT/s PCIe x8`（Gen4）；
- 当前 lspci：`LnkSta: Speed 2.5GT/s (downgraded), Width x8 (downgraded)`（空闲降档）；
- **而运维记录修复后基线为 32 GT/s（Gen5）稳定** → 本次开机链路只训练到 Gen4；
- AER 无纠正/不可纠正错误记录，故不是本次死机原因，但与既往"GPU 掉总线"
  隐患同方向，建议观察。

## 四、建议

1. **排查电源**（主因方向）：
   - PSU 状态（是否有保护触发/老化）；
   - 电源线、插排接触（同一电路是否有大功率设备启停引起闪断）；
   - 考虑 UPS 或更换电源后观察。
2. **PCIe 链路**：重新插拔显卡/检查槽位接触，确认后续开机能否恢复 32GT/s Gen5；
   关注是否伴随 Xid/掉总线现象。
3. **ComfyUI 自启**：建议配 systemd user unit，恢复供电开机后自动拉起
   （本次断电后 8189 未自启，需手动 start_comfyui_v6.sh）。
4. 复现监测：若再次出现无日志硬断，可加挂 UPS 的日志记录确认市电事件。