2026-09-25 H3 批量生成期间 GPU 机整机硬挂（MV 项目，第 4 次同类）

• 项目：dl-hub/54-九九八十一MV（可爱版 MV，25 镜 H3 动态化）
• 机器：GPU 机 192.168.31.31（RTX 5060 Ti 16GB，ComfyUI 8189）
• 结论（待机器恢复后取证补全）：整机硬挂，与软件路径无关——官方 MinimaxH3Director 图（无 LoRA / 无 Sage / 无 Sol / 无段间引导）、12 步、单段独立任务、段间 300s 冷却 + 温度闸门，仍然在第 3 镜采样中失联。与 2026-09-17/09-18 三次硬挂同一类。

一、时间线（DSH 机侧，CST）

时间	事件
06:02:09	S01 开跑（1344×768 / 12 步 / 官方图 / 冷却 300s）
06:22:47	✅ S01.mp4 出片（20 分钟，1344×768/141 帧，风格保留良好）
06:25:06	S02 开跑（等满 5 分钟冷却后）
≈06:45	✅ S02.mp4 出片
06:50:52	S03 开跑
06:56:48	批次报错：ConnectionError ... http://192.168.31.31:8189/upload/image ... [Errno 113] No route to host → 整机失联
07:00–07:15	ping 100% 丢包、ssh No route to host；未自愈（kernel.panic=10、hung_task_panic=1 已开，但未触发重启）

二、运行配置（与记录①的 13 小时零挂机配方逐条一致）

项	配方①	本次
节点图	官方 MinimaxH3Director	✅ 只有 UNETLoader/CLIPLoader/VAELoader/Director/CreateVideo/SaveVideo
画布	1344×768	✅
步数	12	✅
采样	res_multistep + simple，cfg 1.0，shift 12/3	✅
加速	无	✅ 无 LoRA / Sage / Sol
段间引导	关	✅ continuityEnabled=false，segments=1
冷却	段间 5 分钟	✅ 300s + 温度闸门(≤70℃)
单次满载	≤60 分钟	✅ 单镜 ~20 分钟

对照结论：本次单镜负载（141 帧 / 20 分钟）明显低于记录①里跑通 13 小时的 260 帧 / 54–76 分钟段， 却仍在第 3 镜挂掉 → 进一步支持 2026-09-18 的结论：该机在 H3 长时满载下会随机整机硬挂，与配置/软件路径无关。

三、现场取证要点（机器恢复后照做）

ssh zyw@192.168.31.31 'uptime; last -x | head -5; dmesg -T | tail -80; \
  nvidia-smi -q | head -40; \
  ls -l ~/comfyui_8189_opt.log*; tail -c 2000 ~/comfyui_8189_opt.log; \
  cat /sys/module/nvidia/parameters/NVreg_DynamicPowerManagement 2>/dev/null; \
  nvidia-smi --query-gpu=power.limit,clocks.sm,temperature.gpu --format=csv'

关注：是否留下 .bak（restart 脚本会备份）、dmesg 是否有 XID/GSP 报错、是否留下 PCIe 降速、power limit 是否被改过。

四、恢复后处置

1. 确认 ComfyUI 起来（curl --noproxy '*' http://127.0.0.1:8189/system_stats）；
2. DSH 机跑 run_h3_supervisor.sh：自动等待机器+ComfyUI 就绪后断点续跑（已完成镜自动跳过）；
3. 已在批次脚本里做的韧性：断点续跑、失败不中断、逐镜日志（logs/h3_batch.log）。

五、历史同类

• 2026-09-15-连续生成6小时后整机硬挂-取证报告.md（pinned 内存窒息版，已修）
• 2026-09-17-Director段间引导latent锚定导致整机硬挂-两次复现.md（含 09-18 补充：与软件路径无关）
• 2026-09-09-ComfyUI启动恢复与停顿分析.md（离线 18 分钟后人工开机恢复）

---

六、恢复与续跑（2026-09-25 09:27 CST）

• 用户人工断电重启后机器恢复（uptime 显示 01:22 UTC 开机；上一次开机是 09-24 13:27 UTC，即本次连续运行约 12 小时后硬挂）。
• 取证结果（有限）：
  • comfyui_8189_opt.log 尾部停在 S03（第 3 镜）的 Model Initializing ...，即死亡发生在模型加载/首步采样阶段，与 09-17 两次「段 1 第 1 步刚结束就冻死」的表现一致；
  • 无 .bak 轮转（未走 restart_comfy.sh），dmesg 因内核限制读不到，未捕获 XID/GSP 记录 —— 这台机器依旧缺少崩溃捕获能力。
• 恢复动作：拉起 ComfyUI（含 --disable-pinned-memory、--fast-disk）+ 重启 RAM 哨兵（MemAvailable 29.6GB 健康）， 然后由 54-九九八十一MV/run_h3_supervisor.sh 断点续跑（已完成 S01/S02 自动跳过，S03 于 09:27:02 重新开跑）。
• 结论不变：该机 H3 长时满载会随机整机硬挂，与配置无关；工程上靠「监督脚本 + 断点续跑 + 人工断电」兜住。