comfyui-SelfLift 调研报告

调研日期：2026-09-17
调研对象：comfyui-SelfLift（MiniMax H3 渐进分辨率采样 / 时间一致性补丁的 ComfyUI 插件）
结论一句话：论文是真的、项目是热的、H3 部分是实验性的——图像侧（SelfLift-zero）有论文背书；H3 侧是社区适配，官方明确写"论文未验证"，且上游 issue 里已有 5060Ti 16G 跑数字人的实测数据与未解决的音频噪点问题。

一、先分清三个仓库（很容易混）

仓库	角色	关键数据（2026-09-17 查）
facok/comfyui-SelfLift	上游本体（"饼佬"，中文社区作者）。SelfLift 图像采样器 + H3 采样器 + H3 TST 补丁，共 3 个节点	创建 2026-09-07，最后推送 2026-09-12，184 star / 5 fork / 6 open issues，无 License、无 Release、无 tag，默认分支 master，代码仅 9 个文件（约 146KB）
slmonker/selflift-Avatar	第三方实验分支（2026-09-14 创建，第二天）。专攻 H3 音视频双流遮罩 + 原始音频保留（数字人口型/换人方向）	创建并推送于 2026-09-14，19 star，当前版本 v0.1.1-experimental，README 用中文，同样无 License（明确声明"不擅自新增许可证"）
LBH-123-AI/Comfyui_Minimax_h3_latent_Upscaler	配套外部 lifter（H3 latent 学习式放大器），被 SelfLift 的 H3 节点调用	创建 2026-08-17，612 star，权重在 HF

上游 comfyui-SelfLift 文件清单（全部代码）：__init__.py / nodes.py(31KB) / selflift.py / h3_upscaler.py / h3_tiling.py / h3_tst.py / diagnostics.py + 两个 README。没有模型权重、没有新依赖。

二、两个论文出处（都核实过，真实存在）

SelfLift：SelfLift: Accelerating Few-Step Diffusion via Self-Recovering Resolution Transition，arXiv 2609.02036，2026-09-02 提交，cs.CV，作者 Tingyan Wen 等。
- 核心结论（论文摘要原文口径）：FLUX.2-Klein / Z-Image-Turbo 上端到端延迟降 41.5% / 44.1%；再叠加 timestep 蒸馏，相对 50 步模型总加速 29.61× / 19.21×。
- 注意：论文只验证了 rectified-flow 图像模型，没有 H3、没有视频。
TST：Temporal State Transport in Video Generation: Diagnosing and Correcting Spectral Imbalance，arXiv 2609.08505，2026-09-08，ICML 2026 F2S Workshop Best Paper，原码 lytang63/temporal-state-transport（MIT，4 star）。
- 训练无关、无额外模型，运行开销约 1~2%。

三、原理（为什么有效，压缩版）

3.1 SelfLift-zero：渐进分辨率 + 自恢复

少步模型（4~8 步）每次前向的空间成本占比很高，把宽高砍半 → latent 空间位置数降到约 1/4。所以：

前 k 步（transition_step）在低分辨率 latent 上跑；
取模型预测的干净端点 x₀（不是带噪状态！）做分辨率提升——带噪状态混着噪声，插值会同时改变噪声统计和结构，无法归因误差；
构造两条提升路径并做对比：
- 路径 A z_lat：直接 latent 插值（nearest / bilinear / 外部 H3 lifter）——快，但 latent 通道不一定有局部插值性质，易分布偏移；
- 路径 B z_pix：VAE decode → 像素空间放大（图 Lanczos / 视频 anti-alias bicubic）→ VAE encode——稳，但慢且偏平滑；
两者之差 = 伪影风险分数（通道维绝对值均值）：两路一致 ⇒ 低风险；差异大 ⇒ 直接提升已偏离合理 latent 分布；
按 batch 取分位数，只挑风险最高的 rho 比例位置，权重在线性映射到 [w_min, w_max]，只在高风险区向像素锚点修正（不是整张替换）；
在切换 sigma 处重新加噪，用同一份 x₀ 完成该 Euler 区间，再从 sigmas[transition_step:] 续跑。

关键：N 步调度仍然严格是 N 次 NFE（不额外调用去噪模型）。额外成本 = rho>0 时一次 VAE decode→放大→encode 往返。所以只有当"省下的模型前向时间 > VAE 往返"才净加速。

边界：rho=0 纯直接提升；rho=1, w=1/1 纯像素锚点；0<rho<1 才是 SelfLift-zero。

3.2 TST：不盲目加强跨帧注意力，而是"测张力、只修失衡的头"

H3 没有独立 temporal attention，文本/音频/视频 token 打包在单流注意力里。TST 通过 ComfyUI 的 optimized_attention_override 注入：定位视频 token → 对每帧 post-RoPE 的 q/k 做空间平均 → 构造 F×F 帧级传输矩阵 A；
算两个归一化熵：行熵 H_row（传输多弥散）与 von Neumann 熵 H_vN（全局谱多样性），定义带符号的"谱张力" T：
- T>0 → 局部过于弥散 = 过度混合（over-mixing）
- T<0 → 全局碎片化 = 各帧难以维持一致状态（fragmented）
按符号给每个注意力头一个 query 温度系数 γ 校正，深层 / 早期去噪步校正更强（余弦调度），只缩放视频行，不动文本和音频 token；
实测（作者口径）：真实 H3 上校正方向与精确注意力算子逐头一致率 89–100%；tau=0.2 推荐，0.5 已明显过强。

TST 是最贴合本机痛点的一块：它针对的正是"细节闪烁/形变、人物与服装身份漂移、不符合物理的运动"——即我们换人链路里反复遇到的 identity drift。而且它接任意标准采样器，不限于 SelfLift 采样器。

四、节点与参数速查

三个节点，全在 selflift 分类下：

1) SelfLift Progressive Sampler (Image)

model / positive / negative / vae / latent_image / sampler / sigmas / seed / cfg + 参数：

参数	默认	说明
`transition_step`	6	低分辨率阶段步数。论文：Z-Image-Turbo 8 步取 6，FLUX.2-Klein 4 步取 3
`lowres_scale`	0.5	前缀空间缩放
`rho`	0.3	高风险位置修正比例。Klein 取 0.4；0 关闭锚点
`w_min` / `w_max`	0.5 / 1.0	修正强度范围
`latent_upsample`	nearest	直接提升插值方式（可选 bilinear）
`model_hires`	—	高分辨率阶段换模型（必须同架构同 latent 格式）

2) SelfLift Progressive Sampler (MiniMax H3)

H3 音视频实验性适配（论文未验证）。两种模式：

外部 upscaler（实用默认）：装 H3 latent upscaler + rho=0，学习式纯 latent 提升 —— 但这不算 SelfLift-zero；
H3 SelfLift-zero：upscaler_model=none + rho>0，建议起点 rho=0.6、w_min=w_max=1。

额外：upscaler_model、highres_tiling（把高分辨率阶段切成 1~8 个空间块省显存）、latent_diagnostics。节点会拒绝 upscaler_model=none 且 rho=0 的组合（那等于只剩高风险的 nearest 路径）。

3) H3 Temporal State Transport (TST)

MODEL → MODEL 补丁节点，参数只有 tau（默认 0.2）与 log_diagnostics。

硬约束（会直接报错/静默跳过的）

只接受 标准 Euler + s_churn=0，采样器必须来自 KSamplerSelect 的 euler，其它采样器被拒绝；
noise_mask 与 highres_tiling 不兼容；
TST 与 highres_tiling 不兼容（TST 会打印警告并跳过）；
TST 只对 MiniMax H3 生效，其它模型静默跳过；
H3 768px 短边在 lowres_scale=0.5 时只有 384px，可能偏离骨干训练分布（作者明确要求自行验证）。

诊断环境变量

SELFLIFT_TIMING_SYNC=1（CUDA 同步计时）、SELFLIFT_MEMORY_LOG=1（阶段内存快照）、SELFLIFT_DEBUG=1（导出过渡中间 PNG）、SELFLIFT_TST_EXACT=1（精确算子探针，仅调试）。日志关键词：[SelfLift plan] / [SelfLift timing] / [SelfLift upscaler] / [SelfLift tiling memory] / [H3 TST]。

五、作者自己给的 H3 对照结论（以及它的证据强度）

同一 prompt + seed，transition_step=6、lowres_scale=0.5：

测试	upscaler	rho	权重	结果（单 seed）
原生基线	—	—	—	干净
纯像素锚点	none	1	1/1	干净
直接路径 nearest	none	0	任意	大范围伪影
论文图像参数	none	0.3	0.5/1	伪影大部分仍在
H3 强修正	none	0.6	1/1	主要伪影消除
外部 lifter	H3 ckpt	0	任意	学习式提升

⚠️ 这是单 seed 证据，作者自己写明"仅为单 seed 证据"。结论是"H3 的直接提升误差比论文图像骨干更广，建议从强修正起步，过平滑再降"。

六、风险与已知问题（这部分最重要）

6.1 上游 issue 实况（6 个 open，全部中文，多为 H3 用户）

#	标题	状态	要点
#9	音频全是电子噪音	open、0 回复	无报错、画面基本正常，音频全是电子噪音（Win11 + ComfyUI 0.34.2）。未解决
#8	和 AudioDrive 节点一起用	open	报 `noise_mask/inpainting is not supported`
#7	锁定音频会出错	open	同一错误；作者回复"我现在去放宽限制"→"解除限制了，但没办法保证这样用会不会有其它问题"
#6	0.7（Seedream? 实为 15 秒数字人）跑起来内存/显卡/虚拟内存全满 + 二采黑屏	open	显卡 5060Ti 16G（=本机同款！）
#5	能否拆分成"一采→预测x0→放大latent→重新加噪→二采"两个节点	open	2 条回复；带 add guide/motion context 的双采样工作流需要对两个 latent 分别引导
#4	插件节点分类名称	open	11 条回复（分类命名讨论）

#6 的实测数据（同款 5060Ti 16G，15 秒数字人）：

一采：约 10 秒/步（作者说"挺快的"，符合预期）；
进入二采时屏幕黑约 3 秒；
二采：约 79 秒/步；
15 秒视频总耗时 约 380 秒；
现象：内存 / 显卡 / 虚拟内存全满，电脑卡顿。

这条对本机极有价值：16GB 显存跑 H3 + 二采（高分辨率阶段）是显存硬瓶颈，highres_tiling 正是为此设计的兜底（但代价见下）。而且 79s/步的二采速度说明"提速"在 H3 上未必成立——SelfLift 省的是低清阶段的算力，二采本身反而更贵。

6.2 许可证风险（必须记一笔）

上游 facok/comfyui-SelfLift 未声明任何 License（GitHub API license: null，无 Release / 无 tag）；
Avatar 分支明确写了："本次上传检查时，上游未声明许可证；本项目未擅自新增开源许可证，不能仅凭本仓库存在推断获得原代码或模型的再分发授权。"
⇒ 本地自用测试没问题，但不要把代码/权重打进对外分发包，也不要在正式交付物里当"开源可商用组件"引用。

6.3 证据强度分级（照抄社区的诚实口径）

部分	证据强度
SelfLift-zero 图像采样器	最强——直接对应论文验证范围
H3 SelfLift-zero 渐进分辨率	中/弱——作者单 seed 实测，论文未验证
H3 `highres_tiling`	弱——实验性，块间无全局注意力、只保留第一块音频、不支持 ControlNet/noise_mask/TST
H3 TST 移植	中——论文 Best Paper + 真实 H3 上 89–100% 逐头一致，但"不能创造底模没有的细节"
Avatar 分支（音频遮罩/口型）	最弱——v0.1.1-experimental，仅 28 项 CPU 测试，真实大模型生成未验证，作者自述"不保证所有音频与角色都能准确同步"

七、和本机现状的对接评估

7.1 本机（GPU 机 192.168.31.31）现状核查（2026-09-17 实测）

ComfyUI 0.35.0（commit b2da2b42，2026-09-16），Python 3.12.3，torch 2.11.0+cu130；
custom_nodes/ 里 没有 SelfLift，也没有 MiniMax H3 latent upscaler 节点包；
但 models/latent_upscale_models/ 里已经有 lifter 权重：
- minimax_h3_latent_upscaler_3d_bf16.safetensors（659 MB）
- minimax_h3_latent_upscaler_3d_fp16.safetensors（659 MB）
- 外加 ltx-2.5-latent-spatial-upscaler-x2-bf16-1.0.safetensors（950 MB）
⇒ SelfLift 的 H3 "外部 lifter"路径开箱即用（它自己在 h3_upscaler.py 里实现推理，不需要另装 LBH 的节点包）。节点默认会自动选第一个文件名含 h3 的模型。

7.2 值得试的三点

TST（tau=0.2）单点接入——直接打我们换人链路最痛的 identity drift / 细节闪烁，代价仅 1~2% 开销，接任意标准采样器，不需要动 SelfLift 采样器。这是投入产出比最高的一项。
H3 latent upscaler 路径（rho=0，外部 lifter）——我们本来就有权重，可作为"低清 384p 一采 → 学得式 latent 提升 → 高清二采"的提速/省显存路线，和现有 Singularity 双采样思路同源但实现不同（Singularity 走 VDN/Sol-Attn，SelfLift 走 latent 学习式提升 + 自恢复修正）。
highres_tiling 兜底 16GB——issue #6 证明 16G 跑 H3 二采会爆内存，tiling 是唯一的官方兜底手段，但画质/运动可能变化、只保留第一块音频，只能当实验手段。

7.3 三条明确警告

⚠️ 本机有"注意力补丁 → GPU 掉总线"的前科：本机 GPU 掉总线的真正元凶是 MiniMaxH3MemoryEfficientSageAttentionPatch 强行把注意力拉回 SageAttention（sm120 无内核 → triton JIT → GSP 挂死）（见 dl-hub/06-ComfyUI-H3运维记录、dl-hub/10-视频生成流水线/H3换人视频-部署与实测报告-20260914.md）。TST 同样是注意力注入型补丁（走 optimized_attention_override），虽然论文口径只改 query 温度、不换注意力后端，但在本机务必单独、短片段、盯 nvidia-smi 试跑，不要和 sage 相关补丁叠加。
采样器约束可能和现有工作流冲突：SelfLift 两个采样器只吃标准 Euler + s_churn=0。我们的官方 Director H3 工作流用的是哪套 sampler/scheduler，接之前必须核对；且 noise_mask、highres_tiling、TST 三者互相有互斥关系（见 3.4 硬约束）。
音频是 H3 的软肋：上游 issue #9「音频全是电子噪音」至今 0 回复未解决；#7/#8 的 noise_mask 报错是作者临时放宽限制的（作者原话"没办法保证这样用会不会有其它问题"）。做数字人/换人时音频条件必须单独验收。

八、如果要落地：建议的验证顺序

严格 A/B，固定 seed、prompt、帧数、输出 FPS、总步数，一次只改一个变量：

第 0 步（基线）：现有官方 Director H3 工作流，原生全分辨率采样，记录时间 + 显存峰值 + 熟肉质量。

第 1 步（最低风险，先摘果子）：只接 TST，tau=0.2，采样器不动。

固定 seed，对照：①不接 TST ②接 TST 且 tau=0（验证补丁本身不改结果）③tau=0.2；
关注点：连续帧的身份/服装一致性、文字与细纹理是否停止闪烁、运动是否更合理；
若 tau=0 与"不接"结果不一致，说明补丁有副作用，先停。

第 2 步（省显存/提速）：H3 SelfLift 采样器 + 外部 lifter（rho=0），transition_step ≈ 总 NFE 的 3/4、lowres_scale=0.5、highres_tiling=off。

与第 0 步比总耗时（不是比单步耗时）。注意论文的省时逻辑在 H3 上未必成立——issue #6 的二采 79s/步是反例信号。

第 3 步（实验性，可选）：upscaler_model=none + rho=0.6 + w_min=w_max=1 的 H3 SelfLift-zero 路线，与"纯像素锚点 rho=1"和"论文参数 rho=0.3"分别对照，判断强修正是否真的必要。

第 4 步（仅在爆显存时）：highres_tiling=on，接受画质/运动变化与"只保留第一块音频"的代价；此时必须关掉 TST 和 noise_mask。

数字人/换人额外一步：若要用 selflift-Avatar 做音视频遮罩，先读它的"口型效果排查"章节——音频保留 ≠ 口型正确，作者明确要求固定全部参数、先与原生全分辨率采样对比，再分别测"更多高清步数"与"不用外部 upscaler 的像素锚点路径"。

安装命令（GPU 机，未执行，待确认）

cd /home/zyw/ComfyUI/custom_nodes
git clone https://github.com/facok/comfyui-SelfLift.git
# 然后必须重启 ComfyUI 后端（只刷新网页不加载新 Python 代码）

（Avatar 分支是另一个注册 ID，可与上游并存；但不要放两份 Avatar 副本，会节点重复注册。）

九、总体评价

优点

有真论文支撑（SelfLift + ICML 2026 F2S Workshop Best Paper 的 TST），不是纯"炼丹玄学节点"；
工程完成度出人意料地高：干净端点上切换分辨率、配对提升构造自风险信号、只修高风险位置、重加噪并复用边界那次模型评估保持 NFE 不变、H3 视频/音频流分离、长视频 VAE/upscaler 时间分块、对 mask/调度/采样器都有明确保护；
TST 是独立亮点：训练无关、无额外模型、1~2% 开销、接任意采样器、直击身份漂移；
社区热度真实（8 天 184 star），作者响应 issue 很快（#7 当天回复并放宽限制）。

缺点 / 保留意见

H3 部分是实验性的，作者自己反复写明"论文未验证""单 seed 证据"；
无 License + 无 Release/tag ⇒ 版本不可锁定、再分发授权不明，长期依赖有风险；
音频问题未解决（#9 电子噪音，0 回复），而音频恰恰是 H3 的卖点；
对 16GB 用户不是银弹：issue #6 同款 5060Ti 实测二采 79s/步、内存/显存/交换全满、二采黑屏；
TST / noise_mask / highres_tiling 三者互斥，组合空间被切得很碎。

建议：先只试 TST（tau=0.2），成本极低、痛点最准；渐进分辨率采样与 Avatar 分支作为第二批实验，且必须做固定 seed 的 A/B 与音频单独验收。不要直接把它当生产链路替换现有官方 Director 工作流。

十、来源

上游仓库：https://github.com/facok/comfyui-SelfLift （README / README_CN / issues #1–#9 / commits）
Avatar 实验分支：https://github.com/slmonker/selflift-Avatar （README、CHANGELOG、Release v0.1.1-experimental）
配套 H3 latent upscaler：https://github.com/LBH-123-AI/Comfyui_Minimax_h3_latent_Upscaler · https://huggingface.co/LBH-123-AI/Minimax_h3_latent_Upscaler
TST 原码：https://github.com/lytang63/temporal-state-transport
论文：https://arxiv.org/abs/2609.02036 （SelfLift） · https://arxiv.org/abs/2609.08505 （TST）
中文原理/节点/工作流指南（第三方整理，2026-09-16）：https://www.mybj123.com/32280.html
社区视频（全身数字人崩脸 → Self-lift 双采样）：https://www.bilibili.com/video/BV1aLe76REZE/
本机对照资料：dl-hub/28-H3-Singularity双采样提速方案/、dl-hub/10-视频生成流水线/H3换人视频-部署与实测报告-20260914.md、dl-hub/06-ComfyUI-H3运维记录/

comfyui-SelfLift调研报告-20260917.md