zovo.imzovo.im
首页›开源项目›正文

RTX 4090 上出一段 5 秒带声音的视频,要两分半:HyperFlow H3 Flash 把大视频模型砍了一半

zovo约 3 分钟读完
能同时生成画面和声音的视频模型,通常大到只有数据中心才跑得动。Video Rebirth 开源的 HyperFlow H3 Flash 把 MiniMax-H3 的主干网络砍掉一多半参数,只用 4 到 8 步采样,README 给出的数据是:RTX 4090 上一段 5.2 秒的 1344×768 视频,大约 2 分半。

HyperFlow H3 Flash 是 Video Rebirth 对 MiniMax-H3 做的压缩版:原模型的视频主干约 31B 参数,这个版本是 13.7B(带参考素材的版本是 13.9B),不到一半。它一次生成视频和同步的立体声,输出 5.2 到 15 秒、24 帧每秒,默认 1344×768,声音是 32kHz。

01怎么变小、变快的

README 列了三招:删掉部分网络层(50 层里去掉 3 层,参考图版本去掉 1 层)并把大矩阵拆成低秩的小矩阵;把 180 个线性层量化成 8 位整数(INT8),量化前先做一次旋转让数值分布更平均;再加一种新的时间条件,让模型只需 4、6 或 8 步就能出结果,并且不再需要“无分类器引导”(CFG,一种让画面更贴合提示词、但会让每步算两遍的常用手段)。默认 6 步,4 步偏速度,8 步偏质量。

02你的显卡够不够,看这几个数

官方的速度数据(5.2 秒片段、6 步、1344×768,文生视频)如下,均为 README 自测:

硬件5.2 秒片段15 秒片段
RTX 5090(32GB),INT8,内存≥69GiB92 秒551 秒
RTX 4090(24GB),INT8,内存≥69GiB130 秒750 秒
RTX 4090,GGUF,16GB 内存153 秒812 秒
RTX 3090(24GB),GGUF,16GB 内存325 秒1866 秒
1 张 H20036 秒229 秒
4 张 B2008.7 秒—

普通电脑选 GGUF 格式:推荐的 Q4_K_M 版本只有 9.1GB,最小的 Q3_K_M 是 7.2GB,官方在 24GB 和 32GB 显卡、16GB 内存的电脑上测过,16GB 显卡还没测。官方的选择规则是:内存 64GB 及以下用 GGUF,数据中心卡或内存够大的 24GB 以上 RTX 卡用 INT8。INT8 要快 10% 到 20%,代价是内存要 69GiB 以上。

03上手路径和一个大下载

最省事的是 ComfyUI:把 ComfyUI-GGUF 和 ComfyUI-HyperFlow-Flash 两个插件放进 custom_nodes,再下载一个 15.7GB 的文本编码器,打开自带的 hyperflow_t2v 等模板。内存只有 16GB 或 32GB 时,官方要求用 python main.py --fast-disk 启动,并且把模型放在 NVMe 固态上,否则 16GB 内存的电脑会在 15 秒片段上爆内存。也可以用 Unsloth Studio 或 stable-diffusion.cpp。

走 Python 包(pip install 官方仓库地址)的话,要 Python 3.10+、PyTorch 2.6+、Ampere 以上的英伟达显卡,首次运行会下载约 90GB 文件(用 fp8 文本编码器约 68GB)。这条路适合有服务器的人。官方说明里,这些命令和数据均来自 README,本文未重复运行。

04先看许可证再下载

仓库代码是 Apache-2.0,但 ComfyUI 插件部分是 GPL-3.0。更要紧的是模型权重:它是 MiniMax-H3 的衍生品,适用 MiniMax H3 社区许可协议,按 README 的说法,该协议不涵盖在欧盟、英国、韩国和美国的使用,除非得到 MiniMax 授权,并带有使用政策。如果你在这些地区,或要拿它做商用,先读模型卡上的协议再决定。

本文由 zovo 编辑撰写,转载请注明出处。

相关文章