英伟达开放 Nemotron 3.5 Super VL：能看图和视频的 Agent 模型，重点放在部署效率

01它是什么样的模型

总参数 120B，但每生成一个 token 只调用其中约 12B。这是混合专家（MoE）结构：模型里有很多“专家”子网络，每个 MoE 层有 512 个，每次只挑一部分参与计算。算得少，速度就快；但全部权重仍要放进显存，所以对硬件的要求是按 120B 算，不是按 12B 算。

主干是 Mamba-2 和 Transformer 混合的结构。Transformer 的注意力层在上下文变长时要缓存的内容越来越多，Mamba 层的状态大小则是固定的，这对动辄几十万 token 的长对话、长文档更省资源。模型最长支持 1M token 上下文，提示词、图片、对话历史、工具返回结果和输出共用这个窗口；实际部署配置可能会设得更小。视觉部分由 C-RADIO 视觉编码器负责，把图片和视频帧转成语言主干能处理的表示。

另一个设计是内置多 token 预测（MTP）头，用来做投机解码：先快速猜出后面几个 token，再由主模型一次性验证，猜对的直接采用，从而减少逐个生成的次数。官方给的 vLLM 和 SGLang 示例直接用这个内置头，不需要另外下载草稿模型。针对 DGX Spark，英伟达还单独发布了一个叫 LiLiCorr 的草稿模型，并建议 DGX Spark 部署都用它。

02速度：官方测试中的吞吐优势

英伟达在技术报告 中用一个模拟 Agent 的负载测服务吞吐：20 轮对话，每轮输入 2,048 token、输出 1,024 token，前面的内容可以复用缓存。只统计每位用户生成速度不低于 50 token/s 的配置，比较每张 GPU 的最大输出吞吐。结果如下：

这些数字都在英伟达自己选定的负载和硬件上测得，本站未复现。换成别的硬件、并发数或请求长度，差距会不同，模型卡也提示性能取决于硬件、请求长度和并发。

03能力：和同体量模型比有强有弱

BF16 版模型卡 列出了与其他模型的对比，所有模型都由英伟达用 NeMo Gym 统一测试，部分视觉基准用的是官方实现或英伟达内部脚手架。下面挑出几项，与总参数相近的 Qwen3.5-122B-A10B 对照（分数越高越好，标注“越低越好”的除外）：

从这张表看，它在 Agent 编程类任务和“不乱答”上占优，知识问答、看图解题和中文 OCR 落后，操作电脑界面和视频理解基本持平（本站推断）。同一张表里，Qwen3.8-Flash-Next 在大多数项目上分数更高。所以更准确的定位是：能力属于同体量的中游，优势在跑得快、省硬件。

04谁能跑起来

官方发布了两个版本。NVFP4 量化版 把大部分权重压到 4 位，视觉编码器等部分保留 BF16，用于部署；BF16 版是全精度权重，用于微调、领域适配和全精度评测。按技术报告，量化版在 36 项基准上的中位精度恢复率为 99.62%，但个别项目掉得明显，例如 WebVoyager 从 77.72 降到 66.31，DeepSWE 从 24.65 降到 18.2（均为模型卡数据）。

运行环境为 Linux，硬件为英伟达 Hopper 或 Blackwell 架构。模型卡还给出了通过 llama.cpp 和 Unsloth 在 DGX Spark、RTX Spark、RTX Pro 6000 上本地推理的入口。官方列出的配置都是数据中心 GPU 或大内存工作站，没有普通消费级显卡。

几个使用细节：示例配置中每个请求可带一张图和一段视频；视频建议从 1 到 2 分钟的 MP4 开始，1080p 视频用 1 FPS、最多 128 帧。思考模式有关、中等、开三档，中等档输出更少但可能影响准确率，思考内容和最终回答共用 max_tokens 额度。按模型卡的客户端示例，开关方式如下（本站未实际运行）：

# 开启思考
extra_body={"chat_template_kwargs": {"enable_thinking": True}}
# 中等强度思考
extra_body={"chat_template_kwargs": {"enable_thinking": True, "medium_effort": True}}
# 关闭思考：enable_thinking 设为 False

模型卡推荐的采样参数是：纯文本 temperature 1.0、top_p 0.95，视觉任务 temperature 0.6、top_p 0.95。生产部署可用英伟达的 NIM 容器，或按 Dynamo 部署方案 做分布式推理。

05许可

模型采用 OpenMDW-1.1 许可，模型卡写明可用于商业和非商业用途。许可本身很宽松：可以免费使用、修改和分发，对模型输出不加限制。条件有两条：分发时要附上许可文本和原有版权声明；如果你起诉他人、主张这些模型材料侵犯专利或版权，你获得的授权会终止。许可同时写明，第三方权利需要使用者自行确认。英伟达还公开了预训练、后训练数据集和训练方案。