DeepSeek 开源推理框架 DeepInfer：支撑 V4.1-Flash 线上服务，但只放出离线推理部分

01它是什么

模型权重只是一堆参数，真正让模型对外服务的是推理框架：负责排队、调度显卡、把答案一个个算出来。DeepInfer 就是 DeepSeek 自己线上服务用的这一套。按 官方 README 的说法，这次开源的是“离线推理”，包含大规模服务所需的核心能力。

02包含哪些能力

• 并行方式：Attention DP / balanced CP，MoE 使用 EP 加 EPLB（专家并行与负载均衡）。
• 投机解码：用 DSpark 配合置信度调度验证，先猜几个词再批量核对；用 DEEPINFER_ENABLE_MTP_VARLEN=1 打开，草稿长度默认最多 5。
• SWA bounded replay：只重放有限长度的后缀，减少解码端的预填充计算。
• 异步调度：CPU 排批与显卡执行重叠，默认开启。
• 批次不变推理与确定性采样：同样输入在不同批次组合下结果一致，仅支持 NVIDIA。
• 结构化输出：可用正则、JSON schema 或 EBNF 约束生成。
• 底层调用了 FlashMLA、DeepGEMM、DeepEP 等 DeepSeek 已有的开源算子库。

03使用条件

安装需要从源码编译：先设置 DEEPINFER_ACCELERATOR（nvidia 或 ascend），再运行 ./build.sh，然后用 examples/offline_inference.py 跑示例。以上步骤来自官方 README，本站未实际运行。

04还缺什么

官方明确列出，搭一个完整的线上服务还需要：KV 缓存系统、VE/预填充/解码分离部署（大部分引擎功能已实现），以及跨数据并行副本的负载均衡。这些没有包含在本次发布里。所以对多数团队来说，它更像一份可以参考的生产实现，而不是拿来就能上线的方案。

性能方面，README 提供了预填充和解码的吞吐—延迟曲线，测试用 4 块 SM100 做预填充、64 块做解码，均在同一个高速互联域内；复现脚本是 examples/sweep/run_sweep.sh。本站没有复测，也没有把图中数字转写出来。

致谢部分写明，DeepInfer 最初主要基于 vLLM 构建，并参考了 SGLang 和 TensorRT-LLM。