Recursive 开源本地编程模型 Flint：40B 总参数、每次只激活 2.5B，Mac 要 48GB 内存起步

01总参数大、激活参数小，意味着什么

MoE 模型把参数分给很多个“专家”子网络，每生成一个 token 只调用其中一小部分。Flint 每层有 256 个路由专家，每次选 6 个，外加 1 个始终参与的共享专家。结果是：模型要占 40B 规模的内存，但每一步的计算量接近一个 2.5B 的小模型，所以生成速度快。按模型卡的口径，2.5B 包含输出层，不含输入词表，主体部分约 2.2B。

上下文长度有一处口径不一：官方博客说最高支持 512k token、建议控制在 256k 以内，而模型卡记录的配置是 262,144。实际使用按 256k 规划更稳妥。

02官方成绩和测试条件

模型卡给出的三项 Agent 编程成绩如下，均为 Recursive 自测，每题至少跑 5 次取平均通过率（pass@1），采样温度 1.0：

官方称 Flint 在总参数 50B 以下的 MoE 模型中这几项领先，并能接近 25–40B 稠密模型的编程水平。需要注意，对比模型的分数多由各自开发者提供，模型卡也写明各家测试设置不同，横向比较只能作参考。

03速度：靠专用推理引擎

官方数据是短上下文下，M4 Pro 的 MacBook Pro 上超过每秒 125 token，64GB 的 NVIDIA RTX Spark 上超过每秒 150 token。这些数字依赖 Recursive 一起开源的推理引擎 rec。rec 的 README 称，在 M4 Pro（48GB）、4 位权重、1K 到 252K token 的提示长度下，它的吞吐是 llama.cpp 的 1.4–2.6 倍（不含预填充阶段）。上下文越长，速度会明显下降，这一点在官方曲线里也能看到。

04在自己的设备上跑，需要什么

• Mac：用 int4 GGUF 量化版（文件 26.0GB），官方要求 Apple Silicon 且统一内存至少 48GB，需要支持 Flint 的 llama.cpp 版本。
• rec 引擎：只支持 M4 Pro、M5 Pro、M5 Max，至少 48GB 内存、约 30GB 空闲磁盘；面向单会话，多个 Agent 同时跑要换其他方式。
• NVIDIA 显卡服务器：BF16 原版权重约 80GB，官方 SGLang 部署包按每个副本一张 B300 或 H200 配置；vLLM 也提供了首发支持。
• Transformers 的建模代码暂未提供。

rec 的安装和启动方式（来自官方 README，本站未实测）：

curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bash
rec launch pi        # 启动推理服务并打开 pi
rec doctor           # 检查硬件和安装
rec stop             # 停止后台服务

首次运行会下载模型。rec 同时提供 OpenAI 兼容接口（默认地址 http://127.0.0.1:11500/v1，模型名 flint），可以接入自己的编程工具。官方推荐搭配 pi 使用，也内置了 OpenCode 的启动方式。

05“用 AI 造模型”的部分

Recursive 说 Flint 由一个小团队加自动化研究系统 Eureka Machine 在不到四个月内从零训练完成。这个系统会提出想法、写代码做实验、看结果再决定下一步。博客举了几个例子：它从 35B 总参数、3B 激活的基线出发搜索专家配置，得到现在的结构；把通常保留高精度的输出层也压到 4 位，再用 16 位模型做老师补回精度，最终 NVFP4 版在官方基准上与 16 位版相差不到 0.7 分；还为 M4、M5 芯片写了专用的 Metal 内核。这些都是公司自述，外部尚无独立复现。

06适合谁，有哪些限制

手上有 48GB 以上内存的 Mac，或有单张高端数据中心显卡，又不想把私有代码发给云端的开发者，可以把它当日常编程模型试用。官方自己也提醒：复杂任务最好拆成小任务、给出明确指令，它需要的引导比大型闭源编程模型多；长推理可能把输出额度耗光，难题建议至少留 32,768 token 的输出预算；接入工具调用时要自己设好权限边界，不能指望模型不做错误操作。