Meta 发布 Muse Spark Open:816B 开源权重 MoE 模型,支持 1M 上下文
Meta Superintelligence Labs 发布开源权重模型 Muse Spark Open,816B 总参数、每 token 激活 42B,支持文本、图像、视频和音频输入,上下文窗口 1M token。
同一新闻,精选展示《Meta 发布开源权重模型 Muse Spark Open,816B 参数、1M-token 上下文》
Meta Superintelligence Labs 发布了 Muse Spark Open,这是其 Muse Spark 模型的开源权重版本。Muse Spark Open 是一个 816B 参数的混合专家模型,每个 token 激活 42B 参数。它接受文本、图像、视频和音频输入,返回文本,并拥有 1M token 的上下文窗口。Meta 团队声称它是迄今为止能力最强的美国开源权重模型。对开发者而言,真正的新闻在于部署:NVFP4 版本可在 2 台 Apple M5 Ultra Mac Studio 上运行。
TL;DR
- 规模:816B 总参数 / 42B 激活参数(256 个专家,每个 token 激活 8 个);1M token 上下文。
- 运行于:通过 MLX 在 2 台 Mac Studio(M5 Ultra,各 512 GB)上运行;使用 NVFP4 时需 4 块 Blackwell Ultra GPU 或 8 块 H200;通过 Unsloth 2-bit GGUF 约需 300 GB 配置。
- 性能:在智能体工具使用方面表现强劲;在编码方面处于大型开源模型的中游。
- 最佳:MCP-Atlas 89.2,在 Meta 的对比表中得分最高。
- 最差:Terminal-Bench 2.1 76.4,落后于 Kimi K3(85.0)、GLM 5.3(83.9)和 Qwen3.8(82.0)。
什么是 Muse Spark Open?
Muse Spark Open 是 Meta 推出的原生多模态 MoE 模型,专为编码和长时程智能体工作而构建。权重以 BF16 和 NVFP4 格式在 Hugging Face 上发布。开源版本接受了额外的安全后训练。Meta 团队表示,这使其在没有系统级护栏的情况下更加稳健。
架构如何工作?
模型卡列出了 62 层和 8192 的隐藏维度。每个 MoE 层包含 256 个专家,top-k 路由每个 token 激活 8 个。注意力采用分组查询,具有 128 个查询头和 16 个 KV 头。一个独立的 1.8B 参数感知编码器处理视觉输入。词表包含 202,048 个 token,训练数据覆盖 100 多种语言。
推理深度通过 reasoning_effort 设置:low、medium、high 或 xhigh。默认为 xhigh。
Muse Spark Open 在基准测试中表现如何?
Meta 在最大推理努力下将其与 Kimi K3、GLM 5.3、Qwen3.8-2.4T-A95B 等模型进行比较。其最强结果体现在工具使用和知识可靠性方面:
- MCP-Atlas:89.2,领先于 Qwen3.8(84.5)和 GLM 5.3(84.2)。
- JobBench:61.8,略微领先于 GLM 5.3(61.4)。
- HLE-Diamond,无工具:26.1,而 Kimi K3 为 22.2。
- AA Omniscience:25,在 Meta 的表中得分最高。
- ZeroBench 带工具:50.0,而 Kimi K3 为 41.0。
编码是薄弱环节。在 Terminal-Bench 2.1 上使用 Terminus 2 测试框架,它得分为 76.4。Kimi K3 达到 85.0,GLM 5.3 得分为 83.9,Qwen3.8 得分为 82.0。其 Artificial Analysis Intelligence Index 为 39。这落后于 GLM 5.3(45)、Kimi K3(44)和 Qwen3.8(40)。因此“美国最强”成立,但中国开源模型整体仍领先。
部分竞争对手的分数为自我报告;评估方法列出了每个来源。
Muse Spark Open 需要什么硬件?
根据 Meta 的开发者指南,BF16 权重约为 1.6 TB。NVFP4 仅量化专家部分,约为 530 GB。模型卡建议 NVFP4 至少需要 700 GB 显存,BF16 需要 2 TB。
- 数据中心:NVFP4 在 4 块 Blackwell Ultra GPU 或 8 块 H200 上运行。
- 桌面端:2 台各配 512 GB 的 M5 Ultra Mac Studio,通过支持 RDMA 的 Thunderbolt 5 互联。MLX 张量并行将每一层拆分到两台机器上。
- 工作站:Unsloth Dynamic GGUFs 低至 2-bit 量化,可装入约 300 GB 的总内存中。
开发者可以在哪里运行它?
首日支持的引擎包括 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、MLX、llama.cpp 和 Unsloth。托管 API 已在 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 和 Together AI 上线。OpenRouter 标价为每 100 万输入 token 1.25 美元、每 100 万输出 token 4.25 美元。
两个草稿模型可加速解码:用于 SGLang 的 DFlash V2 和用于 vLLM 的 DSpark。Meta 报告称,在 AMD MI355X 上使用 DFlash V2 时单请求吞吐量提升 3.7 倍。微调支持 TorchTitan、Hugging Face TRL 和 NVIDIA NeMo AutoModel。
Muse Model License 允许什么?
Muse Model License 允许使用、微调、蒸馏和再分发。有 2 个条件最为重要:
- 产品必须展示“Built with Muse Spark Open.”
- 12 个月营收超过 2000 万美元的 Model-as-a-Service 提供商需要与 Meta 单独签订协议。
内部使用、研究以及为自己的产品功能提供支持不受营收条款约束。
Muse Spark Open vs Kimi K3 vs GLM 5.3 vs Qwen3.8
| 特性 | Muse Spark Open | Kimi K3 | GLM 5.3 | Qwen3.8-2.4T-A95B |
|---|---|---|---|---|
| 总参数 | 816B | 2.8T | 753B | 2.4T |
| 激活参数 | 42B | 104B | ~40B | 95B |
| 上下文 | 1M | 1,048,576 | 1,048,576 | 262,144 原生,最高 1,010,000 |
| 输入 | 文本、图像、视频、音频 | 文本、图像、视频 | 文本 | 文本 |
| 许可证 | Muse Model License | Kimi K3 License | glm-5.3 license | qwen3.8-max license |
| 发布权重 | BF16、NVFP4 | MXFP4 (QAT) | BF16、FP8 | BF16 |
| AA Intelligence Index(via Meta) | 39 | 44 | 45 | 40 |
| Terminal-Bench 2.1、Terminus 2(via Meta) | 76.4 | 85.0 | 83.9 | 82.0 |
| MCP-Atlas(via Meta) | 89.2 | 82.3 | 84.2 | 84.5 |
| Toolathlon Verified(厂商) | 72.8 | 76.5 | 73.0 | 72.5 |
| HLE with tools(厂商) | 61.0 | 56.0 | 62.5 | 56.2 |
| DeepSWE 1.1(厂商,自有测试框架) | 60 | 67.5 | 66.9 | 56.6 |
| 桌面端配置 | 2x M5 Ultra Mac Studio | 未披露 | 未披露 | 未披露 |
关键要点
- 816B 总参数、42B 激活参数、1M 上下文,支持文本/图像/视频/音频输入。
- 在 MCP-Atlas(89.2)和 JobBench(61.8)上领跑 Meta 的开放模型榜单。
- 在 Terminal-Bench 2.1(76.4)上落后于 Kimi K3、GLM 5.3 和 Qwen3.8。
- NVFP4 版本可通过 MLX 在 2 台 M5 Ultra Mac Studio 上运行。
- 对大多数用户免费;营收超过 2000 万美元的 MaaS 提供商需要签订协议。
查看 模型权重、 研究博客、开发者指南 和 评估方法。所有功劳归于本项目的研究者。另外,欢迎在 Twitter 上关注我们,别忘了加入我们的 150k+ ML SubReddit 并订阅 我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们了。
文章 Meta Releases Muse Spark Open: 816B Open-Weight MoE With 1M Context 首次发表于 MarkTechPost。
来源:MarkTechPost · marktechpost.com