跳到正文
MarkTechPost· MarkTechPost(RSS)·· 4 小时前同新闻AI 评分82

Meta 发布 Muse Spark Open:816B 开源权重 MoE 模型,支持 1M 上下文

AI 导读

Meta Superintelligence Labs 发布开源权重模型 Muse Spark Open,816B 总参数、每 token 激活 42B,支持文本、图像、视频和音频输入,上下文窗口 1M token。

同一新闻,精选展示《Meta 发布开源权重模型 Muse Spark Open,816B 参数、1M-token 上下文》

正文

Meta Superintelligence Labs 发布了 Muse Spark Open,这是其 Muse Spark 模型的开源权重版本。Muse Spark Open 是一个 816B 参数的混合专家模型,每个 token 激活 42B 参数。它接受文本、图像、视频和音频输入,返回文本,并拥有 1M token 的上下文窗口。Meta 团队声称它是迄今为止能力最强的美国开源权重模型。对开发者而言,真正的新闻在于部署:NVFP4 版本可在 2 台 Apple M5 Ultra Mac Studio 上运行。

TL;DR

  • 规模:816B 总参数 / 42B 激活参数(256 个专家,每个 token 激活 8 个);1M token 上下文。
  • 运行于:通过 MLX 在 2 台 Mac Studio(M5 Ultra,各 512 GB)上运行;使用 NVFP4 时需 4 块 Blackwell Ultra GPU 或 8 块 H200;通过 Unsloth 2-bit GGUF 约需 300 GB 配置。
  • 性能:在智能体工具使用方面表现强劲;在编码方面处于大型开源模型的中游。
  • 最佳:MCP-Atlas 89.2,在 Meta 的对比表中得分最高。
  • 最差:Terminal-Bench 2.1 76.4,落后于 Kimi K3(85.0)、GLM 5.3(83.9)和 Qwen3.8(82.0)。

什么是 Muse Spark Open?

Muse Spark Open 是 Meta 推出的原生多模态 MoE 模型,专为编码和长时程智能体工作而构建。权重以 BF16 和 NVFP4 格式在 Hugging Face 上发布。开源版本接受了额外的安全后训练。Meta 团队表示,这使其在没有系统级护栏的情况下更加稳健。

架构如何工作?

模型卡列出了 62 层和 8192 的隐藏维度。每个 MoE 层包含 256 个专家,top-k 路由每个 token 激活 8 个。注意力采用分组查询,具有 128 个查询头和 16 个 KV 头。一个独立的 1.8B 参数感知编码器处理视觉输入。词表包含 202,048 个 token,训练数据覆盖 100 多种语言。

推理深度通过 reasoning_effort 设置:low、medium、high 或 xhigh。默认为 xhigh。

Muse Spark Open 在基准测试中表现如何?

Meta 在最大推理努力下将其与 Kimi K3、GLM 5.3、Qwen3.8-2.4T-A95B 等模型进行比较。其最强结果体现在工具使用和知识可靠性方面:

  • MCP-Atlas:89.2,领先于 Qwen3.8(84.5)和 GLM 5.3(84.2)。
  • JobBench:61.8,略微领先于 GLM 5.3(61.4)。
  • HLE-Diamond,无工具:26.1,而 Kimi K3 为 22.2。
  • AA Omniscience:25,在 Meta 的表中得分最高。
  • ZeroBench 带工具:50.0,而 Kimi K3 为 41.0。

编码是薄弱环节。在 Terminal-Bench 2.1 上使用 Terminus 2 测试框架,它得分为 76.4。Kimi K3 达到 85.0,GLM 5.3 得分为 83.9,Qwen3.8 得分为 82.0。其 Artificial Analysis Intelligence Index 为 39。这落后于 GLM 5.3(45)、Kimi K3(44)和 Qwen3.8(40)。因此“美国最强”成立,但中国开源模型整体仍领先。

部分竞争对手的分数为自我报告;评估方法列出了每个来源。

Muse Spark Open 需要什么硬件?

根据 Meta 的开发者指南,BF16 权重约为 1.6 TB。NVFP4 仅量化专家部分,约为 530 GB。模型卡建议 NVFP4 至少需要 700 GB 显存,BF16 需要 2 TB。

  • 数据中心:NVFP4 在 4 块 Blackwell Ultra GPU 或 8 块 H200 上运行。
  • 桌面端:2 台各配 512 GB 的 M5 Ultra Mac Studio,通过支持 RDMA 的 Thunderbolt 5 互联。MLX 张量并行将每一层拆分到两台机器上。
  • 工作站:Unsloth Dynamic GGUFs 低至 2-bit 量化,可装入约 300 GB 的总内存中。

开发者可以在哪里运行它?

首日支持的引擎包括 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、MLX、llama.cpp 和 Unsloth。托管 API 已在 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 和 Together AI 上线。OpenRouter 标价为每 100 万输入 token 1.25 美元、每 100 万输出 token 4.25 美元。

两个草稿模型可加速解码:用于 SGLang 的 DFlash V2 和用于 vLLM 的 DSpark。Meta 报告称,在 AMD MI355X 上使用 DFlash V2 时单请求吞吐量提升 3.7 倍。微调支持 TorchTitan、Hugging Face TRL 和 NVIDIA NeMo AutoModel。

Muse Model License 允许什么?

Muse Model License 允许使用、微调、蒸馏和再分发。有 2 个条件最为重要:

  • 产品必须展示“Built with Muse Spark Open.”
  • 12 个月营收超过 2000 万美元的 Model-as-a-Service 提供商需要与 Meta 单独签订协议。

内部使用、研究以及为自己的产品功能提供支持不受营收条款约束。

Muse Spark Open vs Kimi K3 vs GLM 5.3 vs Qwen3.8

特性Muse Spark OpenKimi K3GLM 5.3Qwen3.8-2.4T-A95B
总参数816B2.8T753B2.4T
激活参数42B104B~40B95B
上下文1M1,048,5761,048,576262,144 原生,最高 1,010,000
输入文本、图像、视频、音频文本、图像、视频文本文本
许可证Muse Model LicenseKimi K3 Licenseglm-5.3 licenseqwen3.8-max license
发布权重BF16、NVFP4MXFP4 (QAT)BF16、FP8BF16
AA Intelligence Index(via Meta)39444540
Terminal-Bench 2.1、Terminus 2(via Meta)76.485.083.982.0
MCP-Atlas(via Meta)89.282.384.284.5
Toolathlon Verified(厂商)72.876.573.072.5
HLE with tools(厂商)61.056.062.556.2
DeepSWE 1.1(厂商,自有测试框架)6067.566.956.6
桌面端配置2x M5 Ultra Mac Studio未披露未披露未披露

关键要点

  • 816B 总参数、42B 激活参数、1M 上下文,支持文本/图像/视频/音频输入。
  • 在 MCP-Atlas(89.2)和 JobBench(61.8)上领跑 Meta 的开放模型榜单。
  • 在 Terminal-Bench 2.1(76.4)上落后于 Kimi K3、GLM 5.3 和 Qwen3.8。
  • NVFP4 版本可通过 MLX 在 2 台 M5 Ultra Mac Studio 上运行。
  • 对大多数用户免费;营收超过 2000 万美元的 MaaS 提供商需要签订协议。

查看 模型权重、 研究博客、开发者指南 和 评估方法。所有功劳归于本项目的研究者。另外,欢迎在 Twitter 上关注我们,别忘了加入我们的 150k+ ML SubReddit 并订阅 我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们了。

文章 Meta Releases Muse Spark Open: 816B Open-Weight MoE With 1M Context 首次发表于 MarkTechPost。

来源:MarkTechPost · marktechpost.com