Meta 发布开源权重模型 Muse Spark Open，816B 参数、1M 上下文

今天，Meta 发布了 Muse Spark Open 的权重，这是迄今为止能力最强的美国开放权重模型。它今天已在 Hugging Face 上以 Muse Model License 提供。Muse Spark Open 在 SGLang 和 vLLM 推理引擎上进行了优化运行，并针对 NVIDIA、AMD 和 Intel 进行了优化。

基于我们 8 月发布的 Muse Spark，这个开放权重版本增加了额外的安全后训练，使其在没有系统护栏的情况下作为独立模型使用时更能抵御滥用。其结果是该模型成为安全方面的顶级开源选择。Muse Spark Open 是一个 816B 总参数/42B 激活参数的模型，上下文窗口为 1M tokens。Muse Spark Open 专为编码和智能体工作而构建，原生多模态，并与 Muse Spark 1.3 共享相同的基础模型。

Meta 热爱开源，作为 PyTorch 的创造者，我们致力于回馈社区，以确保整个生态系统完全支持 Muse Spark Open。首先，我们集成了 Helion，这是我们激动人心的全新 PyTorch 原生高级 DSL，用于高性能且可移植的 ML 内核，以提供高性能运算。此外，TorchTitan 已经开箱即用地支持 Muse Spark，用于公开的监督微调和 RL，我们很期待看到 PyTorch 社区能把它推进到多远！

Muse Spark Open

Muse Spark Open 是一个针对编码优化的开放权重模型。它专门针对智能体编码工作流进行训练，提供更高的首次尝试准确率、可靠的工具调用，以及对开发者实际使用的代码仓库的深度代码库理解。你可以在我们之前的模型发布博客中阅读更多内容此处。

增强的编码能力

擅长代码生成、调试和代码库理解。基于真实开发者工作流训练——多文件重构、调试会话和长时间运行任务——因此模型能跟上你实际的工作方式。1M 上下文窗口意味着它可以处理你的整个项目，包括复杂依赖、遗留代码和数千个文件，而无需将任务拆分成多个部分

多模态理解

Muse Spark Open 具备音频和音视频感知能力——以及图像和文档理解。作为一个推理模型，它原生且可靠地处理图像、音频和文本输入。

智能体

Muse Spark Open 从一开始就作为智能体模型构建。它规划步骤、行动、观察，并在长时间跨度内自我纠正——而不仅仅是单次工具调用。它经过训练可以浏览网页（包括多模态浏览），并使用智能体框架来：为可分解的工作生成并协调子智能体；以及利用统一于桌面、移动端和浏览器的计算机使用能力。它基于长时间跨度、多站点任务进行训练，并生成单独的评论，让模型在行动前说明意图——因此你始终可以知道它在做什么以及为什么。

为什么使用 Helion 内核？

Helion 是一种 PyTorch 原生的内核编写语言，专为跨异构硬件平台编写高性能内核而设计。在开源生态系统的早期采用之后，Helion 于 2026 年 4 月成为 PyTorch Foundation 的一部分。Muse Spark Open 随附了 RoPE、RMSNorm、量化等操作的 Helion 实现，在 NVIDIA GB300 上，相比用硬件特定语言（例如 NVIDIA CUDA 和 CuTe DSL）编写的自定义内核，实现了 1.03 – 3.95 倍的加速。这些相同的内核可直接移植到 AMD，在 AMD Mi350 上取得了类似的性能提升，端到端吞吐量整体提升了 3%。

此外，我们还在 SGLang 中为 Muse Spark Open 推出了 Helion megakernels。这些内核完全用 Helion 编写，将多个操作融合到单个持久内核中，以改善低延迟推理，并且同样可以针对不同的形状和硬件进行自动调优。

用户可进一步针对更广泛的硬件平台和工作负载对 Helion 内核进行自动调优——包括不同的加速器架构（NVIDIA、AMD、Google TPU 等）、量化格式、张量形状和并行策略——而无需为每种配置维护单独的手工调优实现。这些能力共同使实现可移植性能变得更加容易，同时降低了开发和维护专用内核的成本。

使用 TorchTitan 进行后训练

TorchTitan 是一个 PyTorch 原生平台，专为生成式 AI 模型的快速实验和大规模训练而设计。从今天起，TorchTitan 新增了 Meta 的 Muse Spark Open 的模型定义，因此开发者可以根据自己的需求对其进行调优。

TorchTitan 开箱即用地原生支持多轮 SFT 和 LoRA，以及强化学习能力（TitanRL），允许用户对 Muse Spark Open 进行微调。

开始使用

我们分享这项工作，是因为我们希望每个人都能使用最好的 AI 模型。Muse Spark Open 随附了 SGLang 中自定义、可自动调优的 Helion GPU 内核，在 NVIDIA 和 AMD GPU 上实现了 1.03–3.95 倍的内核级加速，在 AMD MI350 上实现了 3% 的端到端加速。你还可以利用 PyTorch 的 TorchTitan 进一步调优模型，以满足你的用例需求。

立即开始构建：https://huggingface.co/meta-models/Muse-Spark-open-816B-A42B

Muse Spark 是我们模型系列中的全尺寸模型。我们之前发布了 Muse Glimmer，一个小型稠密模型。今天就开始使用它，借助 ExecuTorch。

文章 Muse Spark Is Now an Open-Weights Model 首次发表于 PyTorch。