Meta 在 Hugging Face 开源 816B 参数模型 Muse Spark Open 权重

Meta 在 Huggingface 上发布了 Muse Spark Open 的权重，这是一个拥有 8160 亿参数的模型，专为编程和智能体工作打造。

开源版本与 Muse Spark 1.3 共享同一基础模型，并额外进行了安全后训练，以抵御其作为无系统护栏的独立模型被滥用，这逆转了 Meta 在 4 月推出的首个专有、闭源权重前沿模型策略。

其 62 层中的每一层都包含 256 个专家网络，并将每个 token 路由至其中 8 个，因此部署需要 8160 亿参数模型的内存，但运行速度却相当于 420 亿参数的模型。

这样的存储开销解释了与 Apple 的合作，因为 M5 Ultra 可提供 1.2 TB/s 的统一内存带宽，而一台 Mac Studio 最高可配备 512GB。

在 512GB M3 Ultra 上测试的 3 比特量化版本占用约 344 GB，在短提示下生成速度约为 21 tok/s。