Apple 研究：双语预训练混合数据优于超参数搜索，低资源语言预训练新发现

Apple 研究团队在 150M 到 1.43B 四种模型规模、约 1000 次预训练实验中对比发现，混入高资源语言数据比超参数调优更有效，且优势随模型增大而扩大。混合数据带来的提升相当于 2–3 倍目标语言独有数据（验证损失）和 2–13 倍（下游任务准确率）。团队建议优先调整混合比例，并通过 μP 从小代理模型迁移超参数。