Apple 研究：双语预训练混合数据优于超参数搜索

Apple 研究团队在 150M 到 1.43B 四种模型规模、约 1000 次预训练实验中对比发现，在低资源语言预训练中混入高资源语言数据，比调整超参数更有效，且这一优势随模型规模增大而扩大。 研究称，混合数据带来的提升相当于 2–3 倍目标语言独有数据（按验证损失衡量）和 2–13 倍（按下游任务准确率衡量）。团队据此建议优先调整混合比例，并通过 μP 从小代理模型迁移超参数。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。