NVIDIA 论文提出评估 base 模型的新方法

NVIDIA 发表论文，提出一种评估 base 模型、预测其编码智能体后训练表现的方法：重放强智能体的成功运行轨迹，在每次编辑后重跑测试，找到第一个让测试通过的编辑，再检验 base 模型是否倾向该编辑、能否写出可通过的编辑。 该论文称，在智能体运行的每一步上给 base 模型打分，效果不如只在首个让测试通过的编辑处打分。据该论文，这一方法只需要基准的成功智能体运行记录及其测试。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。