跳到正文
热点事件持续更新

Artificial Analysis 上线 FrontierCode 1.1 编码评测榜

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Artificial Analysis 推出 FrontierCode 1.1 编码评测榜单。该评测由 Cognition 提供,考察模型完成编码任务后能否被真实开源仓库的维护者合并。 榜单主榜取该基准 150 道任务中的 100 道,用 Artificial Analysis 的 Stirrup 开源参考框架运行,以便在不同模型间做同条件比较;所有任务均不公开,以防污染。计分上,任何一项阻断性检查未通过即得零分,全部通过则得分在 70% 至 100% 之间。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月13日
  1. Artificial Analysis
    Artificial Analysis 上线 Cognition FrontierCode 1.1 编码评测榜单

    Artificial Analysis 推出 Cognition 的私有编码评测 FrontierCode 1.1 榜单,用 Stirrup 开源参考框架跑主榜 100 道任务,考察智能体改动真实开源仓库后能否通过单元测试与维护者合并标准。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。