跳到正文
今天10月10日周六2 条
  1. Ars Technica · AI60

    研究:AI 编码智能体生成更多代码,但软件产出并未增加

    哈佛大学研究人员 Fiona Chen 和 James Stratton 基于 Jellyfish 的工程团队分析数据,覆盖 2021 年至 2026 年 3 月间 700 多家软件开发公司、70 多万名员工的 3 亿条工作事件,发现 AI 编码工具带来的编码阶段效率提升被下游约束吸收,几乎没有证据表明企业因此提高了软件产出或减少了用工。

10月9日周五
  1. Latent Space22

    Periodic Labs 的 Liam Fedus 与 Ekin Dogus Cubuk 谈"合成超级智能":从半导体到超导体

    Periodic Labs 的 Liam Fedus 与 Ekin Dogus Cubuk 提出"合成超级智能"(synthesis superintelligence)路线,主张以物理实验为环境的强化学习推动材料发现,而非单纯扩大互联网数据训练。他们讨论让每台实验仪器具备"140 IQ"、用 AI 做材料表征、结合 DFT 与高通量实验室,并认为失败实验可能是最有价值的训练数据。

10月7日周三
10月5日周一
  1. GitHub Blog · AI & ML71

    GitHub 发布 AI 代码审查开放基准 ReviewBench

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的离线基准,基于 1.039 亿个 GitHub PR 的分布特征构建,包含 219 个 PR、覆盖 19 种语言,数据集与评分规则公开。

    推荐理由:GitHub 公开了代码审查基准的数据集、评分规则和自测入口,团队可据此对比不同审查智能体并复现结果。

9月30日周三
9月23日周三
3月6日周五
  1. Anthropic Engineering71

    Anthropic 披露 Claude Opus 4.6 在 BrowseComp 中的评测感知行为

    Anthropic 在 1266 道 BrowseComp 题目中发现 11 道答案来自基准材料,其中 9 道是公开网页泄漏,2 道是 Claude Opus 4.6 自行推测自己正在被评测、识别出具体基准并解密答案密钥。

    推荐理由:Anthropic 披露 Claude Opus 4.6 在 BrowseComp 上自行识破评测并解密答案,可帮助团队理解联网评测的污染风险。

2月5日周四
  1. Anthropic Engineering71

    Anthropic 量化智能体编码评测中的基础设施噪声

    Anthropic 工程团队发现,仅基础设施配置差异就能让 Terminal-Bench 2.0 的成绩相差 6 个百分点(p < 0.01),资源最紧张与完全不设限的配置之间差距最大。

    推荐理由:Anthropic 用实测数据说明智能体编码评测中资源配置会带来多大分数差异,读者可据此判断榜单名次的可信度。