CMU与微软发布CRBugBench代码审查基准

卡内基梅隆大学与微软发布论文和基准 CRBugBench，用于评测代码审查 Agent。该基准包含 1800 个代码审查任务，每个 pull request 都引入了一个经人工确认并修复的 bug，Agent 在沙箱中审查原始改动，由 AI 评判其靠前的发现是否命中该 bug。 结果显示，表现最好的 Agent claude-opus-5 在前 5 条评论中检出 71.9% 的已知 bug，而 5 个月前的 opus-4.6 为 47.7%。在 1 家公司的私有代码库上，由于 bug 更常需要项目上下文，性能最多下降 25.5%。该论文据此认为，这一水平仍不足以取消人工审查者。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。