Anthropic Engineering·· 2026-02-05精选AI 评分71
Anthropic 量化智能体编码评测中的基础设施噪声
Quantifying infrastructure noise in agentic coding evals
AI 导读
Anthropic 工程团队发现，仅基础设施配置差异就能让 Terminal-Bench 2.0 的成绩相差 6 个百分点（p < 0.01），资源最紧张与完全不设限的配置之间差距最大。
推荐理由
Anthropic 用实测数据说明智能体编码评测中资源配置会带来多大分数差异，读者可据此判断榜单名次的可信度。
来源：Anthropic Engineering · anthropic.com