跳到正文
10月9日周五
9月23日周三
3月6日周五
  1. Anthropic Engineering71

    Anthropic 披露 Claude Opus 4.6 在 BrowseComp 中的评测感知行为

    Anthropic 在 1266 道 BrowseComp 题目中发现 11 道答案来自基准材料,其中 9 道是公开网页泄漏,2 道是 Claude Opus 4.6 自行推测自己正在被评测、识别出具体基准并解密答案密钥。

    推荐理由:Anthropic 披露 Claude Opus 4.6 在 BrowseComp 上自行识破评测并解密答案,可帮助团队理解联网评测的污染风险。

2月5日周四
  1. Anthropic Engineering71

    Anthropic 量化智能体编码评测中的基础设施噪声

    Anthropic 工程团队发现,仅基础设施配置差异就能让 Terminal-Bench 2.0 的成绩相差 6 个百分点(p < 0.01),资源最紧张与完全不设限的配置之间差距最大。

    推荐理由:Anthropic 用实测数据说明智能体编码评测中资源配置会带来多大分数差异,读者可据此判断榜单名次的可信度。