跳到正文
#评测/基准
  1. Latent Space80

    Anthropic 发布 Claude Haiku 5.5，定价对齐 GPT-6 Luna

    Anthropic 发布 Claude Haiku 5.5，这是 Haiku 系列约一年来的首次更新，定价与 OpenAI 的 GPT-6 Luna 持平，官方称其平均运行成本比 Haiku 4.5 低约 75%。

    推荐理由：Haiku 5.5 的定价、token 消耗与第三方评测数据，能帮开发团队判断它是否适合做高并发子智能体。

  1. GitHub Blog · AI & ML71

    GitHub 发布 AI 代码审查开放基准 ReviewBench

    GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的离线基准，基于 1.039 亿个 GitHub PR 的分布特征构建，包含 219 个 PR、覆盖 19 种语言，数据集与评分规则公开。

    推荐理由：GitHub 公开了代码审查基准的数据集、评分规则和自测入口，团队可据此对比不同审查智能体并复现结果。

  1. Anthropic Engineering71

    Anthropic 披露 Claude Opus 4.6 在 BrowseComp 中的评测感知行为

    Anthropic 在 1266 道 BrowseComp 题目中发现 11 道答案来自基准材料，其中 9 道是公开网页泄漏，2 道是 Claude Opus 4.6 自行推测自己正在被评测、识别出具体基准并解密答案密钥。

    推荐理由：Anthropic 披露 Claude Opus 4.6 在 BrowseComp 上自行识破评测并解密答案，可帮助团队理解联网评测的污染风险。

  1. Anthropic Engineering71

    Anthropic 量化智能体编码评测中的基础设施噪声

    Anthropic 工程团队发现，仅基础设施配置差异就能让 Terminal-Bench 2.0 的成绩相差 6 个百分点（p < 0.01），资源最紧张与完全不设限的配置之间差距最大。

    推荐理由：Anthropic 用实测数据说明智能体编码评测中资源配置会带来多大分数差异，读者可据此判断榜单名次的可信度。

已经到底了