跳到正文
热点事件持续更新

ARC Prize 公布 Haiku 5.5 评测成绩

3 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

ARC Prize 公布了 Anthropic Claude Haiku 5.5 在 ARC-AGI (Verified) 上的评测成绩,并将其收录进排行榜。ARC-AGI-2 得分 61.3%,每任务成本 $0.085;ARC-AGI-1 得分 89.0%,每任务成本 $0.051。ARC-AGI-3 在 provider adapter harness 下得分 2.8%、成本 $437,在 standard harness 下得分 0.5%、成本 $388。 ARC Prize 称,ARC-AGI-2 榜单省略了 max reasoning 模式,原因是该模式仅完成 120 道任务中的 74 道,许多未完成的尝试在耗尽输出预算前未能返回可解析答案。ARC Prize 同时公开了完整结果、复现方式与测试政策。

AI 根据报道生成 · 2 小时前更新

事件进展

3 个进展

  1. 10月15日 01:10 · 1 篇报道
    ARC Prize 排行榜收录 Claude Haiku 5.5
    ARC Prize:ARC Prize 排行榜收录 Claude Haiku 5.5
  2. 10月15日 01:10 · 1 篇报道
    ARC Prize 说明 Haiku 5.5 省略 max reasoning 原因
    ARC Prize:ARC Prize 说明 Claude Haiku 5.5 在 ARC-AGI-2 榜单省略 max reasoning 的原因
  3. 10月15日 01:10 · 1 篇报道
    ARC Prize 公布 Haiku 5.5 的 ARC-AGI 评测成绩
    ARC Prize:Anthropic Haiku 5.5 在 ARC-AGI (Verified) 上的评测成绩公布

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. ARC Prize
    ARC Prize 说明 Claude Haiku 5.5 在 ARC-AGI-2 榜单省略 max reasoning 的原因

    ARC Prize 解释 Claude Haiku 5.5 在 ARC-AGI-2 榜单中省略 max reasoning 的原因:该模式仅完成 120 道任务中的 74 道,许多未完成的尝试在耗尽输出预算前未能返回可解析答案。完整结果已公布。

  2. ARC Prize
    ARC Prize 排行榜收录 Claude Haiku 5.5

    ARC Prize 排行榜已收录 Claude Haiku 5.5,并公开了该模型的完整测试结果。榜单同时提供公开结果的复现方式与测试政策说明。

  3. ARC Prize
    Anthropic Haiku 5.5 在 ARC-AGI (Verified) 上的评测成绩公布

    Anthropic Haiku 5.5 在 ARC-AGI (Verified) 上的评测成绩公布:ARC-AGI-2 得分 61.3%,每任务成本 $0.085;ARC-AGI-1 得分 89.0%,每任务成本 $0.051。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。