ARC Prize 公布 Haiku 5.5 评测成绩
热点事件持续更新
ARC Prize 公布 Haiku 5.5 评测成绩
3 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
ARC Prize 公布了 Anthropic Claude Haiku 5.5 在 ARC-AGI (Verified) 上的评测成绩,并将其收录进排行榜。ARC-AGI-2 得分 61.3%,每任务成本 $0.085;ARC-AGI-1 得分 89.0%,每任务成本 $0.051。ARC-AGI-3 在 provider adapter harness 下得分 2.8%、成本 $437,在 standard harness 下得分 0.5%、成本 $388。 ARC Prize 称,ARC-AGI-2 榜单省略了 max reasoning 模式,原因是该模式仅完成 120 道任务中的 74 道,许多未完成的尝试在耗尽输出预算前未能返回可解析答案。ARC Prize 同时公开了完整结果、复现方式与测试政策。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 01:10
ARC Prize 说明 Claude Haiku 5.5 在 ARC-AGI-2 榜单省略 max reasoning 的原因事件进展
3 个进展
- 10月15日 01:10 · 1 篇报道ARC Prize 排行榜收录 Claude Haiku 5.5ARC Prize:ARC Prize 排行榜收录 Claude Haiku 5.5
- 10月15日 01:10 · 1 篇报道ARC Prize 说明 Haiku 5.5 省略 max reasoning 原因ARC Prize:ARC Prize 说明 Claude Haiku 5.5 在 ARC-AGI-2 榜单省略 max reasoning 的原因
- 10月15日 01:10 · 1 篇报道ARC Prize 公布 Haiku 5.5 的 ARC-AGI 评测成绩ARC Prize:Anthropic Haiku 5.5 在 ARC-AGI (Verified) 上的评测成绩公布
报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- ARC PrizeARC Prize 说明 Claude Haiku 5.5 在 ARC-AGI-2 榜单省略 max reasoning 的原因
ARC Prize 解释 Claude Haiku 5.5 在 ARC-AGI-2 榜单中省略 max reasoning 的原因:该模式仅完成 120 道任务中的 74 道,许多未完成的尝试在耗尽输出预算前未能返回可解析答案。完整结果已公布。
- ARC PrizeARC Prize 排行榜收录 Claude Haiku 5.5
ARC Prize 排行榜已收录 Claude Haiku 5.5,并公开了该模型的完整测试结果。榜单同时提供公开结果的复现方式与测试政策说明。
- ARC PrizeAnthropic Haiku 5.5 在 ARC-AGI (Verified) 上的评测成绩公布
Anthropic Haiku 5.5 在 ARC-AGI (Verified) 上的评测成绩公布:ARC-AGI-2 得分 61.3%,每任务成本 $0.085;ARC-AGI-1 得分 89.0%,每任务成本 $0.051。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。