跳到正文
热点事件持续更新

ARC Prize 公布 Gemini 4 Argon 评测成绩

5 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

ARC Prize 公布了 Google Gemini 4 Argon 在 ARC-AGI 上的验证成绩:ARC-AGI-3 在提供商适配器测试框架下得分 97.5%(成本 $4.8K),标准测试框架下为 49.8%($5.8K);ARC-AGI-2 为 91.3%($0.32/任务),ARC-AGI-1 为 98.5%($0.16/任务)。ARC Prize 称,97.5% 在 ARC-AGI-3 上仅次于 GPT-6 Astra 的 99.9%。 标准测试框架允许模型在轮次之间携带笔记。ARC Prize 称,该框架下低推理档为 49.8%(55 个游戏中完成 42 个),中推理档为 46.3%(完成 46 个),高推理档仅完成 19 个游戏,因此未公布分数;成本按当前每百万 token 输入 $2、输出 $10 的入门价计算。 ARC Prize 还称,Argon 在 25 个 ARC-AGI-3 公开游戏中的动作数比人类基线少 62%,在 3 个游戏上追平或打破速通纪录,另有 6 个游戏差距在 10% 以内。Google 同步公开了完整测试结果、复现公开结果的路径和测试政策。François Chollet 评价其表现与 Astra 相近,认为 Google 重回前沿。

AI 根据报道生成 · 1 小时前更新

事件进展

2 个进展

  1. 10月16日 00:51 · 1 篇报道
    François Chollet 评价 Gemini 4 Argon 在 ARC-AGI-3 的表现与 Astra 相近
    Francois Chollet:François Chollet 评价 Gemini 4 Argon 在 ARC-AGI-3 的表现与 Astra 相近
  2. 10月16日 00:22 · 4 篇报道
    ARC Prize 公布 Gemini 4 Argon 排行榜成绩
    ARC Prize:Google Argon 在 ARC-AGI-3 得分 97.5%,仅次于 GPT-6 Astra

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. Francois Chollet
    François Chollet 评价 Gemini 4 Argon 在 ARC-AGI-3 的表现与 Astra 相近

    François Chollet 评价 Gemini 4 Argon 在 ARC-AGI-3 上的表现与 Astra 相近,认为 Google 重回前沿。

  2. ARC Prize
    Gemini 4 Argon 登 ARC Prize 排行榜

    Gemini 4 Argon 登上 ARC Prize 排行榜,Google 同步公开了完整测试结果、复现公开结果的路径以及测试政策。

  3. ARC Prize
    Google Argon 在 ARC-AGI-3 得分 97.5%,仅次于 GPT-6 Astra

    ARC Prize 公布 Google Argon 在 ARC-AGI-3 上得分 97.5%,仅次于 GPT-6 Astra 的 99.9%。与 Astra 一样,Argon 在 25 个 ARC-AGI-3 公开游戏中的动作数比人类基线少 62%,并在 3 个游戏上追平或打破速通纪录,另有 6 个游戏差距在 10% 以内。

  4. ARC Prize
    ARC Prize 公布 Gemini 4 Argon 的 ARC-AGI-3 标准 harness 测试结果

    ARC Prize 公布 Gemini 4 Argon 在 ARC-AGI-3 标准 harness 下的测试结果,该 harness 允许模型在轮次之间携带笔记。

  5. ARC Prize
    Gemini 4 Argon 在 ARC-AGI 评测公布:ARC-AGI-3 得分 97.5%

    ARC Prize 公布 Google Gemini 4 Argon 在 ARC-AGI 上的验证成绩:ARC-AGI-3 得分 97.5%(成本 $4.8K,提供商适配器测试框架),标准测试框架下为 49.8%($5.8K);ARC-AGI-2 为 91.3%,$0.32/任务;ARC-AGI-1 为 98.5%,$0.16/任务。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。

关联事件