ServiceNow 与 McGill 发布 AgentHorizon 判官基准
热点事件持续更新
ServiceNow 与 McGill 发布 AgentHorizon 判官基准
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
ServiceNow 与 McGill 发布 AgentHorizon 基准，用 1,373 个判题任务检验 LLM 判官能否识别长程计算机使用任务中的细微失误。这些任务来自人类屏幕录制，并通过指令互换生成近似任务。 据该基准，最佳判官 GPT-5.5 在 Codex 中于困难子集取得 80.9% 平衡准确率，而一律回答“是”的基线为 50%。Qwen 3.6 27B 直接读完整运行得 77.6%，改为智能体形式反而降至 70.4%。
AI 根据报道生成 · 1 小时前更新
最新进展10月14日 17:52
ServiceNow 与 McGill 发布 AgentHorizon 基准：LLM 判官难察长程计算机使用任务的细微失误报道时间线
沿着报道，了解事件的不同侧面。
10月14日
- Rohan PaulServiceNow 与 McGill 发布 AgentHorizon 基准：LLM 判官难察长程计算机使用任务的细微失误
ServiceNow 与 McGill 发布 AgentHorizon 基准，包含 1,373 个来自人类屏幕录制、指令互换的近似任务判题，用于检验 LLM 判官能否识别长程计算机使用任务中的细微失误。最佳判官 GPT-5.5 在 Codex 中于困难子集取得 80.9% 平衡准确率（随机猜为 50%），Qwen 3.6 27B 直接读完整运行得 77.6%，改为智能体形式反而降至 70.4%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。