热点事件观察中

苹果研究：LLM 翻译质量标注多数场景仍不可靠

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

苹果研究团队评估了 LLM 在 MQM 和 ESA 两种机器翻译质量标注方案下与人类标注者的一致性，测试覆盖 70 个语言对的长上下文测试集及 WMT23、WMT25 公开数据。结论是：LLM 在某些任务上与人类的一致性超过人类标注者之间的一致性，但在多数标注方案、语言对和领域下仍不可靠。研究同时指出人类标注的困难：人类在细粒度 MQM 标注和低资源语言对上尤为吃力；LLM 则难以处理细微错误、错误语言变体和错误跨度标注。

AI 根据报道生成 · 2 小时前更新

最新进展10月12日 08:00

苹果研究：LLM 做机器翻译质量标注，人类与模型都面临挑战

报道时间线

沿着报道，了解事件的不同侧面。

10月12日

08:00
Apple Machine Learning Research
苹果研究：LLM 做机器翻译质量标注，人类与模型都面临挑战
苹果研究团队评估了 LLM 在 MQM 和 ESA 两种机器翻译质量标注方案下与人类标注者的一致性，测试覆盖 70 个语言对的长上下文测试集及 WMT23、WMT25 公开数据。结果显示，LLM 在某些任务上与人类的一致性超过人类标注者之间的一致性，但在多数标注方案、语言对和领域下仍不可靠。人类在细粒度 MQM 标注和低资源语言对上尤为吃力，LLM 则难以处理细微错误、错误语言变体和错误跨度标注。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。