苹果研究：LLM 做机器翻译质量标注，人类与模型都面临挑战

苹果研究团队评估了 LLM 在 MQM 和 ESA 两种机器翻译质量标注方案下与人类标注者的一致性，测试覆盖 70 个语言对的长上下文测试集及 WMT23、WMT25 公开数据。结果显示，LLM 在某些任务上与人类的一致性超过人类标注者之间的一致性，但在多数标注方案、语言对和领域下仍不可靠。人类在细粒度 MQM 标注和低资源语言对上尤为吃力，LLM 则难以处理细微错误、错误语言变体和错误跨度标注。