MAPS数据集

MAPS数据集由莫纳什大学的研究团队创建，旨在评估机器翻译模型在翻译文化元素（如谚语）时的表现。该数据集包含来自英语、德语、孟加拉语、印尼语和汉语的1773条谚语，每条谚语都附有解释、机器翻译和标签，用于区分谚语的比喻意义和字面意义。数据集的创建过程包括从多语言谚语库中扩展数据，并通过人工注释确保翻译的准确性和文化适应性。该数据集的应用领域主要集中在机器翻译研究，特别是跨文化元素的翻译，旨在解决现有翻译模型在处理文化特定表达时的不足。

The MAPS dataset was developed by a research team at Monash University, with the objective of evaluating the performance of machine translation models when translating cultural elements such as proverbs. It comprises 1,773 proverbs from English, German, Bengali, Indonesian and Mandarin Chinese, where each proverb is accompanied by an explanation, a machine translation and labels for distinguishing between its figurative and literal meanings. The dataset construction process involves expanding data from multilingual proverb repositories and ensuring translation accuracy and cultural appropriateness via manual annotation. Its primary application domains focus on machine translation research, particularly the translation of cross-cultural elements, with the goal of addressing the limitations of current translation models when dealing with culture-specific expressions.

搜集汇总

数据集介绍

构建方式

MAPS数据集的构建旨在探究当前机器翻译模型在处理文化元素，尤其是谚语翻译方面的能力。为了实现这一目标，研究团队首先扩展了现有的多文化谚语和俗语数据集，创建了以英语为中心的谚语翻译数据集。该数据集包括来自不同地理区域的五种语言：英语、德语、孟加拉语、印度尼西亚语和普通话。此外，研究团队还通过从电影字幕中提取谚语用法，进一步挖掘了会话中的谚语数据集。为了保证数据集的质量，研究人员招募了精通英语和中文、印尼语或孟加拉语的标注员，对机器翻译的谚语进行验证和后编辑。

特点

MAPS数据集的特点在于其多样性，涵盖了来自不同文化背景的谚语翻译。该数据集不仅包括独立谚语的翻译，还包括会话中的谚语用法。这使得研究人员能够评估机器翻译模型在处理文化特定术语、释义和考虑目标语言中广泛接受的谚语版本方面的能力。此外，数据集的构建过程严格，包括数据清洗、语义过滤和人工评估等多个步骤，确保了谚语翻译的准确性和文化适应性。

使用方法

MAPS数据集的使用方法多样，可以用于评估当前机器翻译模型在谚语翻译方面的能力。研究人员可以通过在数据集上运行不同的机器翻译模型，并使用诸如BLEU、CHRF++和COMET等自动评估指标来衡量模型的性能。此外，数据集还可以用于研究对话上下文和提示在谚语翻译中的作用。研究人员可以设计不同的提示模板，如零样本、单样本、谚语解释、通过对话进行情境化和通过连接进行情境化，以观察这些提示对模型翻译性能的影响。

背景与挑战

背景概述

在机器翻译领域，尽管机器翻译模型在处理语言之间的直接翻译方面取得了显著的进展，但对于翻译文化元素，如成语、谚语和口语表达等，仍存在很大的挑战。这些元素通常深深植根于特定的文化背景中，其翻译需要更精细的文化适应和语境理解。MAPS数据集由Minghan Wang等人创建，旨在研究最先进的神经机器翻译（NMT）和大型语言模型（LLM）在翻译谚语方面的能力。该数据集包括四个语言对的独立谚语和对话中的谚语翻译，并旨在促进对语言翻译中文化元素处理的研究。MAPS数据集的创建标志着对机器翻译模型在处理文化元素方面的研究迈出了重要的一步，并为未来评估和改进机器翻译模型提供了宝贵的数据资源。

当前挑战

MAPS数据集面临的主要挑战包括：1)谚语的翻译，这需要模型能够理解并正确传达源语言中谚语的深层文化含义；2)构建过程中所遇到的挑战，如数据收集和清洗、文化适应的评估等。此外，现有的自动评估指标，如BLEU、CHRF++和COMET，在评估谚语翻译的质量方面存在不足，需要开发更具文化意识的新评估指标。

常用场景

经典使用场景

MAPS数据集主要用于评估神经机器翻译（NMT）和大型语言模型（LLM）在翻译成语、谚语和俗语等文化元素方面的能力。该数据集包含了四种语言对的独立谚语和对话中的谚语翻译。实验表明，在具有相似文化背景的语言之间，研究模型能够实现良好的翻译，并且LLM通常比NMT模型在谚语翻译方面表现更好。此外，研究发现，当前自动评估指标如BLEU、CHRF++和COMET不足以可靠地评估谚语翻译的质量，强调了需要更多文化意识评估指标的需求。

衍生相关工作

MAPS数据集衍生了多个相关的工作，包括开发更准确的文化意识评估指标和改进MT模型以更好地翻译文化元素。此外，该数据集还促进了LLM在MT领域的应用，并揭示了当前自动评估指标在评估谚语翻译质量方面的局限性。这些衍生工作有助于推动MT领域的发展，并提高MT模型在翻译文化元素方面的性能。

数据集最近研究

最新研究方向

针对机器翻译（MT）中文化元素的翻译，特别是成语、谚语和口语表达的研究仍处于探索阶段。本研究通过构建一个包含四个语言对的独立谚语和对话中谚语的翻译数据集，探讨了最先进的神经网络机器翻译（NMT）和大型语言模型（LLM）在翻译谚语方面的能力。实验结果表明，研究模型在具有相似文化背景的语言之间可以实现良好的翻译，并且LLM通常比NMT模型在谚语翻译方面表现更好。此外，我们发现现有的自动评估指标如BLEU、CHRF++和COMET在可靠地评估谚语翻译质量方面存在不足，突出了需要更具文化意识的评估指标。

相关研究论文

• Proverbs Run in Pairs: Evaluating Proverb Translation Capability of Large Language Model

  莫纳什大学 · 2025年