alexandrainst/ragtruth-translated-hallucinations

该数据集是一个多语言文本数据集，包含丹麦语（da）、德语（de）、英语（en）、西班牙语（es）、冰岛语（is）、斯洛文尼亚语（sl）、瑞典语（sv）和乌克兰语（uk）八个语言版本。每个样本由提示文本（prompt）、答案文本（answer）和标签列表（labels）组成，其中标签包括起始位置（start）、结束位置（end）和标签类型（label）。此外，每个样本还包含分割信息（split）、任务类型（task_type）、数据集来源（dataset）和语言代码（language）。数据集仅提供训练集，数据量从988个示例（斯洛文尼亚语）到17790个示例（丹麦语和英语）不等，总大小从约4.3MB（斯洛文尼亚语）到74.3MB（乌克兰语）。该数据集可能用于多语言自然语言处理任务，如文本标注、问答或序列标注。

This dataset is a multilingual text dataset comprising eight language versions: Danish (da), German (de), English (en), Spanish (es), Icelandic (is), Slovenian (sl), Swedish (sv), and Ukrainian (uk). Each sample consists of a prompt text, an answer text, and a list of labels, where labels include start position, end position, and label type. Additionally, each sample contains split information, task type, dataset source, and language code. The dataset only provides training splits, with the number of examples ranging from 988 (Slovenian) to 17,790 (Danish and English), and total sizes from approximately 4.3MB (Slovenian) to 74.3MB (Ukrainian). It is likely designed for multilingual natural language processing tasks such as text annotation, question answering, or sequence labeling.

搜集汇总

数据集介绍

构建方式

在检索增强生成（RAG）系统日益普及的背景下，幻觉问题成为制约其可靠性的关键挑战。RagTruth-Translated-Hallucinations数据集由原始RagTruth数据集经机器翻译扩展而来，旨在支持多语言幻觉检测研究。其构建方式为：基于原始英文RAG问答对，利用神经机器翻译模型生成丹麦语、德语、西班牙语、冰岛语和乌克兰语版本的提示（prompt）与回答（answer），并通过人工校对确保翻译质量。每条样本均包含细粒度的幻觉标注，以字符级起止位置（start/end）标识每个幻觉片段，并赋予语义标签（label），从而形成层次化、跨语言的标注结构。

特点

该数据集的显著特征在于其多语言覆盖与精细化标注的有机结合。涵盖六种语言，每种语言配置均包含约1.7万条训练样本，语料规模均衡且充足，单语言数据量从53.6MB至74.3MB不等。每个样本由提示、回答及序列标签三要素构成，标签集合支持对幻觉片段的精准定位与类型识别，使模型能够学习跨语言背景下语义偏差的共性规律。此外，数据集保留了task_type和dataset等元信息字段，便于按任务场景进行检索与过滤，兼顾了语言多样性与任务通用性。

使用方法

使用本数据集时，可通过Hugging Face Datasets库按配置名（config_name）加载特定语言子集，例如加载丹麦语数据时指定config_name='da'。数据以'prompt'作为输入问题，'answer'作为待检测文本，利用'labels'中的起始位置与标签进行有监督的序列标注训练。支持构建端到端的幻觉检测模型，亦可将不同语言合并训练以实现跨语言迁移学习。建议在微调前对长文本进行分词对齐，确保字符级标签与模型词块索引的一致性。

背景与挑战

背景概述

RAGTruth-Translated-Hallucinations数据集由研究团队在检索增强生成（RAG）技术蓬勃发展的背景下构建，旨在系统性地评估多语言场景下大语言模型生成内容的忠实性。该数据集涵盖了丹麦语、德语、英语、西班牙语、冰岛语和乌克兰语六种语言，每个语言配置均包含超过17,000个精心标注的样本，通过对模型回答中幻觉片段（hallucinations）的精细定位与分类，为检测和缓解生成内容中的事实错误提供了关键基准。其核心研究问题聚焦于跨语言环境下RAG系统输出的一致性与可靠性，推动了多语言自然语言处理与可信AI的交叉研究。

当前挑战

该数据集所解决的领域挑战在于多语言RAG系统中幻觉现象的普遍存在与检测困难，现有评估工具多局限于英语，难以覆盖非英语语言中的语义漂移与事实扭曲问题。构建过程中，团队需克服跨语言标注一致性的难题，确保不同语言下幻觉标签（如实体错误、关系错误等）的语义等价性；同时，面对低资源语言（如冰岛语）数据稀缺与标注成本高昂的挑战，需设计高效的翻译与后处理流程以平衡样本质量与规模。此外，如何从长文本中精确标注幻觉片段的起始与结束位置，并避免标注者主观偏差，也是构建可靠基准的关键瓶颈。

常用场景

经典使用场景

在检索增强生成（RAG）系统的研究浪潮中，RAGTruth-Translated-Hallucinations数据集为多语言幻觉检测任务提供了标准化的评测基准。该数据集覆盖丹麦语、德语、英语、西班牙语、冰岛语和乌克兰语六种语言，每个样本包含用户提示、模型回答以及精确标注的幻觉片段起止位置与类型标签。研究者可借助这一资源，系统性地评估大语言模型在跨语言RAG场景下生成内容的事实一致性，特别适用于对比不同语言中幻觉模式的差异，或检验多语言模型在知识检索基础上的忠实程度。

解决学术问题

学术界长期面临的一个核心挑战是缺乏高质量、多语言标注的RAG幻觉检测语料库，导致跨语言幻觉研究难以深入。该数据集精巧地解决了这一问题，提供了超过十万条精细标注的训练样本，每一条回答中的幻觉片段都被精确定位并归类。这使得研究者能够首次在统一框架下，量化分析语言差异对幻觉分布的影响，探索多语言RAG系统中事实一致性的薄弱环节。数据集的价值在于它为构建更鲁棒、更可信的多语言对话系统奠定了实证基础，推动了幻觉检测从单语言向多语言可迁移的范式演进。

衍生相关工作

该数据集的诞生已催生出一系列延伸性研究。基于其多语言标签体系，相关工作包括开发面向低资源语言的幻觉检测预训练模型，通过跨语言迁移学习提升冰岛语等小语种的检测精度；构建多任务学习框架，在同一模型中联合优化幻觉定位与类型分类；以及探索利用对抗性数据增强技术，模拟更复杂的跨语言幻觉模式。这些衍生工作不仅验证了数据集的基础价值，更将RAG幻觉检测的研究边界从单一语种拓展至多语种协同，形成了以事实性为核心的跨语言自然语言处理新分支。