ragtruth-translated-hallucinations

该数据集是一个多语言自然语言处理数据集，覆盖13种语言：白俄罗斯语(be)、保加利亚语(bg)、波斯尼亚语(bs)、加泰罗尼亚语(ca)、捷克语(cs)、丹麦语(da)、爱沙尼亚语(et)、芬兰语(fi)、法罗语(fo)、法语(fr)、克罗地亚语(hr)、荷兰语(nl)和阿尔巴尼亚语(sq)。每个语言配置独立，仅包含训练集，样本量在17,500至17,800条之间。每条样本包括以下字段：提示文本（字符串类型）、答案文本（字符串类型）、标签列表（字典列表，每个字典包含起始位置、结束位置和标签）、数据分割标识、任务类型标识、来源数据集标识和语言标识。从数据结构推断，适用于文本序列标注（如命名实体识别、词性标注）或问答相关机器学习任务，旨在支持多语言NLP模型的训练与评估。This dataset is a multilingual natural language processing dataset covering 13 languages: Belarusian (be), Bulgarian (bg), Bosnian (bs), Catalan (ca), Czech (cs), Danish (da), Estonian (et), Finnish (fi), Faroese (fo), French (fr), Croatian (hr), Dutch (nl), and Albanian (sq). Each language configuration is independent and includes only the training set, with sample sizes ranging approximately from 17,500 to 17,800 entries. Each sample contains the following fields: prompt text (string type), answer text (string type), a list of labels (a list of dictionaries, each containing start position, end position, and label), data split identifier, task type identifier, source dataset identifier, and language identifier. Based on the data structure, it is suitable for text sequence labeling tasks (such as named entity recognition, part-of-speech tagging) or question-answering related machine learning tasks, aiming to support the training and evaluation of multilingual NLP models.

原始信息汇总

数据集名称

ragtruth-translated-hallucinations

数据集简介

该数据集是 RAGTruth 数据集的多语言翻译版本，专注于检索增强生成（RAG）场景中的幻觉检测任务。数据集中每个样本包含一个提示（prompt）和对应的模型回答（answer），并对回答中的幻觉片段进行了细粒度的标注。

语言覆盖

数据集包含以下 16 种语言配置（config_name）：

• 白俄罗斯语（be）
• 保加利亚语（bg）
• 波斯尼亚语（bs）
• 加泰罗尼亚语（ca）
• 捷克语（cs）
• 丹麦语（da）
• 德语（de）
• 希腊语（el）
• 爱沙尼亚语（et）
• 芬兰语（fi）
• 法罗语（fo）
• 法语（fr）
• 克罗地亚语（hr）
• 匈牙利语（hu）
• 荷兰语（nl）
• 阿尔巴尼亚语（sq）

数据规模

每种语言配置包含约 17,551 至 17,789 条训练样本，总样本数超过 28 万条。以下是各语言的具体样本数量：

• be: 17,771
• bg: 17,775
• bs: 17,787
• ca: 17,789
• cs: 17,766
• da: 17,788
• de: 17,776
• el: 17,771
• et: 17,779
• fi: 17,763
• fo: 17,551
• fr: 17,782
• hr: 17,787
• hu: 17,784
• nl: 17,772
• sq: 17,786

数据特征

每条数据包含以下字段：

• prompt: 字符串，表示用户输入的提示。
• answer: 字符串，表示模型生成的回答。
• labels: 一个列表，包含对回答中幻觉片段的标注，每个标注包含：
  • start: 整数，幻觉片段在回答中的起始位置。
  • end: 整数，幻觉片段在回答中的结束位置。
  • label: 字符串，幻觉类型的标签。
• split: 字符串，数据划分（当前仅包含 train 集）。
• task_type: 字符串，任务类型。
• dataset: 字符串，来源数据集名称。
• language: 字符串，语言代码。

数据划分

所有语言配置均仅包含训练集（train），无验证集或测试集。

数据文件

每种语言的数据文件存储在对应语言代码的目录下，文件名为 train-*，例如 be/train-*。数据格式为 Parquet 文件。

搜集汇总

数据集介绍

构建方式

在检索增强生成（RAG）领域，幻觉检测是确保生成内容准确性的关键挑战。ragtruth-translated-hallucinations数据集正是为了应对这一挑战而构建的。该数据集基于原始Ragtruth数据集，通过机器翻译技术将问答对扩展至白俄罗斯语、保加利亚语、波斯尼亚语等16种低资源语言。每个样本包含用户提示（prompt）、模型回答（answer）以及细粒度的幻觉标注（labels），标注信息以字符级别的起始与结束位置（start、end）标识幻觉出现的文本区间，并赋予具体的标签类别。数据集统一划分为训练集，每种语言均包含约17,000至18,000个样本，旨在支持跨语言的幻觉检测研究。

特点

该数据集最显著的特点在于其多语言覆盖能力，涵盖了16种在自然语言处理研究中相对匮乏的语言，填补了低资源语言在RAG幻觉检测领域的空白。每个样本均提供字符级别的精确标注，使得模型能够定位到具体的幻觉片段而非仅仅判断回答整体正确性。数据集结构统一，包含提示、回答、连续标注、任务类型及来源数据集等字段，便于研究者进行多任务学习与跨语言分析。样本量充足且分布均衡，每种语言的训练样本数量相近，为公平对比不同语言间的模型性能提供了坚实基础。

使用方法

使用者可通过HuggingFace的datasets库便捷加载，按配置名称（如be、bg等）指定具体语言子集。该数据集主要适用于训练和评估跨语言幻觉检测模型，研究者可将提示与回答作为输入，以字符级别的标注为目标进行序列标注任务。由于标注信息以列表形式存储起始与结束位置，建议使用基于token分类的模型架构，并根据各语言特点进行分词对齐。此外，数据集中的任务类型与来源字段可辅助进行细粒度的错误分析或领域适应研究。推荐在加载后结合各语言训练集进行多语言联合训练或零样本迁移实验。

背景与挑战

背景概述

RAGTruth-Translated-Hallucinations数据集诞生于检索增强生成（RAG）技术快速发展的时代，由国际研究团队联合创建，旨在系统性地解决大语言模型在RAG场景下生成的幻觉现象。该数据集通过收集并翻译16种低资源与高资源语言（如白俄罗斯语、保加利亚语、法语、德语等）的问答对，聚焦于标注模型回答中与检索文档内容不符的片段，为评估和缓解多语言RAG系统中的事实错误提供了关键基准。作为RAGTruth系列的重要扩展，这一数据集填补了现有幻觉检测资源对多语言支持不足的空白，显著推动了跨语言可信AI系统的研究进展，尤其在信息检索与自然语言生成的交叉领域具有广泛影响力。

当前挑战

该数据集所面对的领域核心挑战在于大语言模型在RAG中常产生与检索证据矛盾的内容（即事实性幻觉），这一问题严重削弱了AI系统的可靠性。此外，构建过程包含多重挑战：首先，需要为16种语言统一构建高质量的翻译流程，确保专业术语与语境一致性；其次，幻觉片段的精准标注要求标注者同时掌握源语言语法与领域知识，跨语言团队协作难度极高；最后，不同语言的数据规模与问答对分布需要平衡，以降低模型在低资源语言上的过拟合风险，这些技术与人力的复杂交织构成了该数据集构建中的独特障碍。

常用场景

经典使用场景

在检索增强生成（RAG）系统的研究与应用中，准确识别模型输出中的幻觉内容是一项关键挑战。ragtruth-translated-hallucinations数据集专为评估和训练多语言幻觉检测模型而设计，其核心使用场景在于为研究者和工程师提供一个覆盖多种语言的细粒度标注资源。通过该数据集，模型可以学习从生成的回答中定位那些与给定上下文（prompt）不一致、虚构或错误的具体文本片段，从而推动RAG系统在开放域问答、对话生成等任务中的可信度评测与优化。

实际应用

实际应用中，该数据集可显著提升商业级RAG问答系统和智能客服的可靠性与安全性。通过将其作为微调数据或评估基准，企业能够训练出精准识别并过滤虚假信息的幻觉检测模块，避免模型在金融、医疗、法律等高风险领域输出误导性内容。此外，多语言版本支持跨国业务场景，帮助全球部署的产品有效规避因语言差异导致的潜在信息失真，降低人工审核成本，增强用户对AI驱动信息获取的信任。

衍生相关工作

ragtruth-translated-hallucinations衍生了一系列针对多语言幻觉检测的经典研究工作。研究者以此为基础，开发了基于跨语言预训练模型的上下文感知检测器，探索了对比学习与对抗训练在减轻幻觉上的效果，并提出了结合语义相似度与逻辑一致性的双重验证框架。该数据集还催生了面向低资源语言的迁移学习范式，以及将边界检测与生成质量评估相融合的多任务学习方案，极大丰富了RAG稳定性增强的理论工具箱。