festvox/cmu_hinglish_dog

这是一个包含Hinglish（印地语-英语混合）和英语版本文本对话的数据集，可用于两种语言之间的翻译。数据集由CMU的Alan Black教授团队提供。数据集的结构包括多个字段，如日期、文档索引、翻译文本、用户ID、时间戳、评分、状态等。数据集分为训练集、验证集和测试集，分别包含8060、942和960个样本。数据集的创建和注释过程未详细说明，但提到了其源自CMU DoG数据集。

This is a dataset comprising Hinglish (Hindi-English mixed) and English textual dialogues, designed for cross-lingual translation between the two languages. It is provided by the team led by Professor Alan Black from Carnegie Mellon University (CMU). The dataset includes multiple fields such as date, document index, translated text, user ID, timestamp, rating, status, and others. It is split into training, validation and test subsets, with 8060, 942 and 960 samples respectively. The specific creation and annotation procedures of the dataset are not elaborated upon, though it is noted that the dataset originates from the CMU DoG dataset.

原始信息汇总

数据集卡片 for CMU Document Grounded Conversations

数据集描述

数据集摘要

这是一个包含Hinglish（印地语-英语混合）和对应英语版本的文本对话集合。可用于两种语言之间的翻译。该数据集由CMU的Prof. Alan Black团队提供。

支持的任务和排行榜

• abstractive-mt

语言

• 英语 (en)
• Hinglish (hi_en)

数据集结构

数据实例

一个典型的数据点包含Hinglish文本（键为hi_en）及其英语版本（键为en）。docIdx包含说话时维基文档的当前部分索引，每个文档共有4个部分。uid包含此话语的用户ID。

示例来自CMU_Hinglish_DoG训练集： json { "rating": 2, "wikiDocumentIdx": 13, "utcTimestamp": "2018-03-16T17:48:22.037Z", "uid": "user2", "date": "2018-03-16T17:47:21.964Z", "uid2response": {"response": [1, 2, 3, 5], "type": "finish"}, "uid1LogInTime": "2018-03-16T17:47:21.964Z", "user2_id": "USR664", "uid1LogOutTime": "2018-03-16T18:02:29.072Z", "whoSawDoc": ["user1", "user2"], "status": 1, "docIdx": 0, "uid1response": {"response": [1, 2, 3, 4], "type": "finish"}, "translation": {"en": "The director is Zack Snyder, 27% Rotten Tomatoes, 4.9/10.", "hi_en": "Zack Snyder director hai, 27% Rotten Tomatoes, 4.9/10."} }

数据字段

• date: 文件创建时间，字符串类型
• docIdx: 说话时维基文档的当前部分索引，每个文档共有4个部分
• translation:
  • hi_en: Hinglish文本
  • en: 英语文本
• uid: 此话语的用户ID
• utcTimestamp: 此话语的服务器UTC时间戳，字符串类型
• rating: 1到3之间的数字，数字越大表示对话质量越好
• status: 状态，整数类型
• uid1LogInTime: 用户1的可选登录时间，字符串类型
• uid1LogOutTime: 用户1的可选登出时间，字符串类型
• uid1response: 包含用户完成对话后的状态和响应的JSON对象，字段包括：
  • type: 应为[finish, abandon, abandonWithouAnsweringFeedbackQuestion]之一。finish表示用户成功完成对话，abandon表示用户中途放弃对话但进入反馈页面，abandonWithouAnsweringFeedbackQuestion表示用户直接断开连接或关闭网页而未提供反馈。
  • response: 对对话后问题的回答，用户可以选择多个选项。
• uid2response: 与uid1response相同
• user2_id: 用户2的生成用户ID
• whoSawDoc: 应为[user1]、[user2]或[user1, user2]之一，指示哪些用户阅读了文档
• wikiDocumentId: 维基文档的索引

数据分割

名称	训练集	验证集	测试集
CMU DOG	8060	942	960

数据集创建

数据集来源

Hinglish数据集源自原始的CMU DoG（Document Grounded Conversations Dataset）。更多信息可以在repo中找到。

使用数据的注意事项

数据集的社会影响

该数据集旨在帮助开发更好的问答系统。

附加信息

数据集策展人

该数据集最初由CMU的Prof Alan W Black团队创建。

许可信息

• cc-by-sa-3.0
• gfdl

引用信息

bibtex @inproceedings{ cmu_dog_emnlp18, title={A Dataset for Document Grounded Conversations}, author={Zhou, Kangyan and Prabhumoye, Shrimai and Black, Alan W}, year={2018}, booktitle={Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing} }

贡献

感谢@Ishan-Kumar2添加此数据集。

搜集汇总

数据集介绍

构建方式

在跨语言与语码混合研究的交汇处，CMU Hinglish DoG数据集应运而生。该数据集由卡内基梅隆大学Alan Black教授团队构建，其核心源自原始的CMU Document Grounded Conversations（DoG）数据集。通过众包方式，将原本的英文对话内容转化为印地语与英语高度混合的Hinglish形式，并辅以机器自动生成的对齐标注，最终形成了一组包含8060条训练样本、942条验证样本和960条测试样本的高质量平行语料。每条数据均保留了原始对话中的文档索引、用户行为记录以及对话质量评分等结构化字段，确保了双语转换与上下文语境的完整映射。

特点

该数据集最显著的特质在于其独特的语码混合属性，即Hinglish——一种在印度日常生活中广泛使用的印地语与英语自然交织的语言变体。与传统的双语平行语料不同，Hinglish文本并非简单的逐词翻译，而是在句法、词汇和语用层面展现出丰富的跨语言融合现象。此外，数据集基于文档导向的对话场景构建，每个对话均与特定的维基百科文档片段相关联，使得翻译任务不仅涉及语言转换，还需考虑对文档内容的指代与推理，从而为抽象机器翻译和上下文感知的跨语言生成研究提供了极具挑战性的实验平台。

使用方法

研究者可通过HuggingFace Datasets库便捷地加载该数据集，使用load_dataset('festvox/cmu_hinglish_dog')命令即可获取预定义的训练、验证和测试分片。数据集中每个样本均包含'translation'字段，其中'en'键对应英文原文，'hi_en'键对应Hinglish译文。该数据集适用于序列到序列的翻译任务，尤其适合训练和评估能够处理语码混合输入的神经机器翻译模型。建议在使用时充分利用'docIdx'和'wikiDocumentIdx'等上下文特征，以构建文档感知的翻译系统，从而更全面地挖掘对话与文档间的语义关联。

背景与挑战

背景概述

在跨语言自然语言处理领域，印地语与英语的语码混合现象（Hinglish）广泛存在于南亚地区的日常交流中，然而针对这一混合语言的机器翻译与对话系统研究长期受限于高质量平行语料的匮乏。CMU Hinglish DoG数据集由卡内基梅隆大学Alan W. Black教授团队于2018年创建，其核心研究问题在于构建一个基于文档的、语码混合的对话翻译资源，以推动抽象机器翻译（abstractive MT）任务的发展。该数据集源自CMU Document Grounded Conversations（DoG）英文版，通过众包方式收集了8060条训练样本、942条验证样本及960条测试样本，每条数据均包含Hinglish文本及其对应的英文翻译，并附有对话质量评分、文档索引等元信息。作为首个公开的、面向文档引导对话的Hinglish-英语平行语料，它为多语言对话系统、语码混合现象建模以及低资源机器翻译研究提供了关键基准，显著促进了学界对混合语言理解与生成的探索。

当前挑战

该数据集所面临的挑战首先体现在领域问题上：Hinglish作为一种非标准化的语码混合语言，其语法结构、词汇选择及语序具有高度动态性，缺乏明确的规则约束，使得机器翻译模型难以准确捕捉语义等价关系，尤其当对话内容涉及特定文档背景时，模型需同时处理语言混合与上下文依赖的双重复杂性。在构建过程中，挑战亦十分显著：原始数据通过众包平台由非专业标注者生成，对话质量参差不齐，尽管引入了评分机制（1-3分）筛选优质样本，但低质量对话仍可能引入噪音；同时，标注者需在无统一规范下自然产出Hinglish表达，导致语码混合程度、拼写变体及语法一致性难以控制；此外，对话内容基于维基百科文档生成，文档主题的多样性要求模型具备跨领域泛化能力，而数据集规模有限（约1万条）进一步加剧了过拟合与泛化不足的风险。

常用场景

经典使用场景

CMU Hinglish DoG 数据集的核心应用场景在于推动印地语-英语代码混合语言（Hinglish）与标准英语之间的机器翻译研究。该数据集包含了基于文档的多轮对话数据，其中每条对话记录均以Hinglish和英语双语形式呈现，为研究者提供了丰富的平行语料。经典用法包括训练端到端的神经机器翻译模型，特别是针对低资源、高混杂度的代码混合语言场景，从而提升模型在真实对话语境下的翻译质量与鲁棒性。

衍生相关工作

基于CMU Hinglish DoG 数据集，学术界衍生了一系列重要工作。例如，Zhou等人（2018）提出了文档接地对话的初始框架，为后续研究奠定了基础。后续工作包括利用该数据集训练基于Transformer的代码混合语言翻译模型，以及探索多任务学习框架以同时完成翻译与对话生成。此外，研究者还将其用于评估预训练语言模型（如mBERT、XLM-R）在混合语言场景下的泛化能力，推动了跨语言迁移学习的理论发展。

数据集最近研究

最新研究方向

在印地语与英语的语码混合现象日益普遍的背景下，CMU Hinglish DoG数据集为机器翻译领域开辟了新的研究维度。该数据集聚焦于基于文档的对话场景，收录了Hinglish与标准英语之间的平行语料，为抽象式机器翻译（abstractive MT）提供了稀缺的训练资源。前沿研究正利用此数据集探索低资源语言对在对话系统中的翻译鲁棒性，尤其是如何保留语码混合中的文化语境与情感色彩。此外，结合文档索引（docIdx）与用户交互反馈（如评分与响应类型）的多模态信息，研究者致力于构建更智能的翻译代理，使其能在动态对话中实时适应语言切换。这一方向不仅推动了多语言翻译模型的进步，也对跨语言人机交互系统的实用化具有深远意义。