Minecraft Dialogue Corpus with Reference (MDC-R)

MDC-R是一个包含专家注释的语料库，补充了原始的Minecraft对话语料库（MDC）的回指和指示性参考。MDC是一个任务导向的、多轮次的、情境对话，在动态环境中产生了一系列有趣的语用现象。MDC-R在动态变化的视觉世界中引入了一种新的参考注释方法，并对流行的Minecraft对话语料库进行了新的回指和指示性参考注释。该语料库包含509个对话，每个对话平均包含30个utterance，共15,926个utterance和113,116个tokens。MDC-R is a corpus with expert annotations that supplements the original Minecraft Dialogue Corpus (MDC) with anaphoric and demonstrative reference annotations. The original MDC is a task-oriented, multi-turn situational dialogue corpus that exhibits a range of interesting pragmatic phenomena in dynamic environments. MDC-R introduces a novel reference annotation method within dynamically changing visual worlds, and provides new anaphoric and demonstrative reference annotations for the popular Minecraft Dialogue Corpus. This corpus contains 509 dialogues, with an average of 30 utterances per dialogue, totaling 15,926 utterances and 113,116 tokens.

原始信息汇总

MDC-R Corpus数据集概述

数据集基本信息

• 数据集名称：MDC-R Corpus
• 存储位置：corpus文件夹

工具要求

• 推荐使用工具：MMAX2
  • 定制版MMAX2下载链接：https://arciduca.org/minecraft-mmax.tgz（支持放大图像显示）
  • 原始版MMAX2官网：https://mmax2.net/

附加资源

• 辅助文件夹：objects
  • 功能：提供世界状态、方块颜色和坐标查询
  • 数据格式：JSON文件
  • 命名规则：与图像文件同名

搜集汇总

数据集介绍

构建方式

MDC-R数据集基于原始Minecraft对话语料库（MDC），通过专家标注的方式补充了指代和指示性引用信息。标注过程采用了MMAX2工具，并结合了ARRAU标注方案，特别针对动态3D环境中不断变化的世界状态进行了扩展。每个方块被赋予唯一的字母数字标签，便于精确标注和追踪。标注过程中，专业语言学家对100个随机选择的对话进行了双盲标注，确保了数据的可靠性和一致性。

特点

MDC-R数据集的特点在于其动态环境和多模态特性。它不仅包含丰富的多轮任务导向对话，还标注了指代和指示性引用，特别适合研究动态视觉场景中的语言现象。数据集中的每个方块都有唯一的坐标和标签，支持2D边界框的生成，使其适用于传统的指代表达理解（REC）任务。此外，数据集还捕捉了视角差异、误解和修复等复杂对话现象，为研究协作对话中的共同基础建立提供了宝贵资源。

使用方法

MDC-R数据集可用于多种任务，包括指代表达理解（REC）、广义指代表达理解（GREC）以及多模态语言理解研究。研究人员可以利用数据集中的边界框标注和方块标签，训练和评估模型在动态环境中的表现。数据集还支持对对话历史和视觉场景的联合分析，有助于开发能够处理复杂指代和视角差异的对话系统。使用该数据集时，建议结合对话上下文和视觉信息，以全面理解指代和指示性引用的复杂性。

背景与挑战

背景概述

Minecraft Dialogue Corpus with Reference (MDC-R)是由Queen Mary University of London、Universität Wien等机构的研究团队于2025年提出的创新性语言资源，作为原始Minecraft Dialogue Corpus (MDC)的扩展版本。该数据集聚焦于动态虚拟环境中任务导向的多轮对话，特别标注了指代与指示参照现象，填补了传统视觉-语言研究在动态交互场景中的空白。其核心研究价值在于捕捉Minecraft协作建造任务中产生的复杂语言现象，如随着环境动态变化而产生的概念约定和空间参照协商，为对话系统、多模态推理等领域提供了独特的研究基准。

当前挑战

MDC-R面临双重挑战：在领域问题层面，需解决动态虚拟环境中指代消解的独特复杂性，包括因视角差异导致的左右混淆、环境实时变化引发的参照物状态更新等传统静态数据集未涵盖的问题；在构建层面，标注过程需处理体素世界的复合对象表征（如将'拱门'拆解为多个方块组合）、对话参与者不对称的视觉信息，以及通过改良MMAX2工具实现动态场景与语言表达的精确对齐。实验表明，现有指代表达理解模型在该数据集上的性能显著低于传统基准，印证了其作为高阶多模态推理测试平台的挑战性。

常用场景

经典使用场景

Minecraft Dialogue Corpus with Reference (MDC-R) 作为多模态对话数据集，其经典使用场景聚焦于动态3D环境中指代消解与对话理解的研究。该数据集通过标注《我的世界》协作建造任务中人类对话的指称（包括指示性与回指性），为研究虚拟环境中语言与视觉实体的动态交互提供了独特平台。尤其在任务导向对话中，参与者需持续协商空间概念（如“左侧的黄色三角”）与抽象形状指代（如“拱门顶部的钟形结构”），这类场景成为研究动态环境下指代现象的理想测试床。

解决学术问题

MDC-R通过标注动态变化环境中指称的实体与动作，解决了传统指代消解研究的两个关键局限：一是静态图像或文本中无法捕捉的对话流动性（如参考对象的实时增减与视角差异导致的歧义）；二是缺乏多模态协同标注（如将语言表达式与体素坐标、边界框关联）。该数据集首次实现了对复合物体（如由多个方块构成的“钟形结构”）的细粒度指代标注，推动了广义指代表达理解（GREC）任务的发展，并为跨模态推理模型提供了验证基准。

衍生相关工作

MDC-R催生了多项经典研究：1）动态指代标注工具MMAX2的扩展，支持实时环境变化的标注（Loáiciga et al., 2022）；2）基于对话历史的视觉定位模型（如MDETR的GREC变体）；3）多智能体协作中的共同基础建模（Bara et al., 2021）。其数据还被用于验证长上下文多模态大模型（如Qwen2-VL）在动态场景下的指代推理能力，推动了《MindCraft》等虚拟协作游戏的AI开发。