sled-umich/SDN

--- license: cc-by-nc-nd-4.0 task_categories: - text-classification - text-generation language: - en size_categories: - 1K<n<10K --- # DOROTHIE ## Spoken Dialogue for Handling Unexpected Situations in Interactive Autonomous Driving Agents **[Research Paper](https://arxiv.org/abs/2210.12511) | [Github](https://github.com/sled-group/DOROTHIE) | [Huggingface](https://huggingface.co/datasets/sled-umich/DOROTHIE)** Authored by [Ziqiao Ma](https://mars-tin.github.io/), Ben VanDerPloeg, Cristian-Paul Bara, [Yidong Huang](https://sled.eecs.umich.edu/author/yidong-huang/), Eui-In Kim, Felix Gervits, Matthew Marge, [Joyce Chai](https://web.eecs.umich.edu/~chaijy/) DOROTHIE (Dialogue On the ROad To Handle Irregular Events) is an innovative interactive simulation platform designed to create unexpected scenarios on the fly. This tool facilitates empirical studies on situated communication with autonomous driving agents.  This dataset is the pure dialogue dataset, if you want to see the whole simulation process and download the full dataset, please visit our [Github homepage](https://github.com/sled-group/DOROTHIE)许可证：CC-BY-NC-ND-4.0 任务类别： - 文本分类 - 文本生成 语言： - 英语 数据规模区间： - 1K < n < 10K --- # DOROTHIE ## 面向交互式自主驾驶智能体处理突发场景的口语对话数据集 **[研究论文](https://arxiv.org/abs/2210.12511) | [GitHub仓库](https://github.com/sled-group/DOROTHIE) | [Hugging Face数据集页面](https://huggingface.co/datasets/sled-umich/DOROTHIE)** 作者为 [Ziqiao Ma](https://mars-tin.github.io/)、Ben VanDerPloeg、Cristian-Paul Bara、[Yidong Huang](https://sled.eecs.umich.edu/author/yidong-huang/)、Eui-In Kim、Felix Gervits、Matthew Marge、[Joyce Chai](https://web.eecs.umich.edu/~chaijy/) DOROTHIE（全称Dialogue On the ROad To Handle Irregular Events）是一款创新性交互式仿真平台，可动态生成突发场景，为开展自主驾驶智能体的情境化通信实证研究提供支撑。  本数据集为纯对话数据集。若需查看完整仿真流程并下载全量数据集，请访问我们的[GitHub主页](https://github.com/sled-group/DOROTHIE)

原始信息汇总

DOROTHIE

数据集概述

DOROTHIE（Dialogue On the ROad To Handle Irregular Events）是一个创新的交互式模拟平台，旨在实时创建意外场景。该工具促进了与自动驾驶代理的情景通信的实证研究。

数据集详情

• 许可协议: cc-by-nc-nd-4.0
• 任务类别:
  • 文本分类
  • 文本生成
• 语言: 英语
• 数据规模: 1K<n<10K

作者

• Ziqiao Ma
• Ben VanDerPloeg
• Cristian-Paul Bara
• Yidong Huang
• Eui-In Kim
• Felix Gervits
• Matthew Marge
• Joyce Chai

相关链接

• 研究论文: arXiv链接
• Github: Github链接
• Huggingface: Huggingface链接

搜集汇总

数据集介绍

构建方式

DOROTHIE（Dialogue On the ROad To Handle Irregular Events）数据集源自一项针对自动驾驶代理在突发情境下人机交互的实证研究。该数据集通过构建交互式仿真平台，实时生成道路中的意外事件，并记录驾驶员与自动驾驶系统之间的自然对话。数据采集过程中，参与者被置于模拟驾驶环境中，面对诸如障碍物突然出现、交通信号异常等非预期场景，其与车辆智能体的口语交互被完整捕捉并转录。最终形成包含文本分类与文本生成任务的英文对话数据集，规模介于1千至1万条之间，严格遵循CC-BY-NC-ND-4.0许可协议发布。

使用方法

研究人员可通过HuggingFace平台直接加载该数据集，利用其文本分类与文本生成的双重标注开展模型训练。对于希望复现完整仿真实验的团队，数据集主页提供了GitHub仓库链接，其中包含仿真环境的部署代码与全量数据（含视觉及传感器信息）。建议使用者优先采用预训练语言模型（如BERT、GPT系列）对对话文本进行编码，并结合任务特定头（如分类器或解码器）进行微调。评估时需重点关注模型在非预期输入下的鲁棒性，可参考原论文中提出的突发情境基准测试方案。

背景与挑战

背景概述

在自动驾驶领域，人机交互的稳健性一直是研究的核心难题，尤其是在面对突发事件时，系统与人类驾驶员之间的有效沟通至关重要。DOROTHIE数据集（Spoken Dialogue for Handling Unexpected Situations in Interactive Autonomous Driving Agents）由密歇根大学SLED实验室的Ziqiao Ma、Joyce Chai等研究人员于2022年创建，旨在探索自动驾驶代理在遭遇意外情境时的对话理解与生成能力。该数据集依托于同名交互仿真平台，收集了超过千条自然语言对话样本，聚焦于如何通过口语对话帮助自动驾驶系统应对动态道路中的异常事件。其核心研究问题在于弥合机器感知与人类意图之间的语义鸿沟，为构建更安全、更人性化的智能驾驶交互系统提供了关键数据支撑，对推动多模态对话系统与自主决策的交叉研究具有重要影响力。

当前挑战

DOROTHIE数据集所面临的挑战主要体现在两个方面。首先，在领域问题层面，自动驾驶中的意外事件处理需要模型具备实时理解模糊、不完整甚至矛盾的人类指令的能力，并能在高风险情境下做出合理决策，这远超传统文本分类或生成任务的复杂度。其次，在数据集构建过程中，如何通过仿真平台生成逼真且多样化的突发事件场景，同时确保对话数据的自然性与任务相关性，是一项艰巨任务。此外，标注工作需精确捕捉人类在压力下的语言模式，包括指代消解、省略和情绪化表达，这对数据质量和一致性提出了极高要求，限制了数据集的规模扩展与跨场景泛化能力。

常用场景

经典使用场景

SDN数据集（即DOROTHIE）专为研究自动驾驶人机交互中的意外情境而构建，其经典使用场景聚焦于多模态对话系统的训练与评估。研究者利用该数据集中的自然语言对话记录，分析乘客与自动驾驶代理在突发道路事件（如障碍物、施工区域）中的沟通模式，从而开发出能够理解并响应非预期指令的智能对话模型。

解决学术问题

该数据集解决了自动驾驶领域中人机协作的关键学术难题：如何使代理在动态环境中处理非结构化、上下文依赖的口语指令。通过提供高度真实的意外场景对话样本，SDN支持对情境感知推理、意图歧义消解以及多轮对话策略的研究，推动了从静态规则驱动向动态交互式决策的范式转变，显著提升了代理在开放世界中的鲁棒性。

实际应用

在实际应用中，SDN数据集赋能了新一代车载语音助手的设计，使其在面对驾驶员或乘客的突发性、非标准化请求（如“绕过右侧的施工区域”）时，能结合环境信息进行灵活响应。该数据集的落地场景包括高级驾驶辅助系统的语音界面优化、共享出行服务中的人机信任建立，以及自动驾驶出租车对用户模糊指令的实时解析与执行。

数据集最近研究

最新研究方向

在自动驾驶人机交互领域，意外情境下的动态对话理解与协同决策成为前沿焦点。基于DOROTHIE平台构建的SDN数据集，聚焦于模拟道路突发事件中乘客与智能驾驶代理的自然语言交互，突破了传统静态指令理解的局限。该研究深度结合多模态情境推理与实时对话生成，旨在提升自动驾驶系统在非预期场景下的鲁棒性与用户信任度。随着L3级以上自动驾驶的落地挑战，这一方向不仅推动了具身对话智能体的发展，更为安全、可解释的人机共驾提供了关键数据支撑与评估基准。