DIDI数据集

DIDI数据集是由谷歌研究团队发布的一个包含58655个用户绘制的图表样本的数据集。该数据集分为两部分：22287个带有文本标签的图表和36368个不带文本标签的图表。数据收集自364名参与者，使用Android应用在Chromebook和Android设备上进行。数据集中的图表通过GraphViz生成，随机选择节点和文本标签主题。DIDI数据集旨在促进机器学习和人机交互技术在图形符号理解领域的研究，特别关注于图表的创建和编辑工具的实用性。

The DIDI dataset is a collection of 58,655 user-drawn chart samples released by the Google Research team. It is divided into two subsets: 22,287 charts with text labels and 36,368 charts without text labels. The data was collected from 364 participants using an Android application on Chromebook and Android devices. The charts in the dataset are generated via GraphViz, with randomly selected nodes and text label topics. The DIDI dataset aims to facilitate research on machine learning and human-computer interaction technologies in the field of graphical symbol understanding, with a particular focus on the practicality of chart creation and editing tools.

搜集汇总

数据集介绍

构建方式

在数字墨水与交互式图形理解的研究领域，DIDI数据集的构建采用了提示驱动的数据收集方法。研究团队通过一款Android应用，在Chromebook和Android设备上，向364名参与者展示由GraphViz生成的随机流程图图像作为提示，要求参与者在图像上绘制对应的图表。数据收集分为两个阶段：2018年夏季收集包含文本标签的图表，2019年夏季则收集无文本标签的图表，最终形成了包含58,655个绘图样本的大规模数据集。

特点

DIDI数据集的核心特点在于其丰富的动态绘图信息和多样化的内容构成。该数据集不仅提供了绘图过程的坐标与时间戳序列，还包含了22,287个带文本的图表和36,368个无文本的图表，覆盖了多种节点形状和语义主题。其规模显著超越了现有同类数据集，支持对文本、形状和图表混合内容的联合建模，为深度学习方法的应用提供了充分的数据基础。

使用方法

该数据集以NDJSON格式发布，每条记录包含唯一的绘图标识符、提示图像哈希、绘图笔划序列及划分信息。研究人员可利用附带的代码示例将数据转换为适合主流机器学习框架的格式，进行图表识别、生成或编辑等任务的模型训练与评估。数据已预先划分为训练、验证和测试集，确保了实验的规范性与可重复性。

背景与挑战

背景概述

在数字墨水与交互式图形理解的研究领域，DIDI数据集由Google Research与苏黎世联邦理工学院的研究团队于2020年联合发布，旨在推动交互式图形符号理解的前沿探索。该数据集聚焦于手绘流程图，包含带文本与不带文本的样本，共计58,655幅绘图，通过提示图像引导用户绘制，动态记录笔画坐标与时间戳。其核心研究问题在于如何融合机器学习与人机交互技术，实现对复杂图形内容（如文本、形状与图表）的语义关联建模，从而弥补传统手写识别在多样化内容共存场景下的不足，为智能绘图编辑工具的发展奠定数据基础。

当前挑战

DIDI数据集所针对的领域挑战在于交互式图形符号理解，即如何从动态笔迹中同时解析手写文本、几何形状及其语义关联，这要求模型具备多模态融合与上下文推理能力。在构建过程中，数据集面临两大挑战：一是数据规模与多样性的平衡，需通过随机生成的流程图提示图像确保结构多样性，同时覆盖文本与无文本场景；二是数据采集的标准化，需在跨设备（如Chromebook与Android）与多参与者环境下，保持绘图轨迹与时间信息的一致性，并实现训练、验证与测试集的作者隔离划分，以避免数据泄漏。

常用场景

经典使用场景

在交互式图形符号理解领域，DIDI数据集为研究手绘流程图识别与生成提供了关键支持。该数据集通过包含大量带有动态绘制信息的用户手绘样本，使得研究者能够深入探索数字墨迹中文本、形状与图表的语义关联。其经典应用场景集中在基于深度学习的在线手绘流程图解析，模型可借助数据集中的时序坐标信息，模拟人类绘制过程中的笔触顺序与空间布局，进而实现从自由绘制到结构化图形的自动转换。

衍生相关工作

该数据集的发布催生了多项围绕数字墨迹生成与理解的衍生研究。例如，基于时序笔触数据的生成对抗网络被用于流程图补全与风格迁移任务；同时，结合图神经网络的方法提升了对手绘图表中节点与边的语义解析精度。这些工作扩展了手绘图形合成、交互式编辑系统的技术边界，并促进了类似CROHME数学公式数据集等领域的跨模态研究，形成了图形符号计算的新兴分支。

数据集最近研究

最新研究方向

在数字墨水与交互式图形理解领域，DIDI数据集的发布为前沿研究注入了新的活力。该数据集聚焦于融合手写文本与手绘图形的多模态内容建模，推动了基于深度学习的符号理解技术发展。当前研究热点集中于利用动态绘图信息，开发能够实时解析和编辑复杂图表的智能系统，例如流程图自动补全与语义关联分析。这一方向不仅提升了人机交互的自然性与效率，还为教育、设计等领域的数字化工具提供了核心支持，具有重要的学术与应用价值。

相关研究论文

• The DIDI dataset: Digital Ink Diagram data

  谷歌研究 · 2020年