CAS2UML

Name: CAS2UML
Creator: 科隆大学
Published: 2026-08-07T17:46:38+08:00

arXiv2026-08-07 更新2026-08-11 收录

手绘UML识别

UML图代码生成

数据链接：

https://huggingface.co/datasets/Seym0n/cas2uml_hand-drawn_to_plantuml_dataset 数据链接链接失效反馈

官方服务：

资源简介：

CAS2UML是由科隆大学创建的一个公开数据集，包含557幅手绘UML类图与活动图，每幅图均配有经过人工验证的可执行PlantUML代码。其中类图271张、活动图286张，数据来源包括复用Piucco数据集及新增手绘样本，并覆盖了多种UML构造和设计模式。数据集创建过程包括定义规范、生成PlantUML参考、手绘图像及验证一致性，最终通过HuggingFace平台发布。该数据集旨在为手绘识别、图像转UML及多模态AI研究提供可重复评估的基准，弥补现有资源缺乏可执行真值的不足。

CAS2UML is a public dataset developed by the University of Cologne. It comprises 557 hand-drawn UML class diagrams and activity diagrams, with each diagram paired with manually validated executable PlantUML code. Specifically, the dataset contains 271 class diagrams and 286 activity diagrams. Its data sources include repurposed samples from the Piucco dataset and newly hand-drawn examples, covering a wide range of UML constructs and design patterns. The dataset creation process includes defining standard specifications, generating reference PlantUML code, creating hand-drawn images, and verifying consistency between the images and the reference code. Finally, the dataset was released via the Hugging Face platform. This dataset aims to provide a reproducible evaluation benchmark for hand-drawn diagram recognition, image-to-UML conversion, and multimodal AI research, addressing the gap that existing resources lack executable ground truth.

提供机构：

科隆大学

创建时间：

2026-08-07

原始信息汇总

数据集概述：CAS2UML

基本信息

数据集名称：CAS2UML
语言：英语
许可证：CC-BY-4.0
数据集规模：少于1K样本（n<1K）
任务类别：图像到文本（image-to-text）和特征提取（feature-extraction）

数据内容

该数据集包含 557张手绘UML图，分为两类：

271张类图（class diagrams）
286张活动图（activity diagrams）

每个样本包含四种特征：

image：手绘图对应的图像（PIL.Image格式）
type：标注类型（取值为"class_diagram"或"activity_diagram"）
code：对应的真实PlantUML代码
xmi：对应的真实XMI表示形式

数据划分

数据集包含训练集和测试集两个划分：

划分	样本数量	大小
train	527	155,577,424 字节
test	30	8,006,608 字节

总下载大小：161,478,504 字节
总数据集大小：163,584,032 字节

使用示例

可通过Hugging Face datasets库直接加载： python from datasets import load_dataset

dataset = load_dataset("Seym0n/handwritten_plantuml_dataset") example = dataset["train"][0]

应用领域

该数据集适用于以下方向的研究与应用：

手绘图表识别（diagram recognition）
软件工程中的UML建模
图像到代码的转换任务

搜集汇总

数据集介绍

构建方式

CAS2UML数据集的构建遵循严谨的流程，涵盖类图与活动图两大子集。类图部分融合了两个来源：一是复用Piucco发布的70幅手绘类图，为其补充了对应的PlantUML代码；二是依据涵盖UML核心构造与GoF设计模式的覆盖指南，新绘208幅类图。活动图部分则从Lindholmen数据集中筛选约80幅参考图，并结合自建规范，通过LLM辅助生成PlantUML代码，经人工校验后由作者在不同介质（平板、纸张等）上手工绘制。每幅手绘图均与验证过的PlantUML代码一一配对，并通过自定义工具进行双重校验。

特点

CAS2UML数据集包含557幅手绘UML图，其中类图271幅、活动图286幅，每幅均配有经语法校验与渲染验证的PlantUML代码，确保可执行性。类图还额外提供XMI序列化版本（经筛选后271幅），支持与StarUML等工具链集成。数据集的独到之处在于其多样性：手绘图涵盖平板、普通纸、方格纸、照片及横线纸等多种介质，书写风格、线条质量与采集条件各异，为鲁棒性评估提供了丰富场景。此外，数据集提供了验证工具与处理脚本，可复用地检查PlantUML输出的正确性与可渲染性，支撑可复现的基准测试。

使用方法

CAS2UML数据集的使用方法灵活多样。研究者可将其作为手绘UML识别、图像到UML转换及多模态AI模型的基准测试集，利用配对的手绘图与PlantUML代码进行训练或评估。数据集的验证脚本支持语法校验（通过PlantUML JAR与-syntax标志），并能生成机器可读的错误报告，便于自动化流水线集成。对于类图，XMI文件进一步支持与UML建模工具的无缝衔接。数据集以HuggingFace Hub形式发布，附带完整的注释文件与图像路径，用户可按需划分训练集与测试集，或基于其覆盖的UML构造（如继承、组合、并发等）进行针对性评测。

背景与挑战

背景概述

CAS2UML数据集由科隆大学的Simon Scholz与Mersedeh Sadeghi于2026年提出，旨在弥补手绘UML草图与可执行模型之间缺乏公开基准的空白。该数据集共包含557幅手绘UML图，其中271幅类图和286幅活动图，每幅图均配有人工验证的PlantUML代码，并提供基于PlantUML的验证工具和可复用脚本，用于检查生成UML工件的语法正确性与可渲染性。CAS2UML的发布为草图识别、图像到UML转换、多模态AI及自动化模型生成等研究提供了可复现的评估基础，推动了AI辅助软件建模领域的发展。

当前挑战

当前UML草图识别领域面临多重挑战：首先，现有公开数据集规模小、覆盖单一（如仅含几十幅类图），且多缺乏可执行的地面真值，难以支撑系统性基准测试；其次，手绘图的视觉多样性（如不同媒介、书写风格、背景噪声）增加了模型泛化难度；再者，构建过程中需确保草图与PlantUML代码的一一对应，而现有工具无法同时满足草图可视化、代码编辑与实时渲染的需求，导致验证流程复杂；此外，类图需额外生成XMI格式，但部分关联类构造无法转换，需人工筛选，进一步提升了数据构建的复杂度。

常用场景

经典使用场景

CAS2UML数据集的核心应用场景在于为手绘UML类图与活动图的自动化识别与转换提供标准化的基准测试平台。鉴于UML在软件工程中作为沟通与设计蓝图的核心地位，尤其是类图与活动图分别承载系统静态结构与动态行为的描述，该数据集通过将557幅手绘草图与经过验证的可执行PlantUML代码一一对应，构建了从非结构化视觉输入到结构化模型文本的映射桥梁。研究者可利用此数据集训练并评估草图识别、图像到UML转换等机器学习模型，在统一且可复现的条件下检验算法的鲁棒性与准确性，从而推动草图理解与模型生成技术的迭代优化。

衍生相关工作

CAS2UML的发布催生了若干后续研究脉络。其直接衍生工作之一是基于该数据集微调的手写UML转PlantUML模型，在自动评估指标与人工排序研究中表现出与商业视觉语言模型相当的竞争力。此外，附带的验证工具与处理脚本已被复用为检查UML生成制品语法正确性与可渲染性的标准工具。该数据集还促进了多模态AI在软件建模领域的交叉研究，激励了结合草图、文本与代码的多模态生成框架的探索。长远来看，其提供的XMI导出（针对类图）为模型交换与互操作性研究提供了数据基础，孕育了更广泛的模型驱动工程工具链验证工作。

数据集最近研究