Event-based Dataset of Assembly Tasks (EDAT24)

Event-based Dataset of Assembly Tasks (EDAT24) 是由葡萄牙科英布拉大学的材料与加工机械工程中心创建的数据集，专注于制造装配任务的检测与分类。该数据集包含400个样本，使用DAVIS240C事件相机捕捉，涵盖了基本的制造动作如闲置、拾取、放置和螺丝操作。数据集的创建过程中，使用了定制的Python代码和jAER软件进行数据收集。EDAT24数据集适用于计算机视觉和机器学习领域的研究，特别是用于开发和测试基于事件的算法，以实现对人类动作原语的跟踪和分类，这是当前研究的热点问题。

The Event-based Dataset of Assembly Tasks (EDAT24) is a dataset created by the Centre for Mechanical Engineering of Materials and Processing at the University of Coimbra, Portugal, focusing on the detection and classification of manufacturing assembly tasks. It contains 400 samples captured using a DAVIS240C event camera, covering basic manufacturing actions such as idle states, picking, placing, and screw-driving operations. Custom Python code and jAER software were utilized for data collection during the dataset's development. The EDAT24 dataset is suitable for research in the fields of computer vision and machine learning, particularly for developing and testing event-based algorithms to achieve tracking and classification of human action primitives, which is a current hot research topic.

搜集汇总

数据集介绍

构建方式

在制造业装配任务分类的研究背景下，EDAT24数据集的构建采用了基于事件的视觉传感技术。数据采集依托于静态部署的DAVIS240C事件相机，该传感器以异步方式记录光强变化产生的事件流，有效规避了传统帧相机在高速运动场景下的运动模糊与高延迟问题。实验设置中，操作者在开源CT-Benchmark工作台前执行四种制造原语任务（空闲、拾取、放置、拧紧），每种任务录制100个样本，共计400段视频。通过定制化的Python软件与jAER平台协同工作，系统实现了从事件流捕获、时间戳同步到数据文件生成的自动化流程，最终产出包含原始.aedat格式与预处理.npy格式的多模态数据。

特点

该数据集的核心特征在于其异步事件驱动的数据形态，每个样本均包含高时间分辨率的事件流与同步采集的灰度帧序列。事件数据以轻量化的坐标-时间-极性三元组形式呈现，平均采集速率达165万赫兹，兼具低延迟与高动态范围的优势。数据组织采用层次化结构，按任务类型与交互部件清晰标注，并配套提供精确到微秒的起止时间戳文件。此外，数据集同时提供原始二进制格式与经过预处理的NumPy数组格式，兼顾了算法开发的灵活性与数据处理的高效性，为基于事件的实时动作识别研究提供了结构规范、易于扩展的数据基础。

使用方法

研究者可通过Zenodo平台获取数据集文件，并利用附带的GitHub仓库中的定制化工具链进行数据处理与扩展。对于事件分类算法的开发，可直接加载.npy格式的预处理事件序列，快速构建时空特征表示模型；若需深入探索原始事件流特性，则可解析.aedat文件获取同步的帧与事件信息。数据集中每段视频时长约2.5秒，适合用于训练深度神经网络进行短时动作分类。用户还可参照提供的采集系统框架，基于CT-Benchmark平台增补新的制造原语样本，或调整传感器配置以拓展数据多样性，从而推动事件视觉在工业人机协作场景中的算法创新与性能验证。

背景与挑战

背景概述

在智能制造与人机协作领域，视觉感知技术是实现环境理解与任务识别的核心。传统帧式相机虽能提供高质量图像，但在高速动态场景中易受运动模糊、高延迟及有限动态范围等限制。事件相机作为一种新兴的异步视觉传感器，通过捕捉光强变化事件，具备高时间分辨率、低延迟与宽动态范围的优势，尤其适用于实时动作分析。由葡萄牙科英布拉大学CEMMPRE研究中心的Laura Duarte与Pedro Neto团队于2024年创建的EDAT24数据集，聚焦于制造装配场景中的基础动作分类，旨在填补事件数据在工业领域应用的空白。该数据集采用DAVIS240C事件相机，收录了空闲、抓取、放置与拧螺丝四类制造原语动作各100个样本，共计400段事件流与灰度帧数据，为人机协作中的动作预测与安全交互提供了关键数据支撑。

当前挑战

EDAT24数据集致力于解决制造场景中人类动作的实时检测与分类问题，其核心挑战在于事件数据的稀疏性与异步特性，使得传统基于帧的计算机视觉方法难以直接应用，需开发新型事件驱动算法以高效提取时空特征。在数据集构建过程中，面临多重技术难题：事件相机数据采集需克服硬件同步与噪声过滤的障碍，确保事件流的精确性与一致性；制造原语动作的细微差异要求高精度标注与时间对齐，以区分相似动作类别；此外，数据规模有限，平均每段视频仅约2.5秒，虽能满足基础算法训练，但对复杂模型泛化能力构成制约。这些挑战共同推动着事件视觉与制造智能领域的算法创新与数据标准化进程。

常用场景

经典使用场景

在智能制造与人机协作领域，事件相机因其异步感知特性成为动态视觉分析的前沿工具。EDAT24数据集通过捕捉装配任务中的基本动作（如拾取、放置、拧紧），为基于事件数据的人类动作分类研究提供了标准化的实验平台。该数据集常用于训练和评估事件驱动的深度学习模型，以识别制造场景中操作员的实时行为，其高时间分辨率与低延迟特性使得模型能够精准捕捉快速运动细节，为自动化装配线的智能监控奠定基础。

解决学术问题

传统帧式相机在高速运动场景中易受运动模糊与高延迟限制，制约了实时人机协作系统的性能。EDAT24数据集通过提供异步事件流数据，有效解决了动态视觉传感器在制造领域数据稀缺的难题。该数据集支持学术界探索事件数据的特征提取与分类方法，推动了对人类动作时序模式的建模研究，并为解决机器人动作预测、协作安全等关键问题提供了数据支撑，显著提升了事件视觉算法在复杂工业环境中的泛化能力。

衍生相关工作

基于EDAT24数据集的事件数据特性，学术界衍生出多项经典研究工作。例如，研究者利用其开发了轻量化事件滤波网络，有效去除了动态场景中的噪声事件；另有工作结合时空事件云表示方法，构建了用于手势识别的混合视觉模型。这些成果不仅扩展了事件相机在工业检测与人机交互中的应用边界，还为后续研究如多模态传感器融合、实时异常检测等方向提供了算法基础与验证框架。