The Effects of Selected Object Features on a Pick-and-Place Task: a Human Multimodal Dataset

本数据集由意大利热那亚大学和意大利技术研究所共同创建，专注于研究物体特定特征对人类拾取和放置动作的影响。数据集包含15名受试者执行的1200次拾取和放置动作，通过多模态设置（包括多个摄像头、运动捕捉系统和腕戴式惯性测量单元）进行记录。数据集旨在通过分析人类运动学数据，探讨在机器人领域中物体交互时的意图识别和运动生成问题。

This dataset was jointly created by the University of Genoa, Italy, and the Italian Institute of Technology, focusing on the investigation of the impact of specific object features on human pick-up and placement actions. The dataset comprises 1,200 pick-up and placement actions performed by 15 participants, recorded through a multimodal setup including multiple cameras, a motion capture system, and wrist-worn inertial measurement units. The dataset aims to explore the issues of intention recognition and motion generation during object interaction in the field of robotics by analyzing human kinematic data.

原始信息汇总

数据集概述

数据集名称

Effects of Object Characteristics on Manipulations

描述

该数据集旨在研究物体特定属性对人类拾取和放置动作的影响，同时允许比较由不同传感器模态捕获的运动 kinematics。数据集旨在促进手-物体交互领域中更广泛的学习挑战的讨论，包括意图识别和运动生成，并直接应用于机器人研究。数据集包括15名受试者在不同实验条件下执行80次拾取和放置任务的记录，总计1200个拾取和放置实例。数据收集通过多模态设置进行，包括多个摄像头、运动捕捉系统和手腕佩戴的惯性测量单元。实验中操纵的物体形状、大小和外观相同，但重量和液体填充不同，因此在处理时需要不同程度的细致性。

详细描述

数据集的详细描述可参见数据集论文：Lastrico L, Belcamino V, Carfì A, et al. The effects of selected object features on a pick-and-place task: A human multimodal dataset. The International Journal of Robotics Research. 2024;43(1):98-109. doi:10.1177/02783649231210965

软件辅助函数

软件辅助函数可从 Github 访问。

版本

2

关键词

• 主题, 科学与技术, 计算机科学, 人工智能
• 技术, 神经网络, LSTM
• 任务, 多标签分类
• 数据类型, 多模态数据
• 任务, 姿态检测

许可证

Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)

标识符

2319925

包含在数据目录中

Kaggle

创建者

Alessandro Carfì

分布

• 格式: zip
• 大小: 77427764879 bytes
• 下载链接: 下载

交互统计

• 评论数: 0
• 下载数: 9
• 浏览数: 134
• 点赞数: 0

搜集汇总

数据集介绍

构建方式

为了研究物体特性对人类抓取和放置动作的影响，并比较不同传感器提取的运动运动学的质量，研究人员构建了一个包含15名参与者进行80次重复抓取和放置动作的多模态数据集。该数据集通过多模态设置收集数据，包括多个摄像头从不同角度观察动作、运动捕捉系统以及手腕佩戴的惯性测量单元。实验中使用的所有物体在外观、形状和大小上都是相同的，但在重量和液体填充上有所不同，这会影响处理它们所需的谨慎程度。

特点

该数据集的特点在于其多模态性，提供了运动捕捉系统、摄像头和手腕佩戴的惯性测量单元等多种传感器的数据，从而允许从不同角度对场景进行互补描述。此外，数据集还记录了15名参与者在不同实验条件下进行的1200次抓取和放置动作，其中包括了物体重量和液体填充对动作的影响。

使用方法

使用该数据集时，首先需要对数据进行预处理，包括分割、特征提取、数据过滤、重采样、数据归一化和填充。然后，可以使用不同类型的分类器对数据进行训练和验证，以区分动作中的谨慎程度和物体的重量。例如，可以使用长短期记忆神经网络（LSTM-NN）对运动捕捉、机器人相机和惯性测量单元的数据进行分类。此外，数据集中的动作方向和动作阶段也可以用于研究人类意图识别。

背景与挑战

背景概述

在人类与物体交互领域中，理解人类如何根据物体的物理特性进行操作对于设计和开发能够与人类有效协作的机器人至关重要。为此，Linda Lastrico等人于2023年创建了一个名为'The Effects of Selected Object Features on a Pick-and-Place Task: a Human Multimodal Dataset'的数据集。该数据集由15名参与者执行80次重复的抓取和放置动作记录组成，共计1200次抓取和放置。数据集的特色在于其多模态设置，包括多个摄像机、运动捕捉系统和手腕佩戴的惯性测量单元，以从不同角度观察动作。该数据集的研究重点在于分析特定物体特征对人类抓取和放置运动的影响，以及通过不同传感器提取运动运动学的质量比较。此外，该数据集还适用于促进关于手物交互领域中一般学习问题的更广泛的讨论，例如意图识别或运动生成，这些都有助于机器人领域的应用。

当前挑战

尽管该数据集提供了丰富的多模态数据，但在实际应用中仍面临一些挑战。首先，数据集主要集中在特定类型的物体上，即透明杯子，这限制了其在其他物体类型上的泛化能力。其次，尽管数据集考虑了物体的重量和液体填充量，但尚未充分探索其他可能影响人类操作的物体特征，如形状、大小、质地等。此外，数据集的规模相对较小，可能不足以捕捉人类操作的多样性和复杂性。最后，尽管数据集提供了多种传感器数据，但如何有效地融合这些数据以获得更准确和可靠的运动学估计仍是一个挑战。

常用场景

经典使用场景

该数据集的经典使用场景在于研究物体特定特征对人类拣取和放置动作的影响，并比较不同传感器提取的运动运动学质量的优劣。数据集由15名受试者在不同实验条件下进行80次重复的拣取和放置动作的记录组成，总共有1200次拣取和放置。这些数据是通过多模态设备收集的，包括多角度的相机、运动捕捉系统以及手腕佩戴的惯性测量单元。所有被操作的对象在外观、形状和尺寸上都是相同的，但在重量和液体填充量上有所不同，这影响了处理这些对象所需的谨慎程度。

解决学术问题

该数据集解决了人类在物体操作领域的通用学习问题，例如意图识别或带有机器人应用的运动生成。通过控制实验条件，研究者可以深入分析人类在处理具有特定属性的对象时的运动策略。这对于设计能够理解人类意图并与人类协作的机器人具有重要意义。

衍生相关工作

该数据集的衍生相关工作包括使用深度神经网络估计容器容量、尺寸和重量，以及区分物体操作是否需要谨慎。例如，Duarte等人（2020）使用高斯混合模型进行模板匹配，而Lastrico等人（2021）使用深度神经网络分类器。这些研究为理解人类在物体操作中的谨慎性提供了新的视角。