TUC-HRI

德国Chemnitz工业大学人类机器人交互数据集（TUC-HRI）是一个小规模的人类动作识别数据集，包含10（+1）个用于人机交互的动作类别。该版本包含以帧为单位的视频序列，存储为图像。数据集使用Intel RealSense D435深度相机记录RGB和深度输入，共有8个受试者，11031个序列（训练集8893个/验证集2138个），每个场景有3个视角。动作类别包括挥手、指向、鼓掌、跟随、走路、停止、转身、跳跃、过来以及平静。

The Human-Robot Interaction Dataset from Chemnitz University of Technology, Germany (TUC-HRI) is a small-scale dataset for human action recognition, containing 10 (+1) action categories designed for human-robot interaction scenarios. This version provides frame-based video sequences stored as image files. The dataset collects RGB and depth inputs via an Intel RealSense D435 depth camera, involving 8 human subjects, with a total of 11031 sequences (8893 for training and 2138 for validation), and 3 viewpoints per scene. The included action categories are waving, pointing, clapping, following, walking, stopping, turning around, jumping, coming over, and resting.

搜集汇总

数据集介绍

构建方式

TUC-HRI数据集由德国开姆尼茨理工大学机器人学与人机交互部门构建，旨在支持人机交互领域的研究。该数据集通过Intel RealSense D435深度相机捕捉RGB和深度图像，记录了8名受试者执行10种不同动作的视频序列。每个场景包含三个视角，共生成11,031个序列，其中8,893个用于训练，2,138个用于验证。数据以逐帧图像的形式存储，涵盖了从挥手到跳跃等多种动作类别。

特点

TUC-HRI数据集的特点在于其多模态数据采集方式，结合了RGB和深度信息，为动作识别提供了丰富的视觉线索。数据集包含10种主要动作类别及一个“无动作”类别，涵盖了人机交互中的常见行为。此外，每个动作序列从三个不同视角记录，增强了数据的多样性和鲁棒性。数据集的规模适中，适合用于小规模的动作识别模型训练与验证。

使用方法

使用TUC-HRI数据集时，首先需安装RSProduction机器学习包，并通过`rsp.ml.dataset.TUCHRI`加载数据。数据集支持深度数据的加载，用户可根据需求选择是否启用。数据预处理包括图像大小调整、颜色增强、随机旋转等操作，以提升模型的泛化能力。训练和验证数据分别通过不同的变换管道处理，确保训练数据的多样性和验证数据的稳定性。通过该数据集，研究人员可以构建和评估基于视频的动作分类模型。

背景与挑战

背景概述

TUC-HRI数据集由德国开姆尼茨理工大学的机器人学与人机交互部门开发，主要研究人员为Robert Schulz。该数据集专注于人机交互领域中的动作识别问题，旨在通过视频序列捕捉人类与机器之间的互动行为。数据集包含11,031个视频序列，涵盖10种主要动作类别，如挥手、指向、拍手等，以及一个额外的“无动作”类别。这些数据通过Intel RealSense D435深度相机从三个视角记录，提供了RGB和深度信息。TUC-HRI的发布为人机交互研究提供了重要的数据支持，尤其是在动作识别和机器人行为理解方面具有显著影响力。

当前挑战

TUC-HRI数据集在解决人机交互动作识别问题时面临多重挑战。首先，动作类别的多样性和复杂性要求模型能够准确区分细微的动作差异，如挥手与指向。其次，数据集的多视角记录虽然增加了数据的丰富性，但也带来了视角变化对模型泛化能力的考验。此外，数据集的规模相对较小，可能限制了深度学习模型的训练效果。在构建过程中，研究人员还需克服数据采集的同步性、标注一致性以及深度信息与RGB数据的融合等技术难题。这些挑战共同构成了TUC-HRI数据集在推动人机交互研究中的关键障碍。

常用场景

经典使用场景

TUC-HRI数据集在计算机视觉和机器学习领域中被广泛用于人类动作识别的研究。该数据集通过提供多视角的视频序列，涵盖了11种不同的动作类别，如挥手、指向、鼓掌等，为研究者提供了一个丰富的实验平台。通过使用这些数据，研究人员可以训练和验证动作识别模型，探索人类与机器人交互中的复杂行为模式。

衍生相关工作

基于TUC-HRI数据集，许多经典的研究工作得以展开。例如，研究者开发了多种深度学习模型，如卷积神经网络（CNN）和循环神经网络（RNN），用于动作识别任务。这些模型在TUC-HRI数据集上进行了广泛的实验和验证，推动了人类动作识别技术的发展。此外，该数据集还促进了多模态数据融合方法的研究，为未来的智能系统设计提供了新的思路。

数据集最近研究

最新研究方向

在人类-机器人交互（HRI）领域，TUC-HRI数据集为研究者提供了一个丰富的资源，用于探索和理解人类行为识别及其在机器人技术中的应用。该数据集包含了11种不同的动作类别，如挥手、指向和跳跃等，这些动作的识别对于提高机器人的交互能力至关重要。近年来，随着深度学习和计算机视觉技术的进步，研究者们开始利用TUC-HRI数据集开发更高效的动作识别算法，这些算法不仅提高了识别的准确性，还增强了机器人对复杂人类行为的理解能力。此外，该数据集的多视角视频序列为研究多视角动作识别提供了可能，这在增强现实和虚拟现实应用中具有重要的实际意义。通过这种跨学科的研究，TUC-HRI数据集正推动着人机交互技术向更加自然和直观的方向发展。