ETRI-Activity3D

ETRI-Activity3D是一个专注于老年人日常活动的大型3D动作识别数据集，由电子和电信研究所创建。该数据集包含112,620个样本，包括RGB视频、深度图和骨骼序列，记录了100名参与者执行的55种日常活动。数据收集过程考虑了机器人的工作环境和实际服务情况，确保数据的真实性和实用性。此数据集旨在解决现有3D活动分析基准数据集的局限性，特别是在活动类别和环境条件上的多样性不足。ETRI-Activity3D的应用领域包括机器人智能研究和老年人护理技术，旨在通过提供丰富的动作数据来推动相关技术的发展。

ETRI-Activity3D is a large-scale 3D action recognition dataset focused on daily activities of the elderly, created by the Electronics and Telecommunications Research Institute (ETRI). It contains 112,620 samples, including RGB videos, depth maps and skeletal sequences, which record 55 daily activities performed by 100 participants. The data collection process takes into account the working environment and actual service scenarios of robots, ensuring the authenticity and practicality of the dataset. This dataset aims to address the limitations of existing 3D activity analysis benchmark datasets, particularly the insufficient diversity in activity categories and environmental conditions. The application fields of ETRI-Activity3D include robotic intelligence research and elderly care technologies, aiming to promote the development of relevant technologies by providing abundant action data.

搜集汇总

数据集介绍

构建方式

在机器人视觉领域，针对老年人日常活动识别的数据集构建面临独特挑战。ETRI-Activity3D的构建始于对53位70岁以上老年人家庭生活的实地观察，系统记录其从早至晚的行为模式，据此筛选出55类高频动作。数据采集环节在模拟老年人居住环境的公寓中进行，招募了50位64至88岁的老年人及50位20岁左右的年轻人作为受试者，以Kinect v2传感器同步捕获RGB视频、深度图与骨骼序列。采集设备依据典型护理机器人高度设定于70厘米与120厘米位置，通过四个多视角平台捕捉1.5至3.5米距离内的动作，并鼓励受试者以自然姿态在不同场景下完成动作，最终形成包含112,620个样本的大规模多模态数据集。

特点

该数据集的核心特点体现在其高度的实用性与真实性。动作类别源于对老年人日常生活的细致观察，涵盖进食、清洁等52类日常活动及3类人机交互特定动作，确保了类别设置的现实意义。数据采集环境模拟真实居住空间，纳入不同时段、地点与人体姿态的变异，特别包含了机器人服务中常见的背部视角动作，增强了识别任务的挑战性。作为当前规模最大的3D日常活动数据集之一，其样本量达11万余条，同时提供了跨年龄组的对比数据，为研究老年人与年轻人行为差异提供了宝贵资源。

使用方法

ETRI-Activity3D适用于三维动作识别算法的开发与评估，尤其聚焦于老年人日常活动分析与机器人视觉应用。研究者可采用其提供的RGB视频、深度图及25关节点骨骼序列进行多模态学习，数据集已划分基于受试者的交叉验证协议，支持训练集与测试集的标准化使用。为提升模型鲁棒性，建议利用数据中天然存在的视角、距离与背景变化进行增强训练，并可结合论文提出的四流自适应卷积网络（FSA-CNN）框架，通过全局池化处理可变长度输入，以应对动作时长差异。此外，数据集支持跨年龄域差异分析，可用于探索针对老年人群体的专用识别模型优化。

背景与挑战

背景概述

随着深度学习技术在计算机视觉领域的广泛应用，数据驱动的算法对大规模、高质量数据集的需求日益迫切。在此背景下，韩国电子通信研究院（ETRI）的研究团队于近年推出了ETRI-Activity3D数据集，专注于从机器人视角捕捉老年人的日常活动行为。该数据集的核心研究问题在于解决现有3D动作识别数据集中存在的场景单一、样本规模有限以及缺乏针对老年人行为模式真实反映的不足。通过采集112,620个包含RGB视频、深度图与骨骼序列的样本，涵盖55类日常活动，并由100名受试者（包括50名老年人）在模拟家居环境中完成数据构建，ETRI-Activity3D不仅丰富了机器人服务与老年关怀领域的研究资源，也为跨年龄行为分析提供了重要的实证基础。

当前挑战

ETRI-Activity3D数据集致力于解决机器人视角下老年人日常活动识别这一领域问题，其核心挑战在于如何准确捕捉并建模老年人动作的缓慢性、高个体差异以及复杂环境交互特性。在构建过程中，研究团队面临多重困难：首先，数据采集需在模拟真实家居环境的公寓中进行，涉及多视角、多距离的同步记录，并需协调大量老年受试者以自然方式完成动作，这对实验设计与伦理合规提出了较高要求；其次，为增强数据实用性，团队必须涵盖背部朝向、狭窄空间等机器人服务中常见但识别难度较高的场景，这增加了数据标注与质量控制的复杂性；此外，构建大规模3D动作数据集无法像2D数据那样依赖视频共享或众包平台，导致数据获取成本高昂且流程繁琐。

常用场景

经典使用场景

在机器人视觉与老年护理的交叉领域，ETRI-Activity3D数据集为三维日常活动识别提供了关键基准。该数据集通过Kinect v2传感器采集，包含RGB视频、深度图与骨骼序列等多模态数据，专注于从机器人视角记录老年人的日常行为。其经典应用场景集中于开发与评估动作识别算法，尤其是在模拟真实家居环境中，研究者利用该数据集训练模型以精准辨识如进食、清洁、阅读等55类高频活动，从而推动服务机器人在复杂场景下的感知能力提升。

衍生相关工作

围绕ETRI-Activity3D，学术界衍生了一系列经典研究工作，尤其在多模态动作识别架构上取得进展。例如，论文提出的四流自适应卷积神经网络（FSA-CNN）融合了骨骼序列的时空差分与空间差分特征，增强了模型对输入长度变异与噪声的鲁棒性。后续研究进一步探索了图卷积网络（如ST-GCN）在骨骼数据上的应用，以及RGB与深度信息的协同训练方法（如Deep Bilinear Learning），这些工作共同推动了三维动作识别在算法创新与跨域泛化方面的深入发展。

数据集最近研究

最新研究方向

在机器人辅助老年护理领域，ETRI-Activity3D数据集正推动着三维动作识别的前沿探索。该数据集聚焦于从机器人视角捕捉老年人的日常活动，其大规模、多模态特性为研究提供了丰富资源。当前研究热点集中于开发能够应对时空变化的鲁棒性神经网络架构，例如四流自适应卷积网络（FSA-CNN），该网络通过全局池化处理可变长度输入，并利用激活网络实现输入自适应，显著提升了动作识别的准确性。同时，跨年龄域差异分析成为重要研究方向，揭示了老年人与年轻人在行为模式上的显著区别，强调了在数据集中纳入老年受试者的必要性。此外，融合二维与三维骨架数据的多模态方法正受到关注，通过结合RGB视频提取的二维骨架与深度传感器获取的三维骨架，能够互补信息，进一步提升模型在真实场景中的适用性。这些进展不仅深化了对老年人日常行为的理解，也为开发更智能、适应性更强的护理机器人奠定了坚实基础。

相关研究论文

• ETRI-Activity3D: A Large-Scale RGB-D Dataset for Robots to Recognize Daily Activities of the Elderly

  电子和电信研究所 · 2020年