five

X-RAGE|扩展现实数据集|手势识别数据集

收藏
arXiv2024-10-25 更新2024-10-29 收录
扩展现实
手势识别
下载链接:
https://gitlab.com/NVM_IITD_Research/xrage
下载链接
链接失效反馈
资源简介:
X-RAGE数据集是由印度理工学院德里分校和Meta Reality Labs Research合作创建的,专门用于扩展现实(XR)设备的手势和动作识别。该数据集利用事件相机捕捉第一人称视角的手势数据,包含36种独特的手势,涵盖单手和双手动作,总数据量为8064条。数据集在多种环境(包括室内和室外)和不同光照条件下录制,以模拟真实世界的应用场景。创建过程中考虑了环境光照和个性化差异,旨在提供一个全面的基准,适用于实际部署。该数据集主要应用于XR设备的手势识别,旨在解决传统基于帧的视觉系统在数据带宽和快速运动捕捉方面的局限性。
提供机构:
印度理工学院德里分校
创建时间:
2024-10-25
AI搜集汇总
数据集介绍
main_image_url
构建方式
X-RAGE数据集通过使用Prophesee EVK4事件相机进行构建,该相机被固定在受试者的头部,以获取第一人称视角(FPV)的数据。数据采集在室内和室外多种场景中进行,包括静态和动态环境,以及不同的光照条件。每个受试者执行36种独特的动作和手势,每种手势重复6次,确保了数据集的多样性和全面性。此外,数据集还考虑了个人差异和环境因素,以模拟真实世界的复杂性。
使用方法
X-RAGE数据集适用于开发和评估扩展现实(XR)设备中的手势和动作识别算法。其第一人称视角特性使其特别适合用于智能眼镜、头戴式显示器和其他可穿戴设备的手势识别系统。此外,数据集还可用于辅助技术、人机交互、智能家居和物联网设备以及汽车界面等领域,为这些应用提供更直观和响应迅速的交互方式。未来版本的数据集还将包含手部跟踪的边界框数据,进一步增强其应用潜力。
背景与挑战
背景概述
随着元宇宙和可穿戴设备的兴起,基于手势的人机交互在近年来变得尤为重要。为了实现虚拟现实(VR)和增强现实(AR)头戴设备的手势识别,近年来出现了多个以第一人称视角(FPV)为重点的数据集。然而,传统的基于帧的视觉方法在数据带宽需求和捕捉快速运动方面存在局限性。为了克服这些限制,生物启发的事件相机提供了一种有吸引力的替代方案。X-RAGE数据集由印度理工学院德里分校和Meta Reality Labs Research的研究人员于2024年创建,是首个基于事件相机的第一人称手势和动作数据集,旨在为扩展现实(XR)领域的手势识别提供神经形态、低功耗的解决方案。该数据集的公开发布为研究社区提供了一个全面的基准,以推动事件相机在XR应用中的发展。
当前挑战
X-RAGE数据集在构建过程中面临了多个挑战。首先,事件相机的异步事件数据表示方式虽然能够有效减少内存带宽和计算需求,但其数据处理和特征提取方法与传统帧数据有显著不同,需要开发新的算法和模型。其次,数据集在不同光照条件和动态环境下的采集,增加了数据处理的复杂性,特别是在捕捉快速运动和动态光照变化时。此外,数据集包含了36种独特的手势,涵盖了单手和双手操作,这为手势识别算法的鲁棒性和准确性提出了更高的要求。最后,数据集的多样性和广泛性,虽然增强了其在实际应用中的适用性,但也对算法的泛化能力和实时处理性能提出了挑战。
常用场景
经典使用场景
X-RAGE数据集在扩展现实(XR)领域中,主要用于开发和优化基于事件相机的手势识别系统。其经典使用场景包括在虚拟现实(VR)、增强现实(AR)和混合现实(MR)环境中,实现用户与虚拟对象的直观交互。通过捕捉用户在不同光照条件和动态环境下的手势动作,X-RAGE数据集为研究人员提供了丰富的数据资源,以训练和验证手势识别算法,从而提升XR设备的交互体验。
解决学术问题
X-RAGE数据集解决了传统基于帧的视觉系统在处理高速运动和复杂光照条件下的局限性问题。通过采用事件相机,该数据集能够捕捉到高动态范围和低延迟的手势数据,为研究人员提供了一个强大的工具来探索和开发新型的人机交互技术。此外,X-RAGE数据集的多样性和全面性,使其成为评估和比较不同手势识别算法性能的标准基准,推动了计算机视觉和人类行为分析领域的发展。
实际应用
X-RAGE数据集在实际应用中具有广泛的前景,特别是在智能穿戴设备、智能家居和物联网(IoT)领域。例如,在智能眼镜和头戴式显示器中,基于X-RAGE数据集开发的手势识别系统可以实现用户与设备的自然交互,提升用户体验。此外,该数据集还可用于开发辅助技术,如为行动不便的用户提供更便捷的交互方式,以及在智能家电和IoT设备中实现手势控制,增强设备的易用性和智能化水平。
数据集最近研究
最新研究方向
在扩展现实(XR)和可穿戴设备领域,X-RAGE数据集的最新研究方向主要集中在利用事件相机进行低功耗、高效率的手势识别。该数据集通过引入事件相机技术,克服了传统基于帧的视觉系统在数据带宽和快速运动捕捉方面的局限性。研究者们致力于开发基于事件相机的神经形态解决方案,以实现更自然、更沉浸式的XR交互体验。此外,X-RAGE数据集的多样性场景和动态光照条件,使其成为评估和优化手势识别算法的重要基准,推动了在智能眼镜、头戴显示器等可穿戴设备中的应用。
相关研究论文
  • 1
    印度理工学院德里分校、Meta Reality Labs Research · 2024年
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4099个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

Figshare

Figshare是一个在线数据共享平台,允许研究人员上传和共享各种类型的研究成果,包括数据集、论文、图像、视频等。它旨在促进科学研究的开放性和可重复性。

figshare.com 收录

马达加斯加岛 – 世界地理数据大百科辞条

马达加斯加岛在非洲的东南部,位于11o56′59″S - 25o36′25″S及43o11′18″E - 50o29′36″E之间。通过莫桑比克海峡与位于非洲大陆的莫桑比克相望,最近距离为415千米。临近的岛屿分别为西北部的科摩罗群岛、北部的塞舌尔群岛、东部的毛里求斯岛和留尼汪岛等。在google earth 2015年遥感影像基础上研发的马达加斯加海岸线数据集表明,马达加斯加岛面积591,128.68平方千米,其中马达加斯加本岛面积589,015.06平方千米,周边小岛面积为2,113.62平方千米。马达加斯加本岛是非洲第一大岛,是仅次于格陵兰、新几内亚岛和加里曼丹岛的世界第四大岛屿。岛的形状呈南北走向狭长纺锤形,南北向长1,572千米;南北窄,中部宽,最宽处达574千米。海岸线总长16,309.27千米, 其中马达加斯加本岛海岸线长10,899.03千米,周边小岛海岸线长5,410.24千米。马达加斯加岛属于马达加斯加共和国。全国共划分22个区,119个县。22个区分别为:阿那拉芒加区,第亚那区,上马齐亚特拉区,博爱尼区,阿齐那那那区,阿齐莫-安德列发那区,萨瓦区,伊达西区,法基南卡拉塔区,邦古拉法区,索非亚区,贝齐博卡区,梅拉基区,阿拉奥特拉-曼古罗区,阿那拉兰基罗富区,阿莫罗尼马尼亚区,法土法韦-非图韦那尼区,阿齐莫-阿齐那那那区,伊霍罗贝区,美那贝区,安德罗伊区和阿诺西区。首都安塔那那利佛(Antananarivo)位于岛屿的中东部。马达加斯加岛是由火山及喀斯特地貌为主。贯穿海岛的是巨大火山岩山体-察腊塔纳山,其主峰马鲁穆库特鲁山(Maromokotro)海拔2,876米,是全国最高峰。马达加斯加自然景观垂直地带性分异显著,是热带雨林和热带草原广布的地区。岛上大约有20多万种动植物,其中包括马达加斯加特有物种狐猴(Lemur catta)、马达加斯加国树猴面包树(Adansonia digitata L.)等。

国家对地观测科学数据中心 收录

广东省标准地图

该数据类主要为广东省标准地图信息。标准地图依据中国和世界各国国界线画法标准编制而成。该数据包括广东省全图、区域地图、地级市地图、县(市、区)地图、专题地图、红色印迹地图等分类。

开放广东 收录

中国区域交通网络数据集

该数据集包含中国各区域的交通网络信息,包括道路、铁路、航空和水路等多种交通方式的网络结构和连接关系。数据集详细记录了各交通节点的位置、交通线路的类型、长度、容量以及相关的交通流量信息。

data.stats.gov.cn 收录

ActivityNet Captions

The ActivityNet Captions dataset is built on ActivityNet v1.3 which includes 20k YouTube untrimmed videos with 100k caption annotations. The videos are 120 seconds long on average. Most of the videos contain over 3 annotated events with corresponding start/end time and human-written sentences, which contain 13.5 words on average. The number of videos in train/validation/test split is 10024/4926/5044, respectively.

Papers with Code 收录