有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
RealToF|深度感知数据集|3D重建数据集
收藏arXiv2024-12-18 更新2024-12-25 收录
下载链接：
https://www.youtube.com/watch?v=jy-Sp7T1LVs&feature=youtu.be
下载链接
链接失效反馈资源简介：
RealToF数据集是由中南大学和清华大学等机构创建的，旨在支持移动设备上的ToF和双目立体视觉深度感知研究。该数据集包含150个多样化的室内场景，使用华为P40Pro设备上的ToF和双RGB摄像头采集数据，并通过Intel RealSense深度摄像头和激光测距仪获取精确的地面真实数据。数据集的创建过程结合了物理原理和环境因素，确保了深度误差的准确表征。RealToF数据集主要应用于3D重建和3D分割等下游任务，旨在提高移动设备上的深度感知精度。
提供机构：
中南大学、清华大学、上海传音控股有限公司、首尔国立大学
创建时间：
2024-12-18
AI搜集汇总
数据集介绍
构建方式
RealToF数据集的构建采用了多设备协同采集的方式，结合了华为P40 Pro的ToF传感器和双RGB摄像头，确保了数据的多样性和真实性。为了获取高精度的深度真值，研究人员使用了Intel RealSense深度相机和激光测距仪进行联合标定，确保了深度数据的准确性。此外，数据采集过程中还采用了多场景、多设备的策略，涵盖了150个不同的室内场景，确保了数据集的广泛性和代表性。
特点
RealToF数据集的特点在于其高精度的深度真值和多模态数据的对齐。数据集不仅包含了ToF深度图和立体匹配深度图，还提供了RGB图像和法线图，确保了数据的多样性和丰富性。此外，数据集中的每个场景都经过了严格的像素级对齐，避免了区域遮挡和像素位移问题，确保了数据的准确性和一致性。RealToF数据集还涵盖了多种材质和复杂场景，能够有效支持深度感知系统的训练和验证。
使用方法
RealToF数据集主要用于训练和验证深度感知系统，特别是ToF与立体匹配融合的模型。研究人员可以通过该数据集进行深度误差分析、多模态数据融合以及深度图的精确生成。数据集中的RGB图像、ToF深度图和立体匹配深度图可以作为输入，用于训练深度感知模型，而深度真值则用于模型的监督学习。此外，RealToF数据集还可以用于评估深度感知系统在3D重建、3D分割等下游任务中的性能，为深度感知技术的应用提供了坚实的基础。
背景与挑战
背景概述
RealToF数据集是由中央南大学、清华大学、上海传音控股有限公司及首尔国立大学的研究团队于2024年创建，旨在解决移动设备上的高精度深度感知问题。该数据集结合了双RGB摄像头和飞行时间（ToF）传感器的数据，通过多数据融合策略生成精确的深度图。RealToF的创建填补了现有数据集中缺乏真实场景下ToF与立体匹配融合数据的空白，推动了移动设备在3D重建、3D分割等深度依赖任务中的应用。该数据集包含150个多样化的室内场景，数据采集设备包括华为P40 Pro的ToF和双RGB摄像头，并通过Intel RealSense深度相机和激光测距仪提供高精度的地面真实数据。
当前挑战
RealToF数据集在构建过程中面临两大挑战。首先，移动设备上的ToF和立体匹配深度感知原理存在显著差异，导致深度误差分布不同。ToF对物体材质和表面特性敏感，而立体匹配则受物体纹理分布和光照条件影响较大。这种异质性使得精确比较两种方法的深度测量结果变得复杂，且缺乏有效的移动ToF深度误差检测器。其次，现有ToF与立体匹配融合数据集在场景多样性、规模和真实性方面存在局限，难以全面反映真实环境中的深度测量影响因素。RealToF通过采集多样化的室内场景数据，并确保像素级对齐和精确的地面真实数据，克服了这些挑战，为ToF与立体匹配融合研究提供了高质量的数据支持。
常用场景
经典使用场景
RealToF数据集在移动设备上的深度感知系统中发挥了关键作用，特别是在结合双RGB摄像头和飞行时间（ToF）传感器的深度感知任务中。该数据集通过提供精确的深度误差指示（DEI）模态，帮助系统在复杂环境中生成高精度的深度图。其经典使用场景包括3D重建、3D分割、增强现实（AR）以及景深效果渲染等任务，显著提升了移动设备在这些应用中的表现。
衍生相关工作
RealToF数据集的发布推动了多个相关领域的研究进展。基于该数据集，研究者开发了多种深度感知算法，如MobiFuse系统，该系统通过融合ToF和立体匹配的深度信息，显著提升了深度测量的精度和效率。此外，RealToF还激发了更多关于ToF-立体融合的研究，例如基于深度误差特征的融合策略和轻量级深度感知模型的开发。这些工作不仅扩展了数据集的应用范围，也为移动设备深度感知技术的进一步发展提供了理论支持。
数据集最近研究
最新研究方向
在移动设备深度感知领域，RealToF数据集的最新研究方向聚焦于高精度的深度感知系统开发，特别是通过融合双RGB摄像头和飞行时间（ToF）传感器的数据来提升深度测量的准确性。研究团队提出了一种名为MobiFuse的系统，该系统通过引入深度误差指示（DEI）模态，结合ToF和立体匹配的几何特征，生成精确的深度图。此外，研究还创建了RealToF数据集，用于训练和验证模型。实验结果表明，MobiFuse在减少深度测量误差方面表现出色，误差降低了高达77.7%，并在3D重建和3D分割等下游任务中展现了强大的泛化能力。这一研究不仅推动了移动设备深度感知技术的发展，还为增强现实（AR）和虚拟现实（VR）等应用提供了更可靠的技术支持。
相关研究论文
- 1MobiFuse: A High-Precision On-device Depth Perception System with Multi-Data Fusion中南大学、清华大学、上海传音控股有限公司、首尔国立大学 · 2024年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国1km分辨率逐月降水量数据集（1901-2023）
该数据集为中国逐月降水量数据，空间分辨率为0.0083333°（约1km），时间为1901.1-2023.12。数据格式为NETCDF，即.nc格式。该数据集是根据CRU发布的全球0.5°气候数据集以及WorldClim发布的全球高分辨率气候数据集，通过Delta空间降尺度方案在中国降尺度生成的。并且，使用496个独立气象观测点数据进行验证，验证结果可信。本数据集包含的地理空间范围是全国主要陆地（包含港澳台地区），不含南海岛礁等区域。为了便于存储，数据均为int16型存于nc文件中，降水单位为0.1mm。 nc数据可使用ArcMAP软件打开制图; 并可用Matlab软件进行提取处理，Matlab发布了读入与存储nc文件的函数，读取函数为ncread，切换到nc文件存储文件夹，语句表达为：ncread (‘XXX.nc’,‘var’, [i j t],[leni lenj lent])，其中XXX.nc为文件名，为字符串需要’’；var是从XXX.nc中读取的变量名，为字符串需要’’；i、j、t分别为读取数据的起始行、列、时间，leni、lenj、lent i分别为在行、列、时间维度上读取的长度。这样，研究区内任何地区、任何时间段均可用此函数读取。Matlab的help里面有很多关于nc数据的命令，可查看。数据坐标系统建议使用WGS84。
国家青藏高原科学数据中心 收录
Natural Scene Braille Character Recognition Dataset
There are a total of 1157 Braille segment images in this dataset, including 925 in the training set and 232 in the testing set. There are two folders in the directory of this dataset: character_label and segment_label. The character_rabel file contains three formats of Braille segment images: (1) Braille segment images and label files stored in ICDAR-2015 format, each. jpg file corresponds to a. txt file, where each line stores the position and recognition label of a braille character rectangle box. The data corresponds to the coordinates of the four points in the rectangle box and the recognized numerical label; (2) The original format of the data is stored in the folder org. Each .jpg file in this folder corresponds to a .json file which marked by labelme software; (3) VOC format, stored in voc-data folder. This folder stores images and corresponding .xml files in VOC format, and marks the position of each braille character rectangle box and its corresponding numerical label information in the .xml file. In addition, the original Braille images of natural scenes and the corresponding Braille segment markings .json files are stored in the folder segment_label.
DataCite Commons 收录
AIS数据集
该研究使用了多个公开的AIS数据集，这些数据集经过过滤、清理和统计分析。数据集涵盖了多种类型的船舶，并提供了关于船舶位置、速度和航向的关键信息。数据集包括来自19,185艘船舶的AIS消息，总计约6.4亿条记录。
github 收录
GME Data
关于2021年GameStop股票活动的数据，包括每日合并的GME短期成交量数据、每日失败交付数据、可借股数、期权链数据以及不同时间框架的开盘/最高/最低/收盘/成交量条形图。
github 收录
Materials Project
材料项目是一组标有不同属性的化合物。数据集链接： MP 2018.6.1（69,239 个材料） MP 2019.4.1（133,420 个材料）
OpenDataLab 收录