有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
Replica Dataset|室内场景重建数据集|机器学习数据集
收藏arXiv2019-06-14 更新2024-06-21 收录
下载链接：
https://github.com/facebookresearch/Replica-Dataset
下载链接
链接失效反馈资源简介：
Replica数据集由Facebook Reality Labs创建，包含18个高分辨率和高动态范围（HDR）的室内场景重建。每个场景包含密集网格、高分辨率HDR纹理、每基元的语义类别和实例信息，以及平面镜和玻璃反射器。数据集旨在支持依赖于视觉、几何和语义真实生成模型的机器学习研究，如第一人称计算机视觉、2D和3D语义分割、几何推理和具身代理的开发。由于Replica渲染的高度真实性，训练于该数据集的ML系统有望直接转移到真实世界的图像和视频数据。
提供机构：
Facebook Reality Labs
创建时间：
2019-06-14
AI搜集汇总
数据集介绍
构建方式
Replica数据集的构建采用了自定义的RGB-D捕获装置，通过融合时间同步的IMU、RGB、IR和宽角灰度传感器数据，使用SLAM系统进行6自由度位姿估计，并利用深度数据进行表面重建。随后，通过标准化的Marching Cubes算法提取网格，使用Instant Meshes算法简化网格，并通过PTex-like系统进行纹理映射。对于平面反射器和孔洞，采用手动修复和自动检测填充的方法，确保了模型的高质量。语义标注则通过渲染图像进行2D标注，然后融合到3D网格中，并进行细化修正。
特点
Replica数据集的特点在于其高分辨率和高动态范围的纹理，以及详细的语义类和实例标注。它包含18个高保真的室内场景重建，每个场景都包含密集网格、高分辨率HDR纹理、语义类和实例分割信息，以及可渲染的平面镜和玻璃反射器。数据集的多样性体现在场景类型和对象实例上，涵盖了88个语义类，为机器学习任务提供了丰富的学习材料。
使用方法
使用Replica数据集时，可以通过GitHub上的官方仓库获取数据集和最小的C++ SDK。数据集与AI Habitat兼容，可以直接用于训练和测试具身智能体。推荐使用AI Habitat进行渲染，该平台支持RGB、深度、语义实例和语义类分割图像的渲染，并且可以与PyTorch深度学习框架无缝集成。
背景与挑战
背景概述
Replica数据集是一个包含18个高质量室内空间三维重建的场景数据集，由Facebook Reality Labs和Facebook AI Research团队共同创建。该数据集旨在为机器学习研究提供视觉、几何和语义上真实的世界模型，适用于第一人称计算机视觉、语义分割、几何推理以及Embodied Agents（虚拟机器人）的导航、指令跟随和问答等任务。Replica数据集的特点是高分辨率和高动态范围（HDR）纹理、每原语的语义类和实例分割，以及可渲染的平面镜和玻璃反射器。该数据集的创建时间为2019年，主要研究人员包括Julian Straub、Thomas Whelan、Lingni Ma等，影响力遍及计算机视觉、机器人学、虚拟现实等多个领域。
当前挑战
Replica数据集在构建过程中遇到的挑战包括：1) 如何在高分辨率下实现室内空间的三维重建；2) 如何精确地进行语义分割，包括平面镜和玻璃反射器的标注；3) 如何处理数据集收集、处理、清洗和语义标注中的各种问题；4) 如何确保数据集的质量和实用性，以便机器学习系统能够在现实世界图像和视频数据上直接迁移。此外，Replica数据集在解决领域问题（例如，Embodied Agents的导航、指令跟随和问答等）时面临的挑战包括：如何模拟真实世界的复杂性和多样性，以及如何评估和改进Embodied Agents在真实世界中的表现。
常用场景
经典使用场景
Replica数据集是一个包含18个高保真室内场景重建的数据库，每个场景都由密集的网格、高分辨率高动态范围（HDR）纹理、每个原语的语义类和实例信息以及平面镜和玻璃反射器组成。其经典使用场景包括egocentric计算机视觉、2D和3D的语义分割、几何推断以及Embodied Agents（虚拟机器人）的导航、指令跟随和问题回答等任务。
衍生相关工作
Replica数据集的发布促进了相关领域的研究，如AI Habitat平台的发展，该平台可以直接使用Replica数据集进行Embodied AI的研究。此外，Replica数据集也激发了更多关于室内场景理解、机器人导航和虚拟现实的研究工作。
数据集最近研究
最新研究方向
Replica数据集为室内空间的三维重建提供了高度逼真的模型，其研究方向主要集中在利用这些模型进行机器学习任务，如自我中心计算机视觉、二维和三维的语义分割、几何推理以及开发能够进行导航、指令跟随和问题回答的具身智能体（虚拟机器人）。数据集的高逼真度使得基于Replica训练的机器学习系统能够直接转移到现实世界的图像和视频数据中。
相关研究论文
- 1The Replica Dataset: A Digital Replica of Indoor SpacesFacebook Reality Labs · 2019年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国1km分辨率逐月降水量数据集（1901-2023）
该数据集为中国逐月降水量数据，空间分辨率为0.0083333°（约1km），时间为1901.1-2023.12。数据格式为NETCDF，即.nc格式。该数据集是根据CRU发布的全球0.5°气候数据集以及WorldClim发布的全球高分辨率气候数据集，通过Delta空间降尺度方案在中国降尺度生成的。并且，使用496个独立气象观测点数据进行验证，验证结果可信。本数据集包含的地理空间范围是全国主要陆地（包含港澳台地区），不含南海岛礁等区域。为了便于存储，数据均为int16型存于nc文件中，降水单位为0.1mm。 nc数据可使用ArcMAP软件打开制图; 并可用Matlab软件进行提取处理，Matlab发布了读入与存储nc文件的函数，读取函数为ncread，切换到nc文件存储文件夹，语句表达为：ncread (‘XXX.nc’,‘var’, [i j t],[leni lenj lent])，其中XXX.nc为文件名，为字符串需要’’；var是从XXX.nc中读取的变量名，为字符串需要’’；i、j、t分别为读取数据的起始行、列、时间，leni、lenj、lent i分别为在行、列、时间维度上读取的长度。这样，研究区内任何地区、任何时间段均可用此函数读取。Matlab的help里面有很多关于nc数据的命令，可查看。数据坐标系统建议使用WGS84。
国家青藏高原科学数据中心 收录
Nexdata/chinese_dialect
该数据集包含25,000小时的中文方言语音数据，收集自多个方言区域的本地方言使用者，涵盖闽南语、粤语、四川话、河南话、东北话、上海话、维吾尔语和藏语等。数据格式为16kHz、16bit、未压缩的wav文件，单声道。句子准确率超过95%。数据集支持的任务包括自动语音识别（ASR）和音频说话人识别。
hugging_face 收录
猫狗图像数据集
该数据集包含猫和狗的图像，每类各12500张。训练集和测试集分别包含10000张和2500张图像，用于模型的训练和评估。
github 收录
OpenSonarDatasets
OpenSonarDatasets是一个致力于整合开放源代码声纳数据集的仓库，旨在为水下研究和开发提供便利。该仓库鼓励研究人员扩展当前的数据集集合，以增加开放源代码声纳数据集的可见性，并提供一个更容易查找和比较数据集的方式。
github 收录
MedDialog
MedDialog数据集（中文）包含了医生和患者之间的对话（中文）。它有110万个对话和400万个话语。数据还在不断增长，会有更多的对话加入。原始对话来自好大夫网。
github 收录