neildlf/depth_coco
收藏MS COCO Depth Maps 数据集概述
数据集描述
该数据集包含从MS COCO（Common Objects in Context）数据集图像生成的深度图，使用Depth-Anything-V2模型生成。数据集提供了原始MS COCO图像及其对应的深度图，包括未压缩和压缩格式。
- 创建者: Neil De La Fuente
- 共享者: Neil De La Fuente
- 许可证: CC-BY-NC-4.0
数据集来源
- 原始MS COCO数据集: https://cocodataset.org/
- Depth-Anything-V2模型: https://github.com/DepthAnything/Depth-Anything-V2
数据集用途
直接用途
该数据集适用于计算机视觉、机器学习和相关领域的非商业研究用途，可用于以下任务：
- 深度估计模型的训练和评估
- 结合RGB图像和深度信息的多模态学习
- 场景理解和3D重建研究
- 深度估计算法的基准测试
超出范围的用途
该数据集不应用于：
- 商业目的
- 可能违反CC-BY-NC-4.0许可证条款的应用
- 在安全关键应用中替代实际深度传感器数据
- 对图像中描绘的个人或特定位置进行推断
数据集结构
数据集包含原始MS COCO图像及其对应的深度图，分为训练集和验证集。每个集合包括原始图像、未压缩深度图和压缩深度图。
数据集结构如下：
data ├── train │ ├── images │ │ ├── img1.jpg │ │ ├── img2.jpg │ │ ├── img3.jpg │ │ └── ... │ ├── depth │ │ ├── depthmap1.npy │ │ ├── depthmap2.npy │ │ ├── depthmap3.npy │ │ └── ... │ └── compressed_depth │ ├── depthmap1.npz │ ├── depthmap2.npz │ ├── depthmap3.npz │ └── ... └── val ├── images │ ├── img1.jpg │ ├── img2.jpg │ ├── img3.jpg │ └── ... ├── depth │ ├── depthmap1.npy │ ├── depthmap2.npy │ ├── depthmap3.npy │ └── ... └── compressed_depth ├── depthmap1.npz ├── depthmap2.npz ├── depthmap3.npz └── ...
- Images: 原始MS COCO图像，JPEG格式。
- Depth: 未压缩深度图，NumPy (.npy) 格式。
- Compressed Depth: 压缩深度图，NumPy Zip (.npz) 格式，用于更高效的存储和加载。
数据集保持了MS COCO的原始训练/验证分割，确保与源数据集的一致性，便于基准测试和比较。
数据集创建
创建理由
该数据集旨在为广泛使用的MS COCO数据集提供深度信息，使研究人员能够使用大规模、多样化的图像数据集探索深度感知的计算机视觉任务。原始图像和深度图的包含促进了多模态学习和深度估计算法的基准测试。
数据收集和处理
- 使用原始MS COCO数据集图像作为输入。
- 每张图像使用Depth-Anything-V2模型处理，生成对应的深度图。
- 生成的深度图保存为未压缩 (.npy) 和压缩 (.npz) 格式。
- 原始图像和深度图按上述结构组织到数据集中。
数据来源
- 原始MS COCO数据集由COCO Consortium的大量研究人员和标注者创建。
- 深度图使用Zhejiang University和Shanghai AI Laboratory研究人员开发的Depth-Anything-V2模型生成。
个人和敏感信息
该数据集未引入原始MS COCO数据集之外的任何新个人或敏感信息。用户应参考MS COCO数据集文档了解原始图像中可能存在的敏感内容。
偏差、风险和限制
- 深度图是模型生成的估计值，可能包含Depth-Anything-V2模型中的不准确性或偏差。
- 数据集继承了原始MS COCO数据集中的任何偏差。
- 深度图可能无法准确表示所有场景中的真实世界深度，尤其是在复杂或模糊的场景中。
- 数据集仅限于MS COCO中存在的场景和对象类型，可能无法代表所有真实世界环境。
建议
- 用户应了解模型生成深度图的局限性，并验证其特定用例的结果。
- 建议在关键应用中结合其他深度估计技术使用此数据集。
- 研究人员在使用此派生数据集时应考虑原始MS COCO数据集中可能存在的偏差。
- 在使用此数据集发布结果时，应适当引用MS COCO和Depth-Anything-V2模型。
引用
@misc {neil_de_la_fuente_2024, author = { {Neil de la fuente} }, title = { depth_coco (Revision bed8825) }, year = 2024, url = { https://huggingface.co/datasets/neildlf/depth_coco }, doi = { 10.57967/hf/2704 }, publisher = { Hugging Face } }
