depth_coco
收藏数据集卡片 for MS COCO Depth Maps
数据集详情
数据集描述
该数据集包含从MS COCO（Common Objects in Context）数据集图像生成的深度图，使用Depth-Anything-V2模型生成。它为原始MS COCO数据集中的每张图像提供了深度信息，为计算机视觉和机器学习研究提供了新的数据维度。数据集包括原始MS COCO图像及其相应的深度图，以未压缩和压缩格式提供。
- 许可证： CC-BY-NC-4.0
数据集来源
- 原始MS COCO数据集： https://cocodataset.org/
- Depth-Anything-V2模型： https://github.com/DepthAnything/Depth-Anything-V2
用途
直接用途
该数据集旨在用于计算机视觉、机器学习和相关领域的非商业研究目的。它可以用于以下任务：
- 深度估计模型的训练和评估
- 结合RGB图像和深度信息的多模态学习
- 场景理解和3D重建研究
- 深度估计算法的基准测试
超出范围的用途
该数据集不应用于：
- 商业目的
- 可能违反CC-BY-NC-4.0许可证条款的任何应用
- 作为安全关键应用中实际深度传感器数据的替代品
- 对图像中描绘的个人或特定位置进行推断
数据集结构
数据集包含来自MS COCO的原始图像及其相应的深度图，分为训练集和验证集。每个集合包括原始图像、未压缩深度图和压缩深度图。
数据集的结构如下：
data ├── train │ ├── images │ │ ├── img1.jpg │ │ ├── img2.jpg │ │ ├── img3.jpg │ │ └── ... │ ├── depth │ │ ├── depthmap1.npy │ │ ├── depthmap2.npy │ │ ├── depthmap3.npy │ │ └── ... │ └── compressed_depth │ ├── depthmap1.npz │ ├── depthmap2.npz │ ├── depthmap3.npz │ └── ... └── val ├── images │ ├── img1.jpg │ ├── img2.jpg │ ├── img3.jpg │ └── ... ├── depth │ ├── depthmap1.npy │ ├── depthmap2.npy │ ├── depthmap3.npy │ └── ... └── compressed_depth ├── depthmap1.npz ├── depthmap2.npz ├── depthmap3.npz └── ...
- Images：原始MS COCO图像，JPEG格式。
- Depth：未压缩深度图，NumPy (.npy) 格式。
- Compressed Depth：压缩深度图，NumPy Zip (.npz) 格式，用于更高效的存储和加载。
数据集保持了MS COCO的原始训练/验证分割，确保与源数据集的基准测试和比较一致性。
数据集创建
策划理由
该数据集是为了为广泛使用的MS COCO数据集提供深度信息而创建的，使研究人员能够使用大规模、多样化的图像数据集探索深度感知的计算机视觉任务。原始图像和深度图的包含促进了多模态学习和深度估计算法的基准测试。
源数据
数据收集和处理
- 使用原始MS COCO数据集图像作为输入。
- 每张图像使用Depth-Anything-V2模型处理以生成相应的深度图。
- 生成的深度图以未压缩 (.npy) 和压缩 (.npz) 格式保存。
- 原始图像和深度图按照上述数据集结构组织。
源数据生产者
原始MS COCO数据集由COCO联盟的大量研究人员和标注者创建。深度图使用浙江大学和上海AI实验室的研究人员开发的Depth-Anything-V2模型生成。
个人和敏感信息
该数据集没有引入原始MS COCO数据集之外的任何新的个人或敏感信息。用户应参考MS COCO数据集文档了解原始图像中潜在的敏感内容信息。
偏差、风险和限制
- 深度图是由模型生成的估计值，可能包含Depth-Anything-V2模型中的不准确性或偏差。
- 数据集继承了原始MS COCO数据集中的任何偏差。
- 深度图可能无法准确表示所有场景中的真实世界深度，尤其是在复杂或模糊的场景中。
- 数据集受限于MS COCO中存在的场景和对象类型，可能不代表所有真实世界环境。
建议
- 用户应意识到模型生成深度图的限制，并针对其特定用例验证结果。
- 建议在关键应用中结合其他深度估计技术使用此数据集。
- 研究人员在使用此派生数据集时应考虑原始MS COCO数据集中的潜在偏差。
- 在使用此数据集发布结果时，应给予MS COCO和Depth-Anything-V2模型适当的归属。
引用
@misc {neil_de_la_fuente_2024, author = { {Neil de la fuente} }, title = { depth_coco (Revision bed8825) }, year = 2024, url = { https://huggingface.co/datasets/neildlf/depth_coco }, doi = { 10.57967/hf/2704 }, publisher = { Hugging Face } }
