living-room-passes
收藏数据集概述
基本信息
- 语言: 英语
- 许可证: CC BY-SA 4.0
- 数据量: 1K < n < 10K
- 任务类别: 深度估计、图像分类、图像分割、文本到图像、图像到文本、图像到图像、零样本图像分类、掩码生成、零样本目标检测、图像特征提取
- 数据集名称: Living Room Passes
数据集结构
特征字段
id: 字符串camera: 字符串category: 字符串bbox.x1: 整数bbox.y1: 整数bbox.width: 整数bbox.height: 整数dimensions.width: 浮点数dimensions.height: 浮点数dimensions.depth: 浮点数depth_model: 图像mask_model: 图像realtime_u: 图像mat_id: 图像normal_ts: 图像uvw: 图像contour: 图像general_information.style: 字符串general_information.shape: 字符串general_information.pattern: 字符串general_information.room: 字符串序列materials_and_colors.primary_material: 字符串materials_and_colors.primary_color: 字符串materials_and_colors.secondary_material: 字符串materials_and_colors.secondary_color: 字符串
数据分割
- 训练集:
- 字节数: 2770348689.5
- 样本数: 1500
- 下载大小: 2938171692
- 数据集大小: 2770348689.5
配置
- 配置名称: default
- 数据文件:
- 分割: train
- 路径: data/train-*
数据集描述
数据集摘要
nfinite-living-room-passes 数据集包含来自3D模型的图像，这些对象通常位于客厅空间。共有500种产品，跨越10500张图像。
支持的任务
该数据集可用于仅研究目的，训练或改进模型在自动深度估计、自动法线图估计、前景/背景分离等方面的算法。
语言
数据集由图像组成，因此没有文本数据，除了对象的类别和相机的名称。这些可以使用美国或英国英语单词互换使用。
数据实例
一个数据点是一个产品，由其ID定义。每个产品从3个相机的视角进行渲染。对于每个产品，我们可以访问一些数据（例如其类别、样式）或图像中产品的边界框坐标。
数据字段
sku: 唯一仅包含数字的字符串。每个sku在整个数据集中都是唯一的camera: 相机名称，表示产品渲染的位置。可能的值有[THREE_QUARTERS_BACK_RIGHT, THREE_QUARTERS_RIGHT, FRONT]general_information.style: 描述产品设计风格的字母数字小写字符串general_information.shape: 描述产品在空间中大致全局形状的字母数字小写字符串general_information.pattern: 描述图像上产品主要材料纹理的全局外观的字母数字小写字符串general_information.room: 列出产品可以放置的房间的仅字母小写字符串。这些房间通常在欧洲和美国房屋中找到materials_and_colors.primary_material: 列出图像上最突出的材料的字母数字小写字符串materials_and_colors.primary_color: 列出图像上最突出的颜色或颜色的字母数字小写字符串。颜色名称主要是美国英语materials_and_colors.secondary_material: 列出图像上第二突出的材料或材料的字母数字小写字符串materials_and_colors.secondary_color: 列出图像上第二突出的颜色或颜色的字母数字小写字符串。颜色名称主要是美国英语bbox.x1: 图像中对象边界框的左上X坐标，以像素为单位（最小值=0，最大值=图像宽度）bbox.y1: 图像中对象边界框的左上Y坐标，以像素为单位（最小值=0，最大值=图像高度）bbox.width: 图像中对象边界框的宽度，以像素为单位（最小值=0，最大值=图像宽度）bbox.height: 图像中对象边界框的高度，以像素为单位（最小值=0，最大值=图像高度）categoryModel: 列出产品唯一类别的字母数字小写字符串。类别名称是美国英语或英国英语boundingBox.depth: 真实世界中对象边界框的深度，以米为单位，始终为正boundingBox.height: 真实世界中对象边界框的高度，以米为单位，始终为正boundingBox.width: 真实世界中对象边界框的宽度，以米为单位，始终为正contour: 模型的轮廓 - 灰度 - 无抗锯齿 - 具有透明度的材料可以有灰色值 - RGB24文件，2048x2048像素，无嵌入颜色配置文件，sRGBdepth_model: 模型的深度图 - 灰度 - MSAAX8抗锯齿 - 具有透明度的材料可以有灰色值 - RGB24文件，2048x2048像素，无嵌入颜色配置文件，sRGBmask_model: 模型的掩码 - 黑白 - MSAAX8抗锯齿 - RGB24文件，2048x2048像素，无嵌入颜色配置文件，sRGBmat_id: 模型的材料ID图 - RGB - MSAAX8抗锯齿 - RGB24文件，2048x2048像素，无嵌入颜色配置文件，sRGBnormal_ts: 模型的法线图，切线空间 - RGB - MSAAX8抗锯齿 - RGB24文件，2048x2048像素，无嵌入颜色配置文件，sRGBuvw: 模型的uvw图（世界空间中的UV图） - RGB - MSAAX8抗锯齿 - RGB24文件，2048x2048像素，无嵌入颜色配置文件，sRGBrealtime_u: 产品的最终实时3D渲染，在Unity中（Builtin，带有定制的着色器） - RGB - MSAAX8抗锯齿 - RGB24文件，2048x2048像素，无嵌入颜色配置文件，sRGB
数据分割
数据没有分成不同的集合。最终用户可以根据自己的启发式方法选择分布。
数据集创建
创建理由
nfinite-living-room-passes 是为提供与给定产品可以渲染的各种通道相关的3D产品图像而构建的。500种产品是随机选择的，但在一个提供客厅空间产品良好覆盖的列表中。
源数据
3D模型创建为GLB文件，具有在渲染时可用的“经典”漫反射、法线、ORM贴图。3D渲染引擎是Unity，使用Builtin管道，有时使用定制的着色器以更好地在实时中描绘材料。产品不会在环境中投射任何阴影。Unity 2021.3 LTS用于图像的生产。所有图像都以PNG格式提供，并通过一系列压缩操作（通过ZopfliPNG、OxiPNG、PNGOUT、AdvPNG和PNGCrush在MacOS上使用ImageOptim默认预设）进行处理。通过此过程，我们以无损方式节省了超过**70%**的最终文件大小，以节省所有用户的网络传输时间！
注释
图像的标注或标题使用GPT4.0 turbo完成，采用API模式。使用的模型是gpt-4-turbo-2024-04-09。温度为0.1。
注释过程
API以JSON模式使用，每个图像输出一个JSON。
个人和敏感信息
所有用于3D模型的对象都是通用的，属于nfinite。任何相似之处纯属巧合，并非有意为之。语料库中没有个人或敏感信息。
使用数据的注意事项
数据集的影响
该数据集的目的是帮助开发更好的图像理解算法。
偏见讨论
虽然我们试图涵盖各种产品类别，但这里考虑的客厅主要是欧洲和美国家具风格。
附加信息
数据集策展人
数据集最初由nfinite的R&D团队创建。
许可信息
数据集根据**Creative Commons Attribution-NonCommercial-ShareAlike (CC BY-NC-SA)**许可证（https://creativecommons.org/licenses/by-nc-sa/4.0/deed.en）进行许可。此许可证允许您非商业性地混合、调整和构建作品，只要您注明nfinite并使用相同的条款许可您的新创作。
引用信息
@inproceedings{nfinite-lrp-1, author = {Darina Helart, Guillaume Hertault, Loïc Toungoue, Jean-Philippe Deblonde}, editor = {nfinite R&D Team}, title = {nfinite LRP01: nfinite-living-room-passes}, year = {2024} }
