LAST_Large_Shapes_And_Textures_Dataset

LAS&T（Large Shapes And Textures Dataset）是一个大规模、高多样性的数据集，专注于2D和3D形状、纹理及材料的识别与检索。数据集基于真实世界的形状和纹理构建，包含650,000张图像，旨在训练和测试模型在任意设置和环境中识别/检索任何形状、纹理和材料的能力，而不受特定对象类别或环境限制。对于形状任务，目标是识别和检索相同2D或3D形状，即使图像间在材料、纹理、方向、尺寸、光照和环境等元素上完全变化；对于纹理和材料任务，目标是识别相同纹理或材料在不同对象、环境和光照条件下的出现。数据集结构分为五个可独立使用的部分：3D形状识别检索、2D形状识别检索、3D材料识别检索、2D纹理识别检索，以及一个用于3D形状识别的真实世界自然图像基准。此外，还提供了一个包含350,000个从真实世界图像提取的2D形状的额外集合（SHAPES_COLLECTION_350k.zip）。数据组织遵循明确规则：对于2D和3D形状，同一子文件夹内的所有jpg图像包含完全相同形状（但纹理、颜色、背景、方向不同）；对于2D纹理和3D材料，同一子文件夹内的所有jpg图像包含完全相同材料（但对象、形状、背景、方向不同）。数据集文件包括用于训练/测试的合成图像（文件名含GENERAL_LARGE_SET）、单变量测试集（文件名含MultiTests）、生成和测试脚本（文件名含SCRIPTS）以及示例图像。相关资源包括真实世界图像基准（Real_Images_3D_shape_matching_Benchmarks.zip）、评估测试脚本（SCRIPTS_Testing_LVLM_ON_LAST_VQA.zip），以及用于生成数据集的纹理和PBR材料资产（来自Vastexture数据集的100K 2D纹理和300K PBR材料）。数据集适用于计算机视觉、视觉-语言模型和多模态学习中的形状、纹理和材料识别、检索与匹配任务。LAS&T (Large Shapes And Textures Dataset) is a large-scale, highly diverse dataset focused on the recognition and retrieval of 2D and 3D shapes, textures, and materials. Built on real-world shapes and textures, it contains 650,000 images, aiming to train and test models' ability to recognize or retrieve any shape, texture and material in arbitrary settings and environments, without being restricted to specific object categories or environments. For shape-related tasks, the goal is to identify and retrieve identical 2D or 3D shapes, even when all elements such as material, texture, orientation, size, lighting and environment vary completely across images; for texture and material tasks, the goal is to identify the presence of the same texture or material across different objects, environments and lighting conditions. The dataset is structured into five independently usable sections: 3D shape recognition and retrieval, 2D shape recognition and retrieval, 3D material recognition and retrieval, 2D texture recognition and retrieval, and a real-world natural image benchmark for 3D shape recognition. Additionally, an additional collection of 350,000 2D shapes extracted from real-world images is provided (SHAPES_COLLECTION_350k.zip). The dataset follows clear organization rules: for 2D and 3D shapes, all JPG images within the same subfolder contain exactly the same shape, but differ in texture, color, background and orientation; for 2D textures and 3D materials, all JPG images within the same subfolder contain exactly the same material, but differ in object, shape, background and orientation. Dataset files include synthetic images for training and testing (file names contain GENERAL_LARGE_SET), univariate test sets (file names contain MultiTests), generation and testing scripts (file names contain SCRIPTS), and sample images. Relevant resources include real-world image benchmarks (Real_Images_3D_shape_matching_Benchmarks.zip), evaluation test scripts (SCRIPTS_Testing_LVLM_ON_LAST_VQA.zip), and texture and PBR material assets for dataset generation, namely 100K 2D textures and 300K PBR materials from the Vastexture dataset. This dataset is applicable to tasks of shape, texture and material recognition, retrieval and matching in computer vision, vision-language models and multimodal learning.

原始信息汇总

数据集概述

名称：LAS&T (Large Shapes And Textures Dataset)

许可证：CC0-1.0

规模：包含约650,000张图像，基于真实世界的形状和纹理构建。

核心目标

LAS&T是一个大规模、高度多样化的数据集，用于形状、纹理和材质的2D/3D识别与检索。旨在训练/测试模型在任何场景和环境中识别或检索任意形状、纹理和材质，不受限于特定类别或对象。

• 形状：识别和检索2D或3D中的任何形状，即使形状的材质、纹理、方向、大小、光照和环境等元素发生改变。
• 纹理与材质：识别同一纹理或材质出现在不同对象、环境和光照条件下的情况。

数据集结构与组成部分

数据集包含四个主要部分，每部分可独立用于训练和测试：

1. 3D形状识别与检索
2. 2D形状识别与检索
3. 3D材质识别与检索
4. 2D纹理识别与检索

此外还包括：

• 3D形状识别真实世界图像基准（文件：Real_Images_3D_shape_matching_Benchmarks.zip）
• 额外资产：从真实图像中提取的350,000个自然2D形状集合（SHAPES_COLLECTION_350k.zip）

文件命名与结构规则

• 包含GENERAL_LARGE_SET的文件：合成图像，可用于训练或测试，文件名中注明数据类型（如2D形状、3D形状、2D纹理、3D材质）和图像数量。
• 包含MultiTests的文件：包含多种测试，每次仅改变实例的一个方面（如仅有背景变化）。
• 包含SCRIPTS的文件：包含数据生成和测试脚本。
• 包含examples的图像：每个测试的示例。

数据组织规则：

• 对于2D/3D形状：同一子文件夹内的所有JPEG图像包含完全相同的形状（但材质/颜色/背景/方向不同）。
• 对于2D纹理和3D材质：同一子文件夹内的所有JPEG图像包含完全相同的材质（但对象/形状/背景/方向不同）。

真实世界图像数据

提供用于3D形状识别和检索的真实自然图像基准，包含多种自然图像，其中同一3D形状使用不同材料/涂层，并处于不同环境和方向下。目标是在不同图像中识别同一形状。

评估与测试

评估与测试脚本位于 SCRIPTS_Testing_LVLM_ON_LAST_VQA.zip，可用于通过API测试主流大型视觉语言模型（LVLMs）、创建人工测试，以及将数据集转换为类似论文中的多选题图像。

纹理与PBR材质资源下载

• 100K 2D纹理图像：来自 Vastexture 数据集
• 300K PBR材质：来自 Vastexture 数据集

来源地址：https://sites.google.com/view/infinitexture/home

相关链接

• 论文：https://arxiv.org/html/2503.23062v5
• 项目网站：https://sites.google.com/view/lastdataset/

搜集汇总

数据集介绍

构建方式

LAS&T Large Shapes And Textures Dataset 的构建依托于从真实世界图像中提取的形状、纹理与材质资源，旨在突破传统数据集中于特定类别的局限。数据集包含约65万张图像，划分为3D形状识别与检索、2D形状识别与检索、3D材质识别与检索、2D纹理识别与检索以及真实世界图像基准测试五个独立模块。每个模块均基于物理仿真场景生成，涵盖多样的光照、材质与物体姿态变化，同时辅以抽象2D部分。此外，数据集配有一系列生成与测试脚本，以及包含35万张自然2D形状的额外资源包。

特点

该数据集的核心特点在于其极致的多样性与泛化能力：同一形状或材质在不同图像中会经历外观、纹理、朝向、背景及光照条件的全面变化，而目标则是识别其不变的本质。数据集既包含合成图像，也提供真实世界图像基准，支持对视觉语言模型在形状与纹理识别任务上的全面评估。每类数据按子文件夹组织，同一子文件夹内的图像共享相同的形状或材质，但呈现方式各异，从而赋予模型跨情境的鲁棒性。

使用方法

使用LAS&T数据集时，用户可根据研究目标选择独立模块进行训练与测试，例如针对形状识别或材质检索。数据集提供了评估脚本SCRIPTS_Testing_LVLM_ON_LAST_VQA.zip，可调用主流大型视觉语言模型的API进行问答式测试，或将数据转换为多选题格式。对于3D形状的真实场景评估，可借助预置的真实图像基准包。纹理与PBR材质资产可分别从Vastexture等外部数据集获取，以扩展生成能力。

背景与挑战

背景概述

LAS&T（Large Shapes And Textures Dataset）数据集于2025年由研究团队创建，旨在推动形状、纹理与材质的识别与检索研究，相关成果发表于《Shape and Texture Recognition in Large Vision-Language Models》。该数据集包含65万张图像，覆盖2D和3D场景，基于真实世界形状与纹理构建，突破了传统数据集局限于特定类别或环境的瓶颈。其核心研究问题在于评估模型在任意环境、多重变化因素（如材质、光照、视角）下对形状、纹理与材质的泛化识别能力，对计算机视觉、大语言模型及多模态学习领域具有重要影响力。

当前挑战

该数据集面临的挑战包括：1）领域问题层面，传统识别模型难以应对形状、纹理与材质在真实场景中的无限多样性，尤其是当同一形状或材质在不同物体、环境、光照下呈现高度变化时，模型需具备跨域不变性特征提取能力；2）构建过程中，需从真实图像中提取并匹配数以万计的异构数据，确保形状与材质在不同2D/3D表示下的语义一致性，同时生成基于物理模拟的逼真场景，对数据采集、标注与合成技术提出较高要求。

常用场景

经典使用场景

LAS&T数据集作为在形状、纹理与材质识别及检索领域的标志性资源，广泛用于评估和提升视觉模型在复杂环境下的泛化能力。该数据集包含650,000张图像，覆盖2D与3D形态，涵盖形状、纹理与材质的多样变化，如不同材质、光照、背景和方位。研究者利用其结构化的子集（如3D形状识别、2D纹理检索等）进行独立的训练与测试，尤其关注模型在跨条件匹配中的鲁棒性，为视觉表征学习提供了高挑战性的基准。

衍生相关工作

基于LAS&T数据集，研究者们开展了多项经典工作，包括提出跨域形状识别框架、纹理-材质解耦学习网络，以及针对视觉语言模型的鲁棒性评估协议。该数据集被用于验证多模态大模型（如CLIP、GPT-4V）在形状与纹理匹配上的能力边界，并催生了结合物理渲染的合成数据增强方法。其生成的350,000个自然2D形状集合及Vastexture数据集中的纹理资产，进一步促进了材质生成和三维重建领域的深入探索。

数据集最近研究

最新研究方向

当前，LAS&T数据集正引领着视觉识别领域迈向更为泛化的认知层级，其核心前沿聚焦于大型视觉语言模型（LVLMs）在形状与纹理识别上的零样本泛化能力与鲁棒性。研究热点围绕构建能够突破传统封闭类别集限制的视觉系统展开，即模型需在同一形状经历材质、光照、角度与环境要素的极端变换时，仍能保持稳定的识别与检索性能。该数据集通过提供海量的真实世界形状、纹理及物理渲染的3D材料数据，为评估LVLMs在复杂场景下的感知不变性提供了严苛的基准。其深远意义在于，它从数据层面推动了“视觉概念解耦”这一根本性问题的解决——迫使模型学习形状与纹理的抽象本质，而非绑定于表面属性。这一方向的研究成果，将直接赋能增强现实中的实时物体追踪、自动驾驶中对异形异材障碍物的精确认知，以及工业视觉检测中跨批次的产品匹配，为实现人类级别的视觉理解能力铺平了道路。