TableVerse

TableVerse-100K是一个前所未有的大规模Real2Sim桌面数据集，直接从非结构化的、来自互联网的真实单帧图像构建而成。它通过采用确定性的感知到物理工作流程（布局一致碰撞校正，LCCR），取代了传统的概率性幻觉生成方法，从而弥合了现实与模拟之间的差距，提供了物理一致、模拟就绪的数字孪生环境。该数据集包含10万个独特的桌面环境，近100万个不同的物体实例，涵盖超过3.5万个语义类别。所有数据均完整标注了多维物理属性，并配有连续、无碰撞的专家操作轨迹。数据集旨在支持可泛化的操作任务研究。需要指出的是，由于TableVerse-100K是通过全自动、端到端的Real-to-Sim流程生成以实现其前所未有的规模，数据集本身并非完美，在某些长尾场景中可能包含几何伪影或语义错位。数据集文件结构包含纹理和场景目录，每个场景目录包含资产、纹理、场景模型文件（.glb）、物理场景描述文件（.xml）以及重命名映射文件（.json）。TableVerse-100K is an unprecedented large-scale Real2Sim desktop dataset constructed directly from unstructured real single-frame images sourced from the Internet. It replaces traditional probabilistic hallucinatory generation methods with a deterministic perception-to-physics workflow (Layout-Consistent Collision Correction, LCCR), bridging the gap between reality and simulation to deliver physically consistent, simulation-ready digital twin environments. This dataset contains 100,000 unique desktop environments, nearly 1 million distinct object instances spanning over 35,000 semantic categories. All data are fully annotated with multi-dimensional physical attributes and paired with continuous, collision-free expert manipulation trajectories. The dataset is designed to support research on generalizable manipulation tasks. It is worth noting that, as TableVerse-100K is generated via a fully automated, end-to-end Real-to-Sim pipeline to achieve its unprecedented scale, the dataset itself is not perfect and may contain geometric artifacts or semantic misalignments in certain long-tail scenarios. The dataset file structure includes texture and scene directories. Each scene directory contains assets, textures, scene model files (.glb), physical scene description files (.xml), and renaming mapping files (.json).

原始信息汇总

TableVerse-100K 数据集概述

基本信息

• 数据集名称：TableVerse-100K
• 发布机构：ByteDance（字节跳动）
• 许可证：CC BY 4.0
• 所属任务类别：机器人学（Robotics）
• 相关论文：arXiv:2607.21017

数据集简介

TableVerse-100K 是一个大规模、基于真实世界的桌面（Tabletop）数据集，通过 Real2Sim 流水线直接从非结构化的互联网单帧图像构建，生成物理一致的、可用于仿真环境的数字孪生。该数据集采用确定性感知-物理工作流（特征为布局一致碰撞校正，LCCR）替代传统概率性幻觉，缩小了现实与仿真之间的差距。

数据规模与内容

• 桌面环境数量：100,000 个（100K unique tabletop environments）
• 物体实例数量：接近 100 万个（nearly 1M distinct object instances）
• 语义类别数量：超过 35,000 个语义类别（35K semantic categories）
• 数据标注：包括多维物理属性标注，并附带连续、无碰撞的专家操作轨迹。

数据集结构

压缩包内包含以下主要目录：

text TableVerse/ ├── textures/ # 纹理文件 ├── scenes/ # 场景文件 │ ├── <scene_uid>/ # 每个场景的独立目录 │ │ ├── assets/ # 场景资源 │ │ ├── textures/ # 场景纹理 │ │ ├── scene.glb # 场景的 GLB 文件 │ │ ├── scene.xml # 场景描述文件（MuJoCo 格式） │ │ ├── scene_with_plane.xml # 带平面的场景描述文件 │ │ └── relabel_name.json # 重标定名称的 JSON 文件 │ └── ...

数据限制与说明

该数据集完全通过自动化的端到端实景到仿真管线生成，以实现前所未有的规模，因此数据集并非完美无缺，在部分长尾场景中可能存在几何伪影或语义对齐误差。

搜集汇总

数据集介绍

构建方式

TableVerse-100K数据集基于真实世界的无约束互联网单帧图像构建，通过一种确定性的感知到物理工作流——布局一致碰撞修正（LCCR）——替代传统的概率性幻觉方法，从而弥合现实与仿真之间的鸿沟。该流程能够从杂乱、非结构化的视觉输入中提取场景布局，并生成物理一致、即拿即用的仿真数字孪生，最终构建出包含10万种独一无二桌面环境的庞大数据集。

使用方法

数据集以标准化文件结构组织，每个场景包含GLB格式的三维模型、MuJoCo仿真所需的XML配置文件、材质纹理以及重标注的语义映射文件。研究者可直接将场景文件加载至MuJoCo物理引擎中进行环境模拟，并利用配套的专家轨迹开展机器人操作任务的训练与评测，实现从真实感知到仿真部署的高效迁移。

背景与挑战

背景概述

TableVerse-100K数据集由研究团队于近期构建，旨在解决桌面操作领域对大规模、物理一致的数字孪生数据的迫切需求。该数据集通过创新的Real2Sim流水线，从互联网非结构化单帧图像中自动生成，涵盖约10万个独特桌面环境、近100万个物体实例及超过3.5万个语义类别。其核心研究问题在于如何弥合真实世界与仿真环境之间的感知-物理鸿沟，为可泛化的机械臂操控学习提供高保真训练基础。TableVerse-100K的发布为机器人操作领域提供了前所未有的数据规模与多样性，有望推动从仿真到真实场景的零样本迁移研究。

当前挑战

TableVerse-100K所解决的核心领域挑战在于桌面物体操控的泛化性：传统依赖于手工设计或小规模数据集的方法难以覆盖真实世界中无边界的物体类别与布局多样性。构建过程中，该数据集面临从非结构化图像中鲁棒提取物理属性、确保数字孪生场景的碰撞一致性等关键难题。为此，团队提出了布局一致碰撞矫正（LCCR）技术，将确定性感知-物理工作流替代概率性幻觉，但自动化流水线仍导致部分长尾场景存在几何伪影与语义错位，限制了数据集在极端情况下的可靠性。

常用场景

经典使用场景

TableVerse-100K数据集的核心设计理念在于弥合现实世界与仿真环境之间的鸿沟，为通用机器人操作提供大规模、物理一致的桌面场景。其经典使用场景涵盖从单张互联网图像直接生成仿真就绪数字孪生，覆盖杂乱桌面环境中的物体抓取、堆叠、推动等复杂操作任务。研究人员可借助该数据集训练和评估机器人策略，探索从感知到物理交互的端到端泛化能力，尤其适用于在多样化、非结构化场景中验证操作模型的鲁棒性与适应性。

解决学术问题

该数据集针对桌面机器人操作领域中数据稀缺与仿真与现实差异两大核心挑战，提出系统性解决方案。通过创新的确定性感知到物理工作流和布局一致碰撞矫正机制，TableVerse实现了从真实图像到物理可仿真数字孪生的高效转化，大幅降低了手动建模成本。它为解决大规模学习中的样本效率、策略迁移和场景多样性问题提供了坚实的数据基础，推动了通用操作模型从实验室可控环境向真实世界复杂场景的跨越式发展。

实际应用

在实际应用中，TableVerse-100K可用于工业机器人抓取系统、家庭服务机器人操作以及仓储物流自动化等场景。数据集提供的近100万物体实例和超过3.5万语义类别覆盖了从日常用品到工业零件的广泛对象，使之成为训练智能操作系统的理想资源。企业可利用其内置的专家轨迹和物理属性标注，快速构建和部署具备泛化能力的机器人操作方案，缩短从原型到产品落地的研发周期。

数据集最近研究

最新研究方向

在机器人通用操作领域，TableVerse-100K数据集通过引入基于确定性感知-物理仿真的Real2Sim流程（LCCR），突破了传统概率性方法在物理一致性上的瓶颈。该数据集构建了10万个独特的桌面环境、近100万个物体实例及超过3.5万个语义类别，并提供了多维物理属性标注与连续无碰撞专家操作轨迹。这一资源为研究从互联网图像到仿真数字孪生的高保真映射提供了基准，推动了长尾场景下操作策略的泛化能力探索。结合大规模仿真数据与物理约束修正技术，该成果为机器人实现真实世界中的零样本操作部署奠定了数据基础，对加速具身智能系统从实验室环境向开放场景迁移具有里程碑意义。