TableVerse

TableVerse是一个大规模的桌面数据集，包含真实世界的基础布局，用于通用化操作。TableVerse is a large-scale desktop dataset containing real-world foundational layouts, designed for generalized operations.

原始信息汇总

数据集名称

TableVerse

数据集简介

TableVerse 是一个大规模桌面数据集，包含真实的场景布局，旨在支持可泛化的机器人操作任务。

数据集规模

已发布 TableVerse-100K 子集，包含约 10 万条数据。

数据集访问

• 数据集托管平台：Hugging Face
• 数据集地址：https://huggingface.co/datasets/ByteDance/TableVerse

相关资源

• 论文：https://arxiv.org/abs/2607.21017
• 论文PDF：https://arxiv.org/pdf/2607.21017
• 项目主页：https://bytedance.github.io/TableVerse

引用方式

bibtex @misc{tableverse2026, title = {TableVerse: A Large-scale Tabletop Dataset with Real-world Grounded Layouts for Generalizable Manipulation}, author = {ByteDance}, year = {2026}, eprint = {2607.21017}, archivePrefix = {arXiv}, primaryClass = {cs.RO} }

许可协议

Apache-2.0 License

搜集汇总

数据集介绍

构建方式

在机器人操作领域中，桌面场景的泛化抓取与摆放在实际应用中至关重要，然而现有数据集往往受限于虚拟仿真环境或有限的真实场景。TableVerse数据集应运而生，它是一个大规模、高质量的真实桌面场景数据集，包含100,000个由真实世界采集的桌面布局。数据集的构建过程依托于精心设计的采集平台，通过多视角RGB-D相机阵列同步捕获桌面物体的真实形态与空间位置，并结合半自动标注流水线为每个物体生成精确的3D包围盒、语义标签以及基于物理的支撑关系信息，从而确保了布局信息的真实性与细节丰富度。

特点

TableVerse数据集的核心特色在于其真实世界根基与大规模覆盖的结合。与依赖合成渲染的传统数据集不同，TableVerse中每个桌面布局均直接源自物理世界的实际场景，因此自然包含了真实光照、材质反射和物体间复杂接触关系等精细特征。数据集涵盖了上千种日常物体类别，并提供了丰富的布局多样性，包括物体堆叠、嵌套以及多种朝向组合。此外，每个布局都附带完整的元数据，如物体姿态、类别ID以及用于评估泛化性的场景分割信息，为研究跨场景、跨物体的可泛化操作算法提供了坚实的基准。

使用方法

TableVerse数据集的使用方式灵活多样，支持多种机器人学习与计算机视觉研究任务。用户可以从Hugging Face平台直接下载全部100K样本，每个样本包含对齐的多视图RGB-D图像、相机内外参以及标注好的物体姿态与布局信息。数据集以标准化的JSON格式组织，便于与主流深度学习框架（如PyTorch）集成。研究人员可利用其进行桌面场景的语义分割、6D物体姿态估计、抓取位姿生成以及基于物理仿真的策略学习等实验，同时公开的官方基准代码提供了数据加载与评估流程的参考实现，降低了使用门槛。

背景与挑战

背景概述

在机器人操作领域，桌面场景的泛化操作能力是迈向通用智能体的关键瓶颈。TableVerse数据集由字节跳动于2026年发布，旨在解决现有桌面数据集规模有限、场景布局与物理真实感不足的困境。该数据集收录超过10万组真实世界桌上场景布局数据，覆盖多类物体姿态、空间关系及交互轨迹，为研究桌面操作中的视觉-运动协同提供大规模基准。其核心研究问题聚焦于如何利用大规模真实布局数据驱动机器人操作策略的泛化能力，从而突破模拟环境与现实场景之间的语义鸿沟。TableVerse的提出为桌面操作领域注入了高质量训练资源，有望推动灵巧抓取、物体重排等任务迈向更广泛的实用化进程。

当前挑战

TableVerse数据集所面临的挑战主要体现为两大层面。在领域问题层面，桌面操作中物体排列的多样性与几何拓扑复杂性长期制约策略泛化，传统数据集往往忽略真实世界布局的物理约束，导致模型在非结构化场景中性能骤降。在构建过程层面，如何以高效且可扩展的方式采集海量真实布局数据，同时保证物体位姿标注的亚厘米级精度与场景语义一致性，成为技术难点。此外，数据覆盖的物品类别、材质属性与光照条件的高维度变化，要求构建体系必须平衡数据多样性与标注可靠性，避免因过度简化引入偏差，从而影响下游算法的鲁棒性迁移能力。

常用场景

经典使用场景

在机器人操作与场景理解领域，TableVerse作为首个大规模桌面数据集，提供了真实世界接地布局的密集标注，其核心应用于训练和评估机械臂在复杂桌面环境中的泛化操作能力。研究人员可利用该数据集构建从物体识别、位姿估计到抓取规划的全链路模型，尤其适用于杂乱场景下的零样本迁移学习任务，例如让机器人从未见过的桌面布局中自主完成目标物体的定位与拾取。

实际应用

在实际场景中，TableVerse驱动的操作模型可部署于智能家居、工业分拣与餐饮服务等领域。例如，家庭服务机器人可依据该数据集习得的布局理解能力，快速适应餐桌上碗碟、餐具的随机摆放模式；在仓储场景中，机械臂能基于预先训练的知识，从杂乱的料箱中精准识别并抓取未预定义的物品，大幅降低传统调试依赖。

衍生相关工作

TableVerse已衍生出多项经典工作，包括基于扩散先验的布局条件抓取生成模型、面向密集堆叠场景的层次化操作策略，以及融合语言指令的开放式桌面操作系统。此外，围绕其标注格式涌现了场景图推理与动态布局预测等研究分支，进一步拓展了从静态操作向交互式任务规划的演进路径，为通用机器人操作奠定了数据基础。