kinder-bench/kinder-datasets

KinDER示范数据集是为KinDER物理推理基准（RSS 2026）收集的人类机器人示范数据集。这些数据集用于训练模仿学习基线和模型基于RL基线。数据集包含多个环境（2D和3D）的示范数据，每个环境的数据文件包含动作、机器人状态、环境状态和图像数据。2D环境的数据通过PS5控制器收集，而3D环境的数据通过iPhone网页应用或VR头显收集。数据集以HDF5格式存储，包含详细的文件结构和数据维度信息。

The KinDER Demonstration Datasets are human-collected robot demonstration datasets for the KinDER physical-reasoning benchmark (RSS 2026). These datasets are used to train imitation learning baselines and model-based RL baselines. The datasets include demonstration data for various environments (2D and 3D), with each environments data file containing actions, robot state, environment state, and image data. Data for 2D environments were collected using a PS5 controller, while data for 3D environments were collected using an iPhone web app or a VR headset. The datasets are stored in HDF5 format, with detailed file structure and data dimension information provided.

搜集汇总

数据集介绍

构建方式

KinDER演示数据集是专为物理推理基准测试所构建的人类采集机器人演示集合，涵盖二维与三维两类仿真环境。二维环境（如Motion2D、StickButton2D等）的演示数据通过PS5控制器采集，操作者直接操控模拟环境中的机器人完成指定任务。三维环境（如BaseMotion3D、Shelf3D等）则依赖iPhone网页应用或VR头显，以6自由度姿态指令流控制TidyBot机器人模拟器，从而获得高质量的专家演示轨迹。所有数据均以HDF5格式存储，遵循统一的层级结构：每个演示episode包含动作序列、机器人本体状态、环境状态及多视角RGB图像（二维环境为俯视图，三维环境提供底盘、腕部和全景相机图像），图像均为224×224×3的uint8数组，状态与动作为float32类型，便于后续加载与处理。

使用方法

使用KinDER数据集的方法灵活多样，可根据研究目标选择不同技术路线。对于模仿学习场景，可借助配套的kinder-imitation-learning代码库，通过脚本将原始演示转换为扩散策略所需的格式，随后执行训练命令即可在指定环境（如SweepIntoDrawer3D）上学习行为克隆模型。对于基于模型的强化学习，kinder-mbrl库提供了世界模型训练脚本，自动从HDF5文件中读取机器人状态与环境状态，计算每步的（状态、动作、增量）转换关系，支持多种epoch配置。此外，用户也可直接利用h5py库对数据进行低阶操作，灵活访问任意episode的动作、状态与图像数组，适用于自定义算法或数据预处理。无论是复现论文基线还是开展新研究，该数据集均提供了标准化、易扩展的加载与使用范式。

背景与挑战

背景概述

KinDER演示数据集由普林斯顿大学机器人规划与学习实验室（PRPL Group）的研究人员于2026年创建，作为同名物理推理基准（RSS 2026）的核心组成部分。该数据集旨在解决机器人学习与规划领域中物理交互理解能力评估的缺失，核心研究问题聚焦于如何通过人类演示数据驱动模仿学习与基于模型的强化学习算法，以应对复杂物理场景下的操作任务。数据集包含8个模拟环境（涵盖2D和3D任务），通过PS5控制器、iPhone应用及VR头显等多样化采集方式，累积了862个示教轨迹，总步数达27万以上。其在机器人学习领域的影响力体现为：为Diffusion Policy、π0.5 VLA等先进方法提供了标准化训练与评估基准，推动了物理推理能力在机器人操作中的系统研究。

当前挑战

该数据集面临的挑战主要体现在两个层面。领域问题层面，机器人物理推理任务要求模型从高维观测（如图像、状态向量）中理解物体动力学、接触关系与因果链条，而现有方法在泛化至未见物理配置或干扰条件时表现脆弱，亟需高质量演示数据以弥合仿真与真实物理世界的鸿沟。构建过程层面，数据采集面临多模态设备统一性难题：2D环境使用游戏手柄生成低维控制信号，3D环境则需借助VR头显或手机进行6自由度位姿操控，不同采集方式引入了动作表示与噪声特性的差异；同时，每个环境均需定制化定义状态维度（如环境状态从10维到131维不等），增加了数据标准化与跨任务迁移的复杂性。

常用场景

经典使用场景

KinDER演示数据集专为机器人物理推理模仿学习与基于模型的强化学习基准测试而设计，其经典使用场景涵盖二维与三维机器人操控任务。在二维环境中，数据集通过PS5控制器采集的演示轨迹，支持针对物体运动、按钮交互及动态障碍等任务的策略学习；三维环境则借助TidyBot机器人仿真平台，利用iPhone网页应用或VR头显获取六自由度位姿指令，形成包含机械臂基座、关节及夹爪运动的多模态演示数据。这些数据以标准化的HDF5格式存储，便于研究者直接加载动作序列、机器人状态及多视角RGB图像，从而高效训练扩散策略或世界模型等基线方法。

解决学术问题

该数据集系统性解决了机器人物理推理领域中演示数据匮乏与跨维度泛化性不足的学术难题。通过提供涵盖刚体运动学、牵拉动力学及三维环境遮挡等复杂物理交互场景的862条高质量人类演示，它首次在RSS 2026基准中统一了二维与三维任务的评估标准，使研究者能够量化模仿学习对物体特性和环境变化的外推能力。其意义在于：填补了现有数据集仅针对单一维度或简单操作的空白，推动了对机器人从观察中抽象物理规律、泛化至未见情境的基础研究，并为比较不同策略在物理推理任务上的鲁棒性提供了可信的测试平台。

实际应用

在实际应用中，KinDER数据集可赋能家庭服务机器人在非结构化环境中的自主操作。例如，基于数据集训练的扩散策略可使机器人学习从桌面清理到储物柜抽屉推拉等日常整理动作，仅依赖相机图像与本体感受即可规划平滑轨迹。数据集中的三维演示数据特别适用于需要精细空间推理的场景，如机械臂绕过障碍物抓取物品或将物体平稳运输至目标位置。此外，通过将机器人状态与环境观测联合建模，该数据集支持在仿真中预训练策略后直接迁移至实体TidyBot系统，有效降低了真实机器人的部署成本与试错风险。

数据集最近研究

最新研究方向

KinDER数据集作为面向物理推理的机器人学习与规划基准（RSS 2026），其最新研究动向聚焦于融合模仿学习与基于模型的强化学习范式，以应对复杂物理交互场景下的策略泛化挑战。当前热点方向包括：利用扩散策略（Diffusion Policy）从人类示教数据中提取多模态行为先验，并结合环境状态（DPES）增强模型对动态物理变量的感知能力；同时，通过微调π0.5视觉-语言-动作（VLA）基础模型，探索跨任务、跨形态的通用机器人操控策略，以及基于MLP世界模型与随机射击模型预测控制（MPC）的无模型规划方法。该数据集涵盖二维刚体操作（如推杆、避障）与三维灵巧操作（如抓取、放置、清扫）场景，显著推动了具身智能在非结构化动态环境中的物理推理与长时域决策能力实验评估，为机器人自主作业的鲁棒性与可迁移性研究提供了关键数据支撑。