ArticuRiddle

ArticuRiddle是一个用于机器人操作中关节物体运动学探索的数据集，专门设计用于评估策略在面对视觉模糊的关节类型时的表现。该数据集包含100个经过特殊编辑的关节物体，每个物体在外观上保持原有资产特征，但其关节运动方式与外观暗示的矛盾：要么通过移动或旋转手柄使其暗示错误的运动方向（handle编辑，50个），要么直接交换关节类型（如将抽屉面改为摆动门，joint交换，50个）。物体按真实关节类型分为door（旋转关节）和drawer（平移关节）两类，每类各50个。每个物体以PartManip环境的标准格式存储，包含URDF模型、纹理、包围盒信息和预抓取状态文件。此外，还提供了一个元数据CSV文件，记录了每个物体的来源资产、编辑类型、原始和修改后的关节类型等详细信息。该数据集适用于机器人操作、关节物体交互、运动学推断等研究任务。ArticuRiddle is a dataset for kinematic exploration of articulated objects in robotic manipulation, specifically designed to evaluate policy performance when faced with visually ambiguous joint types. It contains 100 specially edited articulated objects, each retaining the original asset appearance while its joint movement contradicts the visual cue: either by moving or rotating the handle to imply a wrong movement direction (handle edit, 50 objects) or by directly swapping the joint type (e.g., changing a drawer face to a swinging door, joint swap, 50 objects). Objects are categorized by their true joint type into door (revolute joint) and drawer (prismatic joint), 50 each. Each object is stored in the standard PartManip environment format, including URDF model, textures, bounding box information, and pre-grasp state files. Additionally, a metadata CSV file records detailed information such as source asset, edit type, original and modified joint types. The dataset is suitable for research tasks such as robotic manipulation, articulated object interaction, and kinematic inference.

原始信息汇总

ArticuRiddle 数据集概述

基本信息

• 数据集名称：ArticuRiddle
• 数据集规模：n<1K
• 任务类别：robotics
• 标签：robotics、articulated-objects、manipulation、isaac-gym
• 关联论文：Learning to Explore Hidden Kinematics for Articulated Object Manipulation
• 相关资源：
  • 网站：https://hiddenkinematics.github.io/
  • 论文：https://arxiv.org/abs/2609.36553
  • 代码：https://github.com/ariel6905/HiddenKinematics

简介

ArticuRiddle 包含 100 个铰接物体，用于测试在外观视觉歧义运动学条件下的操作任务。每个物体保留现有资产的外观，但其铰接方式与外观所暗示的运动方式相矛盾。因此，仅依赖外观的策略会被误导，必须通过与物体交互来发现其运动方式。

数据集概览

每个物体均派生自 PartManip 的一个训练资产（物体来自 GAPartNet / PartNet-Mobility），通过以下两种编辑之一生成：

编辑类型	数量	变化内容
handle (cfH)	50	手柄被移动或旋转，使其暗示错误的运动方式；关节保持不变
joint (cfS)	50	关节类型被替换（抽屉前板变为摆动、门变为滑动）；外观保持不变

目录结构

door/<asset>/ 50 objects whose target part is revolute (25 handle edits, 25 joint swaps) drawer/<asset>/ 50 objects whose target part is prismatic (25 handle edits, 25 joint swaps) metadata.csv one row per object: edit and source asset

• door / drawer 指编辑后的（真实）关节类型，而非外观：door/ 中的关节替换物体外观看起来像抽屉。
• 每个资产文件夹遵循 PartManip 格式（mobility_new.urdf、textured_objs/、bbox_info.json、part_pregrasp_dof_state.npy），可作为 PartManip 环境的评估划分使用。

来源信息（metadata.csv）

列名	含义
asset	文件夹名称；源名称中插入了 -cfH / -cfS
category	编辑后的类别：door（旋转关节）或 drawer（移动关节）
edit_family	handle 或 joint，见上表；edit 给出具体编辑（handle_translate、handle_rotate、joint_swap）
object_class、partnet_mobility_id	PartNet-Mobility 类别与物体 id
source_category、source_split、source_asset	物体所派生的 PartManip 资产
source_joint_type、joint_type	编辑前与编辑后的目标关节类型

许可证

物体派生自 PartNet-Mobility，经由 GAPartNet / PartManip；请遵循这些数据集的使用条款。

引用

bibtex @misc{liu2026learningexplorehiddenkinematics, title={Learning to Explore Hidden Kinematics for Articulated Object Manipulation}, author={Ruiyao Liu and Boshu Lei and Zhuoyang Pan and Kostas Daniellidis}, year={2026}, eprint={2609.36553}, archivePrefix={arXiv}, primaryClass={cs.RO}, url={https://arxiv.org/abs/2609.36553}, }

搜集汇总

数据集介绍

构建方式

在铰接物体操作研究中，视觉外观常被视作运动学推理的捷径，然而外观与真实关节运动之间的错位恰恰构成了对策略泛化能力的严峻考验。ArticuRiddle的构建正源于这一洞察：研究者以PartManip中的训练资产为基底，通过两种受控编辑生成100个目标物体。其一为手柄编辑，将手柄平移或旋转至暗示错误运动方向的位置，而关节本身保持不变；其二为关节替换，在维持外观不变的前提下将棱柱关节与旋转关节互换。每类编辑各50例，并依据编辑后的真实关节类型归入door或drawer目录，同时以metadata.csv记录编辑族、源资产及关节类型的前后变化。

特点

该数据集的核心特征在于外观与运动学之间的系统性矛盾：柜门可能看似抽屉却以铰链方式旋开，手柄的朝向亦可能指向错误的转轴。door与drawer两个目录各含50个物体，其命名依据的是编辑后的真实关节类型而非视觉呈现，因此door目录中的关节替换样本外观酷似抽屉，反之亦然。每个资产完整保留了PartManip的数据格式，包括mobility_new.urdf、textured_objs、bbox_info.json与part_pregrasp_dof_state.npy，并附有metadata.csv以追溯源资产、编辑类型及PartNet-Mobility标识，为受控实验提供了细粒度的溯源信息。

使用方法

ArticuRiddle可直接作为PartManip环境的评估划分使用，研究者将各资产文件夹置于对应环境路径下，即可加载其URDF与预抓取状态进行策略测试。由于外观线索被刻意误导，依赖视觉先验的模型将在这些物体上失效，而必须通过交互探索来揭示真实的铰链或滑动运动。metadata.csv中的edit_family与joint_type字段支持按编辑类型、源类别或关节类型进行分层评估，便于分析策略在不同运动学歧义下的表现差异。使用时需遵循PartNet-Mobility与GAPartNet的条款，确保数据来源的合规性。

背景与挑战

背景概述

在机器人操作与具身智能领域，关节物体的交互式操纵长期依赖外观线索推断运动学结构，然而外观与真实关节属性之间的错位构成了深层感知困境。ArticuRiddle数据集由刘瑞尧、Boshu Lei、Zhuoyang Pan与Kostas Daniilidis等人于2026年构建，旨在系统性地测试这一视觉歧义下的操作策略。该数据集以PartManip为基座，对GAPartNet与PartNet-Mobility资产进行受控编辑，生成百件外观与运动学相悖的关节物体，核心研究问题在于探究策略能否超越外观先验、通过交互探索发现隐藏运动学。其对鲁棒操作与主动感知研究具有显著的基准价值。

当前挑战

该数据集所应对的领域难题在于外观线索与关节运动学之间的固有歧义：柜门可貌似抽屉而实则旋转开启，把手位置可暗示错误的铰链朝向，仅凭视觉先验的策略将被系统性误导。构建过程中的挑战同样突出：需在保持原始资产外观纹理与几何完整性的前提下，精确注入手柄位移、手柄旋转与关节类型互换等受控编辑，确保外观误导性与运动学真实性并存；同时须维持PartManip格式的兼容性，使URDF、纹理网格、包围盒信息与预抓取状态等组件严格对齐，方可将该数据作为评估分割无缝接入仿真环境，从而可靠地度量策略的交互探索能力。

常用场景

经典使用场景

在机器人操作与具身智能领域，ArticuRiddle数据集最为经典的使用场景在于评估策略在视觉外观与真实运动学相悖条件下的探索与适应能力。研究者通常将每个物体作为PartManip仿真环境的独立评估单元，令智能体在仅依赖单帧或少数几帧视觉观测的前提下尝试完成开门或拉抽屉任务。由于把手方向或关节类型被刻意篡改，依赖外观先验的模仿学习或视觉预训练策略会遭遇显著性能下降，从而迫使智能体通过主动交互，例如推、拉、试探性施力，来推断隐藏的铰链位置与运动约束。

实际应用

在现实家居与服务机器人场景中，外观误导普遍存在，例如看似抽屉的柜门实则平开，或把手位置暗示错误的旋转轴。ArticuRiddle所模拟的正是此类视觉歧义环境，其实际应用价值体现在训练机器人于未知或非标准化家具面前具备试错探索能力，减少对精确三维模型或人工标注关节参数的依赖。该数据集可用于验证家庭助理机器人在整理、取物与开关容器等任务中的适应策略，也为工业分拣与仓储中处理外观相似但运动机制迥异的机关装置提供参考。

衍生相关工作

ArticuRiddle建立在PartManip与GAPartNet等铰接物体操作基准之上，其衍生的经典工作主要围绕隐藏运动学学习与交互式探索展开。相关研究在PartManip的模仿学习与强化学习框架内引入主动感知模块，通过触觉或力反馈估计关节类型；亦有工作将其作为分布外评估集，检验视觉大模型与策略网络在反直觉外观下的泛化边界。该数据集还促进了基于不确定性驱动的探索策略与关节参数在线辨识方法的发展，为后续铰接物体泛化操作研究提供了重要的基准与启发。