b1k-torque-sidecars

BEHAVIOR-1K Torque Sidecars数据集是为BEHAVIOR-1K 2026挑战赛演示补充官方发布中缺失的关节力矩、重力和科里奥利力信号而创建的。它通过重新模拟原始演示（启用物理引擎）并记录求解器实际测量值生成，确保每个episode通过(task_id, demo_id)与官方episode一一对应。数据集目前包含2,452个episode，覆盖全部100个任务，但覆盖不均衡：6个任务已完成（各200个episode），大多数任务仅包含1个覆盖episode，数据收集仍在进行中。数据以HDF5文件格式存储，每个文件对应一个episode，包含一个229维的本体感知向量，其布局通过文件属性`proprio_layout`（JSON格式）自描述，具体包括：官方61维挑战状态（用于与原始演示对齐）、28维关节位置、28维关节速度、28维测量的关节扭矩（主要信号，单位N·m）、28维控制器指令扭矩、28维重力项和28维科里奥利力项。重要提示：测量的关节扭矩中不包含重力负载，重力项是假设性查询结果，并非实测扭矩的组成部分。接触力隐含在测量扭矩与指令扭矩的差值中。每个文件还包含丰富的元数据属性，如任务ID和名称、演示ID、步数、环境配置、场景文件、OmniGibson版本哈希、重放配置等。数据通过教师强制重放获取：在每帧恢复记录的模拟器状态，让机器人控制器执行记录的动作进行一个物理步（动作频率30 Hz，物理频率120 Hz），并记录PhysX测量的关节力。重放过程禁用渲染以节省资源，并使用CPU PhysX求解器以确保数值一致性。数据集存在已知限制：覆盖不均衡，小任务代表性过高；测量的努力中不包含重力负载；接触力未存储为显式通道。数据集适用于测试力感知是否改进操作策略、接触检测、动力学识别以及力条件表示学习。The BEHAVIOR-1K Torque Sidecars dataset provides the joint torque, gravity, and Coriolis force signals that were missing from the official release of the BEHAVIOR-1K 2026 Challenge demonstrations. This dataset is generated by re-simulating the original demonstrations (with the physics engine enabled) and recording the actual measured values from the solver, ensuring that each episode has a one-to-one correspondence with the official episode via the (task_id, demo_id) pair. Currently, the dataset contains 2,452 episodes covering all 100 tasks, but with uneven coverage: 6 tasks have been fully completed (with 200 episodes each), while most tasks only have 1 covered episode, and data collection is still ongoing. The data is stored in HDF5 file format, with each file corresponding to one episode and containing a 229-dimensional proprioceptive vector. The layout of this vector is self-documented via the file attribute `proprio_layout` (in JSON format), which specifically includes: the official 61-dimensional challenge state (for alignment with the original demonstrations), 28-dimensional joint positions, 28-dimensional joint velocities, 28-dimensional measured joint torques (the primary signal, unit: N·m), 28-dimensional controller command torques, 28-dimensional gravity terms, and 28-dimensional Coriolis force terms. Important note: The measured joint torques do not include gravitational loads; the gravity terms are hypothetical query results and not part of the actual measured torques. Contact forces are implicitly contained in the difference between the measured torques and the command torques. Each file also contains rich metadata attributes, such as task ID and name, demonstration ID, number of steps, environment configuration, scene file, OmniGibson version hash, replay configuration, and more. The data is obtained via teacher-forced replay: at each frame, the recorded simulator state is restored, and the robot controller executes the recorded actions for one physics step (action frequency: 30 Hz, physics frequency: 120 Hz), while recording the joint forces measured by PhysX. Rendering is disabled during replay to save resources, and the CPU PhysX solver is used to ensure numerical consistency. The dataset has known limitations: uneven coverage with overrepresentation of small tasks; measured joint efforts do not include gravitational loads; contact forces are not stored as explicit channels. The dataset is suitable for testing whether force perception improves manipulation strategies, contact detection, dynamics recognition, and force-conditioned representation learning.

原始信息汇总

数据集概述：BEHAVIOR-1K Torque Sidecars

该数据集为 BEHAVIOR-1K 2026 挑战赛 的官方演示数据补充了每帧的关节力矩、重力和科里奥利力信号，弥补了官方发布中不包含这些通道的空白。

核心特性

• 任务类别：机器人技术（Robotics）。
• 许可协议：MIT。
• 数据规模：1K < N < 10K 条样本。
• 当前状态：包含 100 个任务，共 2,452 个片段。其中 6 个任务已完成（每个 200 个片段），其余大多数任务当前仅包含 1 个覆盖性片段，数据收集仍在进行中。

数据内容与结构

数据以 HDF5 格式存储，每个片段一个文件，命名格式为 chunk_<demo_id>_1.hdf5。

• 数据层级：

  • data/ → demo_0/ 包含：
    • action (T, 23)：回放时记录的动作。
    • obs/
      • robot_r1::proprio (T, 229)：核心专有感知数据。
      • task::low_dim (T, 274)：任务相关的物体状态。
    • reward (T,), terminated (T,), truncated (T,)

• 229 维专有感知向量：布局通过每个文件中的 proprio_layout 属性（JSON 格式）描述，无需硬编码偏移量。主要内容包括：

  • [0:61]：官方挑战状态（61 维），用于与官方数据集对齐。
  • [61:89], [89:117]：关节位置与速度。
  • [117:145]：关节测量力矩 (N·m)，是主要信号，代表 PhysX 净传输力。
  • [145:173]：控制器指令力矩。
  • [173:201]：重力项 g(q)。
  • [201:229]：科里奥利/离心力项 c(q,q̇)。

  特别注意：由于 OmniGibson 机器人设置中禁用了非基座链接的重力，测量力矩中不包含重力负载。joint_gravity 是 PhysX 的“假设”查询，不应从测量力矩中减去以恢复“外力”。

• 文件属性：每个文件都包含丰富的元数据，如 task_id, task_name, proprio_layout, manifest, n_steps, config, scene_file, omnigibson_git_hash 等，使文件具备自描述性。

数据集布局

task-0000/ … task-0099/ # 深度收集，每任务最多 200 个片段 chunk_<demo_id>_1.hdf5 _manifest.json # 任务完成 200 个片段时写入 partial.json # 任务仍在填充时写入 coverage-1ep/task-XXXX/ # 早期的单个片段覆盖扫描 chunk<demo_id>_1.hdf5

• coverage-1ep/ 是一个独立的命名空间，其中 145 个片段可能与深度收集部分重复。去重时应依据 (task_id, demo_id)，而非文件数量。

数据生成方法

数据通过重新模拟官方原始遥操作演示得到，采用“教师强制”回放：

1. 在每帧恢复记录的模拟器状态。
2. 机器人控制器执行记录的动作，通过物理引擎（CPU PhysX 求解器）步进。
3. 记录 PhysX 测量的关节力矩。

该过程为无相机回放，并将 VRAM 占用从 13.9 GB 降至 2.7 GB。禁止使用 GPU 求解器，因为其计算结果未通过力矩等效性检查。

数据完整性重要说明

• 该数据集已完全清除早期受污染的生成版本。早期版本因批处理环境导致场景错乱，力矩数据虽物理正确但属于错误场景。
• 数据完整性标记：文件名中的 chunk size（即 _1）是关键标记。当前所有文件均为 chunk_<demo>_1.hdf5，这确保了结构上的免疫性。任何文件名中N ≥ 2 的文件均来自受污染批次，应予以丢弃。
• 被拯救的有效片段文件会包含 extracted_from 属性作为记录。

与官方数据集关联

通过 (task_id, demo_id) 进行匹配。challenge_61 切片是来自官方数据集的原始 61 维状态，可直接用于验证对齐性。

已知局限性

• 覆盖率不均匀：每个任务的中位数片段数为 1，仅 6 个任务完成。
• 样本偏差：轻量级任务的重放速度更快，因此覆盖率更高；最重、接触最丰富的场景当前覆盖最少。
• 力矩信号特性：测量力矩中无重力负载。
• 接触力：未作为独立通道存储，隐含在测量力矩与指令力矩的差值中。

预期用途

主要用于研究力觉感知是否能够提升操作策略的性能，也可用于接触检测、动力学识别以及以力为条件的表征学习。

搜集汇总

数据集介绍

构建方式

该数据集通过对BEHAVIOR-1K 2026挑战赛的官方演示进行物理重仿真而构建。具体而言，每个演示片段被独立地在启用物理引擎的环境中逐帧重放，机器人控制器根据记录的指令执行一次物理步进，同时PhysX求解器实时测量并记录各关节的实际扭矩、重力及科里奥利力信号。重放过程采用无渲染的轻量化模式，将每帧VRAM占用从13.9 GB降至2.7 GB，确保了与完整重放结果的比特级一致性。所有数据均使用CPU PhysX求解器生成，并严格以单片段格式存储，避免了批量重放带来的场景污染问题。

特点

该数据集的核心特色在于提供了官方演示中缺失的28维关节扭矩、重力项和科里奥利项信号，其中实测扭矩是主要关注指标。所有数据自描述性强，每个HDF5文件中均内嵌了包含各字段偏移量的布局表，无需硬编码即可解析。值得注意的是，由于OmniGibson机器人设置中除基座外的所有连杆均禁用了重力，因此实测扭矩中不包含重力荷载，而存储的重力项仅为PhysX的假设性查询结果，不能直接用于外推力估算。数据集的覆盖范围涵盖100个任务、共2,452个片段，但分布不均，仅6个任务达到200个完整片段。

使用方法

数据集的使用需通过任务ID和演示ID与官方演示进行一一对应匹配，每个HDF5文件中的manifest属性和61维官方状态切片均可用于验证对齐。用户可利用Python的h5py库加载文件后，依据proprio_layout属性中记录的偏移量便捷地提取关节扭矩、重力等各通道数据。在训练模型时，建议直接使用实测扭矩作为接触力信号，而不应尝试通过减去重力项来恢复外部力。同时需注意对来自coverage-1ep和主目录命名空间的重叠演示进行去重，避免在后续分析中造成样本重复计数。

背景与挑战

背景概述

在机器人操控领域，接触力与力矩信号是理解物理交互、提升操作鲁棒性的关键，然而现有大规模演示数据集如BEHAVIOR-1K 2026官方发布版本仅提供关节位置、速度及末端执行器位姿等61维状态，缺失了关节力矩、重力及科里奥利力等动力学信息。为弥补这一空白，由斯坦福大学等机构于2026年创建的b1k-torque-sidecars数据集，通过基于物理引擎PhysX的再模拟技术，在保留原始演示轨迹的基础上，重新计算并记录了每帧的真实关节力矩及动力学分量。该数据集覆盖BEHAVIOR-1K全部100个任务中的2,452条演示，首次为大规模机器人操控研究提供了与同步官方状态对齐的完整力矩通道，显著推动了力感知策略学习、接触检测及动力学建模等方向的发展。

当前挑战

该数据集所应对的核心领域挑战在于：原始演示数据因使用视觉模拟（零重力、无碰撞、状态逐帧跳变）而无法提供有意义的力矩信号，限制了从物理交互中学习操控策略的能力；同时，接触力信息通常隐含于测量力矩与指令力矩之差中，缺乏显式通道。在构建过程中，数据集面临着重大的方法论挑战：早期版本因将多条演示批处理于同一环境，导致后续演示被恢复至前一演示遗留的混乱场景中，产生的力矩虽物理正确但对应于错误场景，且通过合理检查无法检测，最终需通过逐集独立回放（每环境单条演示）并辅以文件名完整性标记才得以解决。此外，数据覆盖不均衡、大型场景计算效率低下以及重力在测量力矩中固有缺失等问题，均对后续研究提出了严格的数据使用与分析方法要求。

常用场景

经典使用场景

在机器人操控领域，精确的力矩感知对于策略学习至关重要。b1k-torque-sidecars数据集为BEHAVIOR-1K挑战赛的演示轨迹提供了每帧的关节力矩、重力与科里奥利力信号，弥补了官方发布数据中缺失的动力学信息。其经典使用场景是作为多模态输入，与视觉观测联合训练机器人操控策略，使得智能体能够学习力觉引导的精细操作动作。研究者可以直接通过该数据集的229维本体感知向量，提取28维实测力矩通道，结合官方61维状态数据进行1:1对齐，构建从感知到控制的端到端学习范式。

解决学术问题

该数据集解决了机器人学习领域长期存在的动力学信息缺失难题，使研究者能够首次在BEHAVIOR-1K的大规模、多样化家庭操控任务上开展力感知相关研究。它突破了官方数据仅包含位置、速度与末端执行器姿态的局限，为分析接触力、惯性补偿以及人机交互中的力交互机制提供了坚实基础。其科学意义在于揭示了重放演示中力矩信号的真实物理特性（如重力项在OmniGibson中被禁用），促使学界重新审视先前的力觉特征提取方法，从而避免因错误减去不存在的重力分量导致特征膨胀2.8倍的陷阱。

衍生相关工作

围绕该数据集已衍生了一批具有奠基性的研究工作。在力觉表征学习方面，研究者基于其转矩通道开发了力条件化表示学习方法，通过对比力矩序列与视觉特征，提升了策略对物体刚度和接触状态的泛化能力。在接触检测领域，利用实测力矩与控制器指令力矩的差值作为隐式接触信号，诞生了无需触觉传感器的零样本接触事件分类器。此外，该数据集的动力学分解特性推动了机器人模型辨识技术的发展，催生了通过重力与科里奥利项分离惯性参数的算法框架，有效提升了仿真到现实迁移的动力学匹配精度。