text_audio_pretraining_for_GAN

bw_jh_dataset 是一个多源机器人操作数据集，提供机器人夹爪和机械臂的3D点跟踪数据，以及校准的多视角RGB视频、语言指令和成功标签。数据集包含三个子集：droid（27,615个episodes，约280 GB，2个外部ZED视角，来自真实Franka机器人，仅包含成功且有语言指令的episodes）、hrdexdb（1,601个episodes，约998 GB，22个校准相机，来自真实xArm6+灵巧手）、robocasa（40,026个episodes，约273 GB，2个agent视角加腕部ego相机，来自仿真Panda机器人）。每个episode存储为一个目录，包含多视角MP4视频、gripper.npz（256个3D点，T×256×3）、robot.npz（512个3D点，T×512×3）、object.npz（256个3D点，T×256×3，robocasa中每个操作对象单独一个文件）、meta.json（包含相机内外参、语言指令、成功标签、帧率、帧数、任务类别等）。所有3D点位于view1相机坐标系（OpenCV约定，米制）。对于droid和hrdexdb，相机为静态支架；对于robocasa，view1/view2相机安装在移动基座上，当基座移动时，meta.json中提供每帧的相机外参（T_cam_world_perframe）。数据集适用于机器人操作任务，如3D点跟踪、多视角重建、语言引导的操纵等。许可证为CC-BY-4.0。bw_jh_dataset is a multi-source robot manipulation dataset providing 3D point tracking data for robot grippers and arms, along with calibrated multi-view RGB videos, language instructions, and success labels. The dataset consists of three subsets: droid (27,615 episodes, ~280 GB, 2 external ZED views, from real Franka robot, only includes successful episodes with language instructions), hrdexdb (1,601 episodes, ~998 GB, 22 calibrated cameras, from real xArm6+dexterous hand), and robocasa (40,026 episodes, ~273 GB, 2 agent views plus wrist ego camera, from simulated Panda robot). Each episode is stored as a directory containing multi-view MP4 videos, gripper.npz (256 3D points, T×256×3), robot.npz (512 3D points, T×512×3), object.npz (256 3D points, T×256×3, with separate files for each manipulated object in robocasa), and meta.json (including camera intrinsics/extrinsics, language instructions, success labels, frame rate, frame count, task category, etc.). All 3D points are in the view1 camera coordinate system (OpenCV convention, meters). For droid and hrdexdb, cameras are static; for robocasa, view1/view2 cameras are mounted on a mobile base, and meta.json provides per-frame camera extrinsics (T_cam_world_perframe) when the base moves. The dataset is suitable for robot manipulation tasks such as 3D point tracking, multi-view reconstruction, language-guided manipulation, etc. License: CC-BY-4.0.

原始信息汇总

bw_jh_dataset — 机器人3D点轨迹数据集

数据集概述

一个统一的多源机器人操作数据集，包含机器人夹爪和机械臂的3D点轨迹、校准后的多视角RGB视频、语言指令和成功标签。数据集分为三个子集，总规模约1,551 GB。

数据子集

子集	轨迹数	大小	视角	来源
droid	27,615（另有~1,050条在droid-11中）	~280 GB	2个外部ZED视角	DROID（真实，Franka）
hrdexdb	1,601	~998 GB	22个标定相机	HRDexDB（真实，xArm6+灵巧手）
robocasa	40,026	~273 GB	2个agent视角+腕部相机	RoboCasa（仿真，Panda）

数据获取

• 每个子集以tar分片形式提供，大于50 GB的文件被拆分为*.tar.partNN片段，需先拼接再解压。
• 每个分片包含对应的*.txt/*.manifest.txt文件，列出其包含的轨迹ID。

样本格式（各子集一致）

每个轨迹为一个目录，内容如下：

文件	说明
view*.mp4	RGB视频（hrdexdb最多view23；robocasa含ego.mp4）
gripper.npz	3D夹爪点轨迹，形状(T, 256, 3)，float32
robot.npz	3D机械臂点轨迹，形状(T, 512, 3)，float32
object*.npz	被操作物体的3D轨迹，形状(T, 256, 3)，float32（robocasa多物体任务有多个文件）
meta.json	标定参数+标签信息

关键细节：

• 所有3D点均位于view1相机坐标系（OpenCV约定，单位：米）
• meta.json包含视角标定（T_cam_world 4×4矩阵、内参）、语言指令、成功标签、fps、帧数、任务类别、uuid等字段
• droid/hrdexdb相机为静态固定，单次标定即可；robocasa中相机随移动底座运动，移动轨迹使用T_cam_world_perframe逐帧标定

RoboCasa被操作物体轨迹

• 每个robocasa轨迹包含每个被操作物体的object*.npz文件
• 物体选择采用确定性方法：仅当物体在轨迹中移动超过5 cm时才被包含
• 放置目标（如锅、餐盒）和干扰物保持静止，不包含在内
• 多物体任务生成object.npz、object2.npz等，meta.json → object列出所有被操作物体

DROID子集说明

• 仅包含带语言指令的成功轨迹（27,615条 = 成功 ∩ 带语言注释）
• meta.json已修补，包含验证过的指令，无需后处理
• droid/droid_language_recovered.json记录了语言恢复的来源追踪信息

RoboCasa移动底座过滤

robocasa/base_motion_filter/按底座移动情况分类每个轨迹：

类别	轨迹数（占比）	含义
static	31,193（54.7%）	底座从不移动，可直接使用
settle	24,167（42.4%）	底座移动后静止≥30帧，裁剪至静止尾部即可
moving	1,679（2.9%）	结束时底座仍在移动，丢弃

97.1%的轨迹保持可用。tools/robocasa_base_filter.py可自动应用此过滤。

可视化工具

tools/visualize_episode.py可将3D点轨迹重新投影到所有视角，生成拼接多视角视频，用于验证标定和npz一致性。示例用法： bash python tools/visualize_episode.py --split droid --episode 0 --root <extracted_root> python tools/visualize_episode.py --split hrdexdb --episode allegro_v5__apple__3 --root <extracted_root>

来源与许可

• droid：源自DROID数据集（CC-BY-4.0），语言注释合并自官方聚合注释和KarlP/droid 75k发布
• robocasa：源自RoboCasa数据集
• hrdexdb：HRDexDB多相机遥操作录制
• 成功标签来自源数据集自身标签；8条标签矛盾的droid轨迹已被排除

搜集汇总

数据集介绍

构建方式

该数据集名为 text_audio_pretraining_for_GAN，实际上是一个融合多源数据的机器人操作数据集，涵盖 DROID、HRDexDB 与 RoboCasa 三大来源。其构建方式精细而系统，通过统一的 format 将不同来源的 episode 整合为标准化结构，每个 episode 包含多视角 RGB 视频、以 numpy 格式存储的 3D 点轨迹（gripper、robot、object 等）以及携带标定参数与语言指令的 meta.json。各来源数据被封装为 tar 分片，大文件以二进制分片存储，并配套验证工具。此外，针对 RoboCasa 中移动基座导致的相机外参变化，实施了 base-motion 分类与裁剪策略，确保数据在时域和空间上的校准一致性。

使用方法

使用该数据集时，用户需先下载 tar 分片并解压，注意大文件需用 cat 命令重组。每个 episode 可直接通过 visualize_episode.py 脚本进行可视化，以检查点轨迹与标定的一致性。对于 RoboCasa 数据，用户应根据 base_motion_filter 的分类，使用提供的工具裁剪'settle'类 episode 至静态尾部，或直接丢弃'moving'类。随后，可将 3D 点轨迹投影至任意视角，用于训练多视角机器人操作模型或评估点跟踪算法。数据集涵盖了真实与仿真环境，适用于机器人学习、语言条件操作等研究，提供了丰富的元数据以支持多种任务设定。

背景与挑战

背景概述

该数据集由多个研究机构联合构建，旨在解决机器人操作任务中3D点跟踪与多视角视觉数据缺乏的问题。其创建时间可追溯至2024年，核心研究问题在于如何将真实世界与仿真环境中的机器人操作数据统一为标准化格式，以支持学习型操作策略的训练。数据集整合了DROID、HRDexDB和RoboCasa三个来源，包含约7万集 episodes，覆盖从真实Franka机械臂到仿真Panda机械臂的广泛操作场景，并提供了语言指令、成功标签、标定参数及3D点轨迹。该数据集对于推动具身智能领域的发展具有重要意义，为研究多视角几何一致性、语言-动作对齐以及跨域迁移提供了高质量的基准资源，其影响力体现在为后续研究者节省了数据预处理和标定的繁琐工作，促进了可复现的机器人学习研究。

当前挑战

该数据集面临的挑战主要源自领域问题与构建过程。领域问题层面，机器人操作需理解复杂3D动态场景，涉及多视角融合、移动基座下相机标定、以及操作物体的检测与跟踪，这些任务要求算法具备鲁棒的空间感知和时间一致性。构建过程中，挑战包括跨来源数据的格式统一，如DROID和HRDexDB的相机静态与RoboCasa的移动基座的对比，需处理逐帧外参并验证标定精度至0.1mm。此外，语言指令的恢复与补全需融合多来源标注，确保一致性；robocasa中移动基座的运动分类需要精细处理，以决定保留或修剪数据，最终仅97.1%的episodes可用。这些步骤突显了构建大规模多模态机器人数据集的复杂性和工程难度。

常用场景

经典使用场景

该数据集为机器人操作领域的研究提供了统一的多源3D点轨迹数据，涵盖真实与仿真场景，支持机器人夹爪、手臂及操作物体的三维运动追踪，并与多视角RGB视频、语言指令及成功标签对齐。其典型使用场景包括训练和评估基于点轨迹的机器人操作模型，如视觉运动策略学习、3D姿态估计与跟踪，以及多视角几何一致性验证。数据格式统一，便于跨域泛化研究。

解决学术问题

该数据集解决了机器人操作研究中不同数据源格式不统一、标注缺失及多视角校准困难等问题。通过提供标准化的3D点轨迹与相机校准参数，促进了跨数据集的可复现研究。其丰富的语言指令和成功标签支持了语言条件操作学习，而多视角数据则有助于研究3D场景理解与空间关系建模，推动了机器人操作从仿真到真实迁移的研究。

实际应用

在工业与家庭服务机器人领域，该数据集可应用于教学演示、技能泛化及人机协作中的操作规划。其3D点轨迹和多视角视频可用于开发鲁棒的视觉伺服控制、操作过程监控及失败检测系统。同时，语言指令与成功标签为构建具有自然语言交互能力的智能机器人提供了训练基础，有助于提升机器人在非结构化环境中的适应性。

数据集最近研究

最新研究方向

该数据集聚焦于机器人操作领域的三维点轨迹追踪与多视角视觉融合，其前沿研究方向旨在利用大规模多源数据驱动具身智能体的操作学习。通过统一格式整合真实与仿真环境中的机器人操作数据，并精细标注抓手、机械臂及操作物体的三维点轨迹，该数据集为跨域泛化、语言条件操作及动力学模型学习提供了坚实基础。近期研究热点集中于应对移动基座带来的相机位姿变化，所提出的基座运动分类与按需调整机制，显著提升了动态环境下数据的一致性，为构建鲁棒的机器人操作策略和点追踪模型开辟了新路径。