Leju_Kuavo_4_sensor_card_swiping_2

Leju_Kuavo_4_sensor_card_swiping_2 是一个用于机器人操作学习的真实世界数据集，专注于双足机器人执行‘刷卡识别与传输’任务。数据集记录了机器人Leju_Kuavo_4（配备双指末端执行器，通过VR控制器遥操作）在‘服务大厅’场景中，操作未知的卡片和传感器完成任务的整个过程。数据规模包括595个任务片段（episodes），总计439,233帧视频（30 FPS），数据集大小约12.89 GB。数据采集使用了三个RGB摄像头：一个前置头部摄像头和两个手腕摄像头（左、右），分辨率均为848x480。数据集采用基于LeRobot的扩展格式，包含机器人状态（52维，包括关节角度、末端执行器位置/姿态等）、动作（40维）、时间戳、注释（如末端执行器速度、方向、夹爪活动等）以及压缩的视频文件。该数据集旨在支持机器人模仿学习、强化学习等研究，特别是双足机器人的双臂操作任务。

Leju_Kuavo_4_sensor_card_swiping_2 is a real-world dataset for robot manipulation learning, focusing on a bipedal robot performing the card swiping recognition and transmission task. The dataset records the entire process of the robot Leju_Kuavo_4 (equipped with a two-finger end effector and teleoperated via a VR controller) operating unknown cards and sensors in a service hall scenario. The data scale includes 595 task episodes, totaling 439,233 video frames (30 FPS), with a dataset size of approximately 12.89 GB. Data collection utilized three RGB cameras: one front head camera and two wrist cameras (left and right), all with a resolution of 848x480. The dataset adopts an extended format based on LeRobot, containing robot states (52-dimensional, including joint angles, end-effector position/orientation, etc.), actions (40-dimensional), timestamps, annotations (such as end-effector velocity, orientation, gripper activity, etc.), and compressed video files. This dataset aims to support research in robot imitation learning, reinforcement learning, and particularly dual-arm manipulation tasks for bipedal robots.

原始信息汇总

数据集概述

• 数据集名称: Leju_Kuavo_4_sensor_card_swiping_2
• 许可证: Apache-2.0
• 语言: 英语
• 任务类别: 机器人学 (Robotics)

数据集规模

指标	数值
总片段数	595
总帧数	439,233
帧率 (FPS)	30
数据集大小	12.89 GB
状态维度	52
动作维度	40
摄像头视角数	3
任务数	1
视频总数	1,785
数据块数	1 (块大小: 1000)

任务描述

• 主要任务指令: 将卡片传递给传感器进行识别，然后传输。
• 操作类型: 固定双臂 (fixed_dual_arm)
• 环境类型: 真实世界 (real_world)
• 子任务: 包含1个子任务，即上述主要任务。
• 原子动作: grasp (抓取), pick (拾取), place (放置)

机器人与硬件

• 机器人名称: Leju_Kuavo_4
• 代码库版本: v2.1
• 末端执行器类型: 两指末端执行器 (two_finger_end_effector)
• 遥操作类型: VR 控制器 (vr_controller)
• 坐标系统: 右手坐标系 (right-hand-frame)
• 单位: 关节旋转 (弧度), 末端执行器旋转 (弧度), 末端执行器平移 (米)

传感器

• 摄像头:
  • cam_front_head_rgb: 分辨率 848x480, 编码 h264, 格式 yuv420p
  • cam_left_wrist_rgb: 分辨率 848x480, 编码 h264, 格式 yuv420p
  • cam_right_wrist_rgb: 分辨率 848x480, 编码 h264, 格式 yuv420p

场景与物体

• 场景类型: 服务 -> 服务大厅 (Service -> Service Hall)
• 物体:
  • 桌子 (未知)
  • 卡片 (未知)
  • 传感器 (未知)

数据划分

• 训练集: 第 0 至 594 片段

数据集结构

• 格式: 基于 LeRobot 扩展格式
• 数据文件路径模式: data/chunk-{id}/episode_{id}.parquet
• 视频文件路径模式: videos/chunk-{id}/observation.images.cam_front_head_rgb/episode_{id}.mp{id}
• 数据块: 1 个数据块，块大小为 1000

附加信息

• 注释文件:
  • eef_acc_mag_annotation.jsonl
  • eef_direction_annotation.jsonl
  • eef_velocity_annotation.jsonl
  • gripper_activity_annotation.jsonl
  • gripper_mode_annotation.jsonl
• 标签: RoboCOIN, LeRobot
• 贡献者: 北京人工智能研究院 (BAAI) RoboCOIN 团队
• 相关链接:
  • 主页: https://flagopen.github.io/RoboCOIN/
  • 论文: https://arxiv.org/abs/2511.17441
  • 仓库: https://github.com/FlagOpen/RoboCOIN