2026-07-13_shakeitup4_bench_20260715_133827
收藏资源简介：
该数据集是一个基于LeRobot框架创建的多模态机器人学习数据集，包含名为so101_follower_dragon_tactile_bench的机器人平台在执行任务时收集的数据。数据集共60个任务片段，总计39270帧，采样频率为30帧/秒。数据特征包括：1) 机器人的6维浮点数动作指令，对应肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置控制；2) 机器人的6维关节位置状态观测；3) 多视角视觉观测，来自顶部和腕部摄像头，分辨率640x480，3通道彩色；4) 触觉传感数据的频谱图表示，由dragonfly和accelero传感器在不同采样率（10kHz和100kHz）和FFT点数（如64、512、4096）下生成，以224x224的3通道图像（视频格式）存储；5) 辅助元数据，如时间戳、帧索引等。数据集主要用于机器人模仿学习、强化学习和多模态感知研究，特别关注视觉与触觉信息的结合。数据以Parquet文件格式存储，并包含对应的MP4视频文件。
This dataset is a multimodal robotic learning dataset created based on the LeRobot framework, containing data collected from the robotic platform named so101_follower_dragon_tactile_bench during task execution. The dataset consists of 60 task segments, totaling 39270 frames with a sampling frequency of 30 frames per second. The data features include: 1) 6-dimensional floating-point action commands for the robot, corresponding to shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation and gripper position control; 2) 6-dimensional joint position state observations of the robot; 3) Multi-view visual observations from the top and wrist cameras, with a resolution of 640x480 and 3-channel color; 4) Spectrogram representations of tactile sensing data, generated by dragonfly and accelero sensors at different sampling rates (10kHz and 100kHz) and FFT points e.g., 64, 512, 4096, stored as 3-channel 224x224 images in video format; 5) Auxiliary metadata such as timestamps and frame indices. This dataset is primarily used for research on robotic imitation learning, reinforcement learning and multimodal perception, with a particular focus on the fusion of visual and tactile information. The data is stored in Parquet file format, with corresponding MP4 video files included.
数据集概述
- 数据集名称:
2026-07-13_shakeitup4_bench_20260715_133827 - 许可证: Apache-2.0
- 任务类别: 机器人学（Robotics）
- 创建工具: 基于 LeRobot 创建
- 可视化入口: 在 Hugging Face Spaces 中可视化该数据集
数据集规格
| 属性 | 值 |
|---|---|
| 总集数（Episodes） | 60 |
| 总帧数（Frames） | 39,270 |
| 任务数量 | 1 |
| 帧率（FPS） | 30 |
| 代码库版本 | v3.0 |
| 数据块大小（Chunks） | 1,000 |
| 数据文件大小 | 100 MB |
| 视频文件大小 | 200 MB |
| 机器人类型 | so101_follower_dragon_tactile_bench |
| 数据分割 | 训练集：0-59集（全部60集用于训练） |
特征结构
动作（Action）
- 数据类型: float32
- 形状: [6]
- 维度含义:
shoulder_pan.pos,shoulder_lift.pos,elbow_flex.pos,wrist_flex.pos,wrist_roll.pos,gripper.pos
观测状态（Observation.state）
- 数据类型: float32
- 形状: [6]
- 维度含义: 与动作相同的6个关节位置
观测图像（Observation.images）
数据集包含多组视觉与触觉图像流，均为视频格式（AV1编码，yuv420p像素格式，30 FPS），具体如下：
| 图像键名 | 分辨率（高度×宽度×通道） | 说明 |
|---|---|---|
top |
480×640×3 | 顶部摄像头 |
wrist |
480×640×3 | 腕部摄像头 |
tactile_spectrogram_dragonfly_100kHz_nfft_512 |
224×224×3 | 触觉频谱图（蜻蜓传感器，100kHz采样，512点NFFT） |
tactile_spectrogram_dragonfly_100kHz_nfft_4096 |
224×224×3 | 触觉频谱图（蜻蜓传感器，100kHz采样，4096点NFFT） |
tactile_spectrogram_dragonfly_10kHz_nfft_64 |
224×224×3 | 触觉频谱图（蜻蜓传感器，10kHz采样，64点NFFT） |
tactile_spectrogram_dragonfly_10kHz_nfft_512 |
224×224×3 | 触觉频谱图（蜻蜓传感器，10kHz采样，512点NFFT） |
tactile_spectrogram_accelero_100kHz_nfft_512 |
224×224×3 | 触觉频谱图（加速度计，100kHz采样，512点NFFT） |
tactile_spectrogram_accelero_100kHz_nfft_4096 |
224×224×3 | 触觉频谱图（加速度计，100kHz采样，4096点NFFT） |
tactile_spectrogram_accelero_10kHz_nfft_64 |
224×224×3 | 触觉频谱图（加速度计，10kHz采样，64点NFFT） |
tactile_spectrogram_accelero_10kHz_nfft_512 |
224×224×3 | 触觉频谱图（加速度计，10kHz采样，512点NFFT） |
其他辅助字段
- timestamp: float32, [1] —— 时间戳
- frame_index: int64, [1] —— 帧索引
- episode_index: int64, [1] —— 集索引
- index: int64, [1] —— 全局索引
- task_index: int64, [1] —— 任务索引
数据组织
- 数据文件路径:
data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet - 视频文件路径:
videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4 - 配置: 默认配置名为
default，数据文件为data/*/*.parquet
