cleaning_sat

该数据集是一个与机器人学相关的数据集，包含多个剧集（episodes），每个剧集中包含多个帧（frames）和任务（tasks）。数据以Parquet文件格式存储，包括机器人臂的位置信息以及来自两个不同摄像头视角的图像。该数据集使用LeRobot创建，并遵循Apache-2.0许可证。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot
• 代码库版本: v2.1

数据集结构

• 总集数: 1
• 总帧数: 671
• 总任务数: 1
• 总视频数: 2
• 总块数: 1
• 块大小: 1000
• 帧率 (fps): 30
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• 动作 (action)

  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

• 观测状态 (observation.state)

  • 数据类型: float32
  • 形状: [6]
  • 名称: 同动作特征

• 观测图像 (observation.images.top 和 observation.images.wrist)

  • 数据类型: video
  • 形状: [480, 640, 3]
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 通道: 3
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30
    • 是否有音频: false

• 其他特征

  • timestamp: float32, 形状 [1]
  • frame_index: int64, 形状 [1]
  • episode_index: int64, 形状 [1]
  • index: int64, 形状 [1]
  • task_index: int64, 形状 [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，采用模块化数据采集策略，通过SO100型机器人执行任务时同步记录多模态传感器数据。技术实现上以30fps的采样频率捕获671帧操作序列，将机械臂关节位置、视觉观测等异构数据统一编码为Parquet格式，并按照时间戳和任务索引进行结构化存储。数据分块策略采用每1000帧为一个存储单元，确保大规模数据的高效存取。

特点

数据集显著特点在于其多维时空对齐特性，同时包含6自由度机械臂的关节角度控制指令和实时状态反馈，辅以顶部和腕部双视角的RGB视觉流。数据维度设计科学，每个观测样本均附带精确到毫秒级的时间戳和帧索引，支持端到端模仿学习算法的训练。视频数据采用AV1编码压缩，在480×640分辨率下保持色彩保真度，为机器人操作策略研究提供丰富的感知-动作对应关系。

使用方法

使用该数据集时，可通过HuggingFace数据管道直接加载Parquet文件，或利用附带的视频路径索引提取视觉序列。典型应用场景包括：基于PyTorch构建时空卷积网络处理双路视频输入，结合关节角度数据训练逆动力学模型。数据分割建议遵循原始配置，将全部671帧作为训练集用于行为克隆任务。对于动作预测任务，需注意观测状态与动作指令间存在20ms的固有延迟，建议使用时序对齐预处理。

背景与挑战

背景概述

cleaning_sat数据集由LeRobot团队开发，专注于机器人操作任务的研究。该数据集采用Apache 2.0许可协议，包含671帧数据，涵盖6自由度机械臂的关节位置、状态观测以及顶部和腕部摄像头采集的视频数据。数据集构建基于so100_follower机器人平台，以30fps的采样频率记录操作过程中的多模态信息，为机器人学习与控制系统提供丰富的训练资源。

当前挑战

该数据集旨在解决机器人操作任务中的动作规划与环境感知问题，其核心挑战在于多模态数据的同步对齐与高维动作空间的精确建模。构建过程中面临传感器数据异构性导致的时序对齐难题，以及机械臂动作与视觉观测的跨模态关联问题。此外，视频数据的实时压缩与存储效率也对数据集的规模化扩展提出了技术要求。

常用场景

经典使用场景

在机器人控制与自动化领域，cleaning_sat数据集为研究者提供了一个包含机械臂运动轨迹和视觉观测的标准化基准。该数据集通过记录so100_follower机械臂在清洁任务中的关节位置、末端执行器状态以及多视角视频数据，为模仿学习算法的训练与验证提供了丰富素材。其30fps的高频采样特性特别适合研究连续控制策略在动态环境中的适应性。

实际应用

在工业自动化场景中，该数据集可直接应用于清洁机器人的行为克隆系统开发。物流仓储企业可利用其训练机械臂执行货架清洁任务，医疗机器人领域可借鉴其多传感器融合方案实现手术器械的精准操控。数据集包含的抓取器位置参数对开发通用型末端执行器控制模块具有重要参考价值。

衍生相关工作

基于该数据集的特性，已催生出若干创新性研究：在行为克隆方向，有工作提出时空注意力机制来处理多视角视频序列；在强化学习领域，研究者构建了分层奖励函数来优化清洁任务的完成度；另有学者利用其时间对齐特性开发了多模态Transformer架构，该成果已延伸至服务机器人的人机交互研究。