lerobot_dsue_dataset_pollinate_3

该数据集是使用LeRobot框架创建的机器人领域数据集，主要用于机器人控制任务，特别是跟随（so_follower）类型任务。数据集以时序形式组织，包含多模态观测数据和对应的机器人动作指令。数据内容主要包括：机器人本体的6个关节（肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪）的位置信息，既作为观测状态也作为动作输出；来自两个视角（前视和侧视）的图像观测，均为分辨率480x640的RGB视频流，帧率为30fps。数据集还包含丰富的时间步和序列索引信息，如时间戳、帧索引、回合索引和任务索引，便于时序建模和任务划分。数据以分块形式存储，每个数据块包含1000帧，总数据文件大小约100MB，视频文件大小约200MB。该数据集适用于机器人模仿学习、强化学习、视觉-动作映射等研究任务。This dataset is created using the LeRobot framework for the robotics domain, primarily designed for robot control tasks, especially the following (so_follower) type tasks. The dataset is organized in a temporal sequence format, containing multimodal observation data and corresponding robot action commands. The data content mainly includes: position information of the robots 6 joints (shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, gripper), which serve both as observation states and action outputs; image observations from two perspectives (front view and side view), both as RGB video streams with a resolution of 480x640 and a frame rate of 30fps. The dataset also contains rich timestep and sequence index information, such as timestamps, frame indices, episode indices, and task indices, facilitating temporal modeling and task partitioning. Data is stored in chunks, with each chunk containing 1000 frames. The total data file size is approximately 100MB, and the video file size is about 200MB. This dataset is suitable for research tasks such as robot imitation learning, reinforcement learning, and vision-action mapping.

原始信息汇总

数据集概述

• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot
• 创建工具: 使用 LeRobot 创建

数据集结构

• 机器人类型: so_follower
• 总剧集数: 0
• 总帧数: 0
• 总任务数: 0
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率 (FPS): 30

数据路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征描述

特征名称	数据类型	形状	维度名称
action	float32	[6]	shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
observation.state	float32	[6]	shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
observation.images.front	video	[480, 640, 3]	height, width, channels
observation.images.side	video	[480, 640, 3]	height, width, channels
timestamp	float32	[1]	无
frame_index	int64	[1]	无
episode_index	int64	[1]	无
index	int64	[1]	无
task_index	int64	[1]	无

引用

• BibTeX: 暂无信息

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，专为机器人操控任务设计。数据采集采用so_follower机器人平台，以30帧每秒的采样频率记录操作过程中的多维信息。数据以parquet格式存储于'data/'目录下的分块文件中，视频数据则对应存放于'videos/'目录，每块容量为1000帧。通过清晰的路径模板（如chunk-{chunk_index:03d}/file-{file_index:03d}.parquet）组织，确保了大规模数据的高效管理与可扩展性。

使用方法

数据集专为模仿学习和机器人操控的序列建模而设计。用户可通过LeRobot库直接加载parquet文件，利用'action'和'observation.state'字段进行行为克隆训练。'observation.images'中的视频数据可结合卷积神经网络或视频模型提取时空特征，而'episode_index'和'task_index'便于划分独立轨迹和任务。推荐将数据按8:1:1的比例划分训练、验证和测试集，以评估模型在泛化任务上的表现。

背景与挑战

背景概述

该数据集由LeRobot框架创建，专注于机器人操控领域，核心研究问题在于通过模仿学习实现机器人精确执行“授粉”这一精细操作任务。数据集采用so_follower机器人平台，采集了包含6维动作空间（肩关节、肘关节、腕关节及夹爪位置）和双视角视觉观测（前视与侧视，分辨率480×640）的多模态数据。作为服务于机器人模仿学习与行为克隆研究的基础资源，该数据集为探索复杂交互场景下的机器人技能迁移提供了标准化训练样本，对推动农业自动化与精细操控技术发展具有潜在影响力。

当前挑战

该数据集所解决的领域挑战在于授粉任务的高精度要求与动态环境适应性：机器人需在非结构化环境中对微小目标执行毫米级操控，并应对花朵形态差异及光照变化带来的视觉干扰。构建过程中面临的核心困难包括：1）通过遥操作采集高质量示教数据时，需精确同步6自由度关节状态与多视角视频流，保证30帧/秒的时序一致性；2）数据标注需覆盖不同授粉阶段（如接触、释放）的过渡状态，而当前数据集标注信息（如task_index）尚不完备；3）初始版本中总片段数与帧数为零，表明数据收集尚处于起步阶段，需要解决小样本条件下的泛化性挑战。

常用场景

经典使用场景

在机器人学习领域，数据集是驱动策略学习与泛化能力提升的核心资源。lerobot_dsue_dataset_pollinate_3 由 LeRobot 框架构建，聚焦于灵巧操作任务中的授粉场景，其经典使用场景在于训练机器人模仿人类或演示者的精细动作，尤其是在非结构化环境中执行与花朵交互的细微操作。通过采集包含六自由度关节位置、夹爪状态以及多视角视觉图像（正面与侧面）的高频数据（30 FPS），该数据集为模仿学习算法提供了丰富的状态-动作对，支持从像素直接映射到低层控制指令的端到端策略学习，成为研究柔顺控制与环境自适应操作的重要基石。

解决学术问题

该数据集的核心学术价值在于解决机器人灵巧操作中数据稀缺与任务多样性不足的长期困境。针对模仿学习领域对高质量、细粒度演示数据的迫切需求，lerobot_dsue_dataset_pollinate_3 提供了带有时间戳和任务索引的结构化多模态记录，使得研究者能够深入探索行为克隆、逆强化学习等范式的泛化边界。它有效缓解了复杂接触任务（如授粉）中状态空间的高维性与动作精度要求之间的矛盾，推动了关于接触力建模、视觉伺服控制以及多模态融合表征的学习理论发展，为构建可迁移至相似精细操作任务的控制模型提供了标准化评估基准。

实际应用

在实际应用层面，该数据集赋能了农业自动化与生态保护机器人系统的技术落地。通过迁移在授粉演示中习得的操作策略，机器人能够自主执行如花朵授粉、果实采摘等需要高度灵巧性的农事任务，减少对人工劳力的依赖。数据集中的多视角视觉信息可被用于训练机器人实时识别花朵姿态与成熟度，并结合精确的关节控制实现非破坏性交互。此外，基于该数据集开发的算法可推广至医疗辅助操作（如显微注射）与精密装配等领域，展现出从受控环境到真实世界的广泛应用潜力，推动服务型机器人向更精细的操作能力演进。

数据集最近研究

最新研究方向

该数据集聚焦于机器人精细操控领域，特别是面向农业授粉作业的模仿学习研究。基于LeRobot框架构建的so_follower机械臂数据，包含六自由度关节动作与多视角视觉观测，为研究复杂环境下的视觉-运动协调策略提供了标准化训练样本。当前前沿方向包括利用扩散策略或多模态大模型，从高帧率视频与状态序列中提取可泛化的授粉技能，并通过大规模数据集预训练实现零样本迁移至真实作物场景。该数据集的出现填补了农业机器人灵巧操作领域高质量开放数据的空白，有望推动具身智能在精准农业中的落地应用。