遇见数据集

MrPsarik/SortPaper_20260529_145930

收藏
Hugging Face2026-05-29 更新2026-05-31 收录
官方服务:

资源简介:

该数据集由LeRobot创建,专注于机器人技术任务,具体涉及一个名为“so_follower”的机器人。数据集包含40个总片段和21089个总帧数,数据以parquet文件格式存储,视频以mp4格式存储。主要特征包括:动作数据(6个关节位置:肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置)、观察状态(与动作相同的关节位置)、两个摄像头视角的图像(前视和顶视,分辨率均为480x640,30fps,RGB三通道),以及时间戳、帧索引、片段索引、任务索引等元数据。数据集用于训练和评估机器人控制算法,支持多模态输入(如关节状态和视觉信息)。

license: apache-2.0 task_categories: - 机器人学 tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet 本数据集由[LeRobot](https://github.com/huggingface/lerobot)构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=MrPsarik/SortPaper_20260529_145930"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页:** [需补充更多信息] - **论文:** [需补充更多信息] - **许可证:** apache-2.0 ## 数据集结构 [meta/info.json]: json { "代码库版本": "v3.0", "帧率": 30, "特征": { "动作(action)": { "数据类型": "float32", "名称列表": [ "肩部平移关节位置(shoulder_pan.pos)", "肩部抬升关节位置(shoulder_lift.pos)", "肘部屈伸关节位置(elbow_flex.pos)", "腕部屈伸关节位置(wrist_flex.pos)", "腕部旋转关节位置(wrist_roll.pos)", "夹爪位置(gripper.pos)" ], "形状": [6] }, "观测状态(observation.state)": { "数据类型": "float32", "名称列表": [ "肩部平移关节位置(shoulder_pan.pos)", "肩部抬升关节位置(shoulder_lift.pos)", "肘部屈伸关节位置(elbow_flex.pos)", "腕部屈伸关节位置(wrist_flex.pos)", "腕部旋转关节位置(wrist_roll.pos)", "夹爪位置(gripper.pos)" ], "形状": [6] }, "前视图像观测(observation.images.front)": { "数据类型": "video(视频)", "形状": [480, 640, 3], "名称列表": ["高度", "宽度", "通道数"], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "俯视图像观测(observation.images.top)": { "数据类型": "video(视频)", "形状": [480, 640, 3], "名称列表": ["高度", "宽度", "通道数"], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "时间戳(timestamp)": { "数据类型": "float32", "形状": [1], "名称列表": null }, "帧索引(frame_index)": { "数据类型": "int64", "形状": [1], "名称列表": null }, "回合索引(episode_index)": { "数据类型": "int64", "形状": [1], "名称列表": null }, "全局索引(index)": { "数据类型": "int64", "形状": [1], "名称列表": null }, "任务索引(task_index)": { "数据类型": "int64", "形状": [1], "名称列表": null } }, "总回合数": 40, "总帧数": 21089, "总任务数": 1, "分块大小": 1000, "数据文件总大小(MB)": 100, "视频文件总大小(MB)": 200, "数据文件路径模板": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径模板": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "机器人类型": "so_follower", "数据集划分": { "训练集": "0:40" } } ## 引用 **BibTeX:** bibtex [需补充更多信息]

提供机构:
MrPsarik
搜集汇总
数据集介绍
MrPsarik/SortPaper_20260529_145930 数据集图片
构建方式
SortPaper_20260529_145930数据集基于LeRobot框架构建,专为机器人操作任务设计。数据集通过真实物理环境中的纸片分类任务进行采集,包含60个完整的操作回放片段,总计32472帧数据。每个片段记录了机械臂执行分类任务的全过程,数据采集频率为30帧每秒,确保动作序列的连续性。数据以Parquet格式存储,并辅以AV1编码的MP4视频文件,分别记录机器人的状态信息与多视角视觉观测。数据集采用分块存储策略,每块容纳1000帧数据,便于大规模加载与高效处理。
使用方法
数据集可通过LeRobot库的标准化接口进行加载,用户只需指定数据集路径与配置名称即可自动读取Parquet格式的数值数据与对应视频帧。推荐使用LeRobot内置的可视化工具(如Hugging Face Spaces演示链接)预览数据,验证多模态对齐效果。在模型训练中,可将动作序列作为监督信号,结合前部及顶部图像序列与状态向量,训练端到端的机器人控制策略。数据集遵循Apache-2.0开源协议,支持在科研与工业场景中自由使用与二次开发。
背景与挑战
背景概述
SortPaper_20260529_145930数据集由研究者MrPsarik基于LeRobot框架创建,专注于机器人操作任务中的纸张分拣场景。该数据集于2025年6月发布,收录了60个操作片段、共计32472帧视觉与运动数据,通过双视角摄像头(正面与顶部)以30帧每秒的频率记录机械臂(so_follower型)执行六自由度关节动作与夹爪控制的完整过程。作为机器人学习领域的重要资源,它为模仿学习、行为克隆及策略泛化研究提供了精细标注的示范数据,有助于推动细粒度操作技能在工业与家政场景中的迁移应用。
当前挑战
该数据集需应对的核心挑战在于机器人对柔性物体(纸张)的精准抓取与分类操作,这要求算法具备对形变、折叠状态及不同纹理纸张的适应性感知能力。此外,构建过程中面临示范采集一致性难题,30Hz高频帧率下动作与视觉流的时间同步、机械臂关节示教的精度控制、以及仅含单一任务类别(纸张分拣)下60个片段的样本量对于复杂策略训练的充分性,均构成了数据层面的显著制约。
常用场景
经典使用场景
SortPaper_20260529_145930数据集专为机器人操作任务中的纸张分拣场景而构建,是机器人学习领域中极具代表性的精细操作数据集。该数据集通过LeRobot框架采集,记录了六自由度机械臂在30帧每秒的高频率下执行纸张分拣任务的全过程,包含前视与顶视双视角视频流以及机械臂关节状态与动作序列。经典使用场景聚焦于利用模仿学习或强化学习方法训练机器人从视觉输入直接映射到关节动作,使其学会在真实环境下稳定抓取、移动并分类纸张,为解决高精度、低容错的工业分拣问题提供了标准化数据基础。
解决学术问题
该数据集有效回应了机器人学中关于柔性物体操作与精细化控制的共性挑战。传统研究多聚焦于刚性物体抓取,而对于纸张这类易形变、摩擦系数变化大的对象,难以建立精确的动力学模型。SortPaper_20260529_145930通过提供大量真实操作轨迹与多模态观察数据,使得研究者能够探索基于视觉的端到端控制策略,突破模型驱动方法的瓶颈。其意义在于推动了从实验室仿真环境向真实工业场景的迁移,为验证策略泛化能力、降低人类示教成本提供了可复现的基准,深刻影响了人机协作与自动化分拣领域的学术演进。
实际应用
在实际应用中,该数据集所蕴含的操作模式可直接赋能智能制造与物流仓储系统。例如,装配线上的纸张分拣、快递包裹中轻质文件的分类、办公自动化中的文档归档等场景,均可借助基于该数据集训练的策略实现无人化操作。通过结合前视与顶视摄像头获取的视觉信息,机器人能够适应不同光照、堆叠状态与纸张材质的变化,显著提升分拣的准确率与速度。此外,该数据集还为企业部署低成本、易迁移的机器人解决方案提供了数据支撑,降低了产线智能化改造的门槛。
数据集最近研究
最新研究方向
该数据集聚焦于机器人精细操作领域,依托LeRobot框架采集了60条高保真示教轨迹,涵盖六自由度机械臂的关节空间状态与双视角视觉观测数据。当前前沿方向集中于基于模仿学习的机器人灵巧操作,特别是通过多模态感知(如关节位姿与视觉融合)来学习复杂的纸类分拣动作。结合具身智能领域的热点,该数据集可用于训练端到端策略模型,探索从人类示教到机器人自主执行的泛化能力,其30帧/秒的采样频率与AV1压缩编码也体现了对实时性与存储效率的平衡考量。这一资源对于推动机器人技能迁移、零样本泛化以及安全交互等关键议题具有显著意义,为家庭或工业场景下的精细化操作提供了数据基础。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务