corrupted_test_mahjong_pickup

该数据集是使用LeRobot框架创建的机器人操作数据集，专为机器人任务设计，机器人类型为so_follower。数据集包含202个episodes，总计67336帧数据，帧率为30fps。数据以parquet文件格式存储，总数据文件大小约为100MB，视频文件大小约为200MB。特征字段包括：动作（action）表示6个关节的位置（肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）；观测状态（observation.state）同样包含这6个关节位置；视觉观测包括手腕摄像头（observation.images.wrist）和鸟瞰摄像头（observation.images.birdsEye）的视频流，均为480x640分辨率、3通道的RGB视频，使用av1编码；此外还包括时间戳（timestamp）、帧索引（frame_index）、episode索引（episode_index）、全局索引（index）和任务索引（task_index）。数据集仅包含训练集（train），涵盖所有202个episodes。适用于机器人学习、模仿学习、强化学习等任务，特别是涉及多模态感知（状态+视觉）和关节控制的操作任务。

This dataset is a robot manipulation dataset created using the LeRobot framework, designed for robot tasks with a robot type of so_follower. It contains 202 episodes, totaling 67336 frames of data at a frame rate of 30fps. The data is stored in parquet format, with a total data file size of approximately 100MB and video file size of about 200MB. Feature fields include: action representing the positions of 6 joints (shoulder translation, shoulder lift, elbow bend, wrist bend, wrist rotation, gripper position); observation.state also includes these 6 joint positions; visual observations include video streams from a wrist camera (observation.images.wrist) and a birds-eye camera (observation.images.birdsEye), both in 480x640 resolution, 3-channel RGB video, encoded with av1; additionally, it includes timestamp, frame_index, episode_index, index, and task_index. The dataset only contains a training set (train), covering all 202 episodes. It is suitable for tasks such as robot learning, imitation learning, and reinforcement learning, particularly for operation tasks involving multimodal perception (state + vision) and joint control.

原始信息汇总

数据集概述

• 数据集名称: corrupted_test_mahjong_pickup
• 许可证: Apache-2.0
• 任务类型: 机器人学（Robotics）
• 标签: LeRobot
• 创建工具: 基于 LeRobot 框架创建

数据集结构

• 配置文件: 默认配置（default），数据文件路径为 data/*/*.parquet
• 元数据文件: meta/info.json
• 代码库版本: v3.0
• 帧率: 30 FPS
• 机器人类型: so_follower

数据特征

特征名	数据类型	形状	说明
action	float32	(6,)	机械臂动作：肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置
observation.state	float32	(6,)	机器人观察状态（与动作维度相同）
observation.images.wrist	video	(480, 640, 3)	手腕摄像头视频流，AV1编码，30 FPS，YUV420P格式
observation.images.birdsEye	video	(480, 640, 3)	鸟瞰摄像头视频流，AV1编码，30 FPS，YUV420P格式
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	片段索引
index	int64	(1,)	全局索引
task_index	int64	(1,)	任务索引

数据集规模

• 总片段数: 202
• 总帧数: 67,336
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 数据分块: 每个块包含1000个样本，数据文件命名格式：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet，视频文件命名格式：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据划分

• 训练集: 包含全部202个片段（索引0至201），无验证集或测试集划分

引用信息

• 引用所需的 BibTeX 信息暂缺（标记为“More Information Needed”）

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人操作任务设计，聚焦于麻将牌拾取场景。数据集以固定采样频率（30 FPS）记录了202个完整任务回合，共包含67,336帧数据，并以Parquet格式存储结构化的动作与状态信息。动作指令与观测状态均涵盖6维关节控制参数，包括肩部、肘部、腕部及夹爪的位姿数据。此外，数据集中还集成了来自腕部与鸟瞰两个视角的高清视频流（480×640像素），采用AV1编码压缩，以高效保留视觉细节。整体数据被划分为训练集，并通过分块策略（每块1000帧）组织，便于分布式加载与处理。

使用方法

该数据集主要适用于行为克隆与模仿学习算法的训练与评估。使用者可通过LeRobot的API直接加载Parquet文件与对应视频片段，并将动作、状态、图像等多模态数据对齐至同一时间轴。建议以回合为单位进行数据分组，利用episode_index字段提取完整轨迹，并结合frame_index进行子序列采样。数据集的标准化格式支持与PyTorch、TensorFlow等主流框架无缝集成，便于设计端到端的机器人控制策略。对于强化学习场景，可基于任务索引构造奖励函数，或通过可视化工具（如HuggingFace Spaces）预览数据质量，以辅助模型调试与迭代。

背景与挑战

背景概述

在机器人学习领域，模仿学习与行为克隆技术依赖于高质量、多样化的示教数据集以实现复杂技能的泛化。corrupted_test_mahjong_pickup数据集由Yewy团队基于LeRobot框架创建，专注于评测机器人操控系统在噪声或异常数据条件下的鲁棒性。该数据集记录了202次四自由度肩臂关节和灵巧手部执行抓取任务的交互数据，包含6维动作状态与腕部、鸟瞰双视角视频流，以30帧/秒的高频采样捕捉细粒度操作细节。其核心研究问题在于通过引入人为构造的传感器干扰或动作异常，构建具有挑战性的测试环境，为验证机器人策略面对非理想输入时的退化边界提供标准化基准。该数据集填补了现有机器人基准中抗干扰评测的空白，推动了鲁棒学习算法的发展。

当前挑战

该数据集旨在解决机器人学习领域对传感器噪声与执行误差鲁棒性评估的缺失问题。真实场景中机器人常面临视觉得遮挡、关节漂移或指令延迟等非理想输入，传统数据集假设完美感知条件导致策略脆弱易失效。构建过程中，核心挑战在于设计合理的“腐化”模式以模拟物理世界典型扰动，需平衡破坏强度与任务可解性；同时需避免引入人为偏见，确保测试结果能反映算法真实短板。此外，多模态数据（如视频流与状态量）的时间同步误差可能掩盖潜在因果关联，需严格记录失真参数以支持量化分析。高维动作空间（6自由度）与稀疏奖励特性进一步加剧了策略对局部异常的敏感性，使该数据集成为评估鲁棒学习方法的关键工具。

常用场景

经典使用场景

在机器人学习与智能操控的研究领域，该数据集为模仿学习与行为克隆提供了宝贵的训练素材。它记录了机械臂在拾取麻将牌这一精细操作任务中的完整交互轨迹，涵盖关节角度、末端执行器位姿及多视角视觉观测，使得研究者能够训练机器人从示范中学习精准的抓取策略。其高帧率（30 FPS）与多模态特性尤其适用于融合视觉与本体感知的端到端模型开发。

解决学术问题

该数据集有效应对了机器人精细操控中数据稀缺与泛化能力不足的挑战。通过提供包含202个完整回合的高质量示范，它助力研究者探究如何在结构相似但状态各异的场景下（如麻将牌的不同摆放位置）实现鲁棒模仿，从而推动从单一任务泛化到更广泛桌面操作场景的理论突破。这对理解小样本学习与域适应在机器人领域的应用具有深远意义。

实际应用

在实际应用层面，该数据集模拟了桌面游戏中自动筹码整理或棋牌辅助机器人等场景。通过训练模型掌握麻将牌的温和拾取与准确放置，技术可迁移至电商分拣、精密装配等工业环境，乃至家庭服务机器人中处理琐碎物件，显著提升了自动化系统在非结构化场景中的操作可靠性与灵活性。

数据集最近研究

最新研究方向

该数据集聚焦于机器人操作领域中的麻将拾取任务，尤其针对在视觉或机械协同过程中引入的‘扰动因素’进行建模与评估。当前，机器人精细操作的前沿研究正从理想环境下的任务执行转向对噪声、延迟、遮挡等现实干扰的鲁棒性提升。corrupted_test_mahjong_pickup通过提供包含多视角图像序列与六轴机械臂位姿动作的连续轨迹数据，为构建抗干扰的模仿学习模型提供了关键测试基础。其应用意义在于推动麻将博弈这类高精度交互任务从自动化向自适应进化，同时为智能体在复杂非结构化环境中的泛化能力验证树立了新标杆。