ccwatson/metaworld_bin_transfer_randomized_noise005_50eps

该数据集包含用于三托盘彩色积木转移任务的脚本化MetaWorld演示。场景中有一个灰色源托盘，内含一个红色积木和一个蓝色积木，以及一个红色目标托盘和一个蓝色目标托盘。每个情节要求Sawyer夹爪将指定颜色的积木移动到指定颜色的目标托盘，提示变体包括省略高度约束（“base”）或明确要求机器人将积木保持在桌面上方高处（“high”）或低处（“low”）。其目的是为OpenPI/pi0.5微调提供精确空间和语义控制的干净LeRobot格式数据集：选择正确颜色的物体、选择正确颜色的目标托盘、避免将干扰积木移动到请求的目标托盘，并根据语言调整运动高度。This dataset contains scripted MetaWorld demonstrations for the three-tray colored block transfer task. The scene includes a gray source tray holding one red block and one blue block, alongside a red target tray and a blue target tray. Each episode requires the Sawyer gripper to move a block of the specified color to the target tray matching its color. Prompt variants include omitting height constraints (labeled "base"), or explicitly instructing the robot to keep the block at a high ("high") or low ("low") elevation above the tabletop. The goal of this dataset is to provide a clean LeRobot-formatted dataset for fine-tuning OpenPI/pi0.5, which demands precise spatial and semantic control: selecting the correctly colored target block, choosing the appropriately colored target tray, avoiding moving the distractor block to the requested target tray, and adjusting the movement height according to the given language instructions.

搜集汇总

数据集介绍

构建方式

在机器人操作领域，精细化的空间控制与语义理解是模仿学习的关键挑战。为支撑此类研究，MetaWorld Bin Transfer Randomized Noise005 50eps数据集基于MuJoCo物理引擎构建，旨在为OpenPI与pi0.5模型提供面向精确空间与语义控制的微调数据。数据集使用脚本化策略，在MetaWorld模拟环境中执行三箱彩色方块转移任务，场景包含一个灰色源托盘以及红蓝两个目标托盘，每集需控制Sawyer机械臂将指定颜色的方块搬运至对应颜色的目标托盘。生成过程采用统一的Python脚本，每类任务生成50个成功轨迹，最大尝试次数为75次，每集步数上限为420步，成功后再记录8步作为后处理窗口，最终收录600条、共计110088帧的演示数据。

特点

该数据集的核心特点在于其多维度控制的精细设计。任务网格覆盖了红蓝方块与红蓝目标托盘的所有颜色配对组合，包括同色与异色情况，同时为每对组合设计了三种语言及高度变体：基准模式不限制高度，高模式要求方块边缘离桌面不低于0.12米，低模式则要求不超过0.06米。数据采集时引入了高斯噪声以实现随机化，其中方块初始XY位置噪声幅度为0.008米，目标位置噪声为0.012米，并且执行动作噪声（幅度0.05）仅作用于模拟器而不记录，以确保记录的动作清晰干净。此外，数据集还提供了从自然语言提示到程序化提示的精确映射文件，支持运行时替换提示，便于进行结构化空间关系推理。

使用方法

针对该数据集的使用，建议研究者将其直接应用于LeRobot v2.1格式的模仿学习训练流程中。数据以Parquet分片文件存储，包含600个单独的episode文件，兼容OpenPI的MetaWorld LeRobot路径。训练时可加载自然语言提示，也可通过OpenPI的提示重映射配置，将prompt替换为程序化逻辑表达，以支持结构化策略学习。评估时，可通过提供的基准评估脚本加载相同重映射文件，验证模型在精确颜色选择、目标区分及高度约束条件下的表现。数据集的低模式存在4个已标记的最终验证未通过的episode，使用者可根据质量标记文件选择是否纳入训练，或在评估时将未记录的动作噪声与随机化参数纳入考量，以增强模型的鲁棒性。

背景与挑战

背景概述

MetaWorld Bin Transfer Randomized Noise005 50eps数据集由研究者Christopher Watson于2026年创建，隶属于OpenPI/pi0.5微调项目，旨在为机器人操作中的精确空间与语义控制提供标准化训练资源。该数据集聚焦于一个三箱彩色方块转移任务，要求Sawyer机械臂根据语言指令将指定颜色的方块移动至对应颜色的目标托盘，同时避免干扰物被错误移动，并调节携带高度（如高、低或无约束）。通过集成12种任务变体（涵盖颜色匹配与不匹配、高度模式等），该数据集显著推动了模仿学习与操作控制领域的发展，尤其为基于语言的条件化策略训练提供了重要的基准，对提升机器人对复杂空间关系的理解与执行能力具有深远影响。

当前挑战

该数据集面临的挑战主要涵盖两大层面。在领域问题层面，其核心挑战在于解决机器人操作中的精细化空间与语义控制难题，包括如何从语言指令中准确区分目标物体与干扰物、执行颜色匹配的转移任务，以及根据高度约束（如高、低模式）灵活调整运动轨迹，这要求模型具备鲁棒的多模态感知与推理能力。在构建过程中，挑战表现为数据收集的随机化与保真度权衡：通过引入高斯噪声至块初始位置（0.008米）和目标位置（0.012米）以增强多样性，但同时需确保物理合理性；此外，未记录动作噪声（0.05）的添加增加了轨迹的鲁棒性，却可能影响最终状态验证的准确性——如4个低模式回合虽成功完成任务但未通过最终验证，反映出噪声控制与任务成功率之间的微妙平衡。

常用场景

经典使用场景

在机器人操作与模仿学习领域，该数据集的核心应用场景是微调视觉-语言-动作多模态模型（如OpenPI的pi0.5），使其能够精准执行依据自然语言指令进行空间语义控制的分拣任务。具体而言，模型需从包含红色与蓝色方块及对应目标托盘的场景中，基于诸如“将红色方块移至蓝色托盘并保持高度贴近桌面”等指令，正确识别目标物体与目的地，规划避开干扰物的轨迹，并实时调整抓取与搬运高度。该数据集通过12种任务变体，系统性地训练模型在颜色匹配、语义歧义消除和高度约束下的泛化能力。

实际应用

在实际产业场景中，该数据集所训练的能力可直接应用于仓储物流的自动化分拣系统，尤其是需要灵活处理多种规格与颜色物料的轻工生产线。机器人通过相机感知与语言接口，能够根据动态变化的订单指令（如“将A类红色零件放入B号蓝色料箱并保持低位转运”），在密集摆放的物料中准确抓取目标，同时避免碰撞与错放。此外，该技术还可拓展至家庭服务机器人，使其理解口语化的收拾指令（如“把蓝色玩具搬到红色收纳盒，别碰那个绿色的”），在非结构化环境中实现安全、可靠的物体搬运。

衍生相关工作

该数据集衍生的经典工作围绕精细空间语言条件模仿学习展开。典型代表包括OpenPI框架下的pi0.5模型微调管线，研究者利用该数据集探索了程序化提示重映射技术，将自然语言指令等价转换为符号化任务描述（如PDDL形式），从而评估模型在符号空间与连续动作空间之间的对齐能力。另一方向是Benchmark评估工具链的建立，如配套的`eval_bin_transfer_benchmark.py`脚本支持对不同高度模式（高、低、基准）的分任务评测。此外，该数据集的生成代码与扰动设计（如未记录的动作噪声）启发了关于演示数据鲁棒性的后续研究，推动了碰撞感知脚本策略与状态机规划在模仿学习中的融合应用。