depthrecall-ag-1000ep

MIKASA DepthRecall（DSFetch，辅助抓取）是一个采用 MIT 许可证、任务类别为 robotics 的 LeRobot v3.0 机器人数据集，标签包括 LeRobot、MIKASA、memory 和 mobile-manipulation。它包含 MIKASA 记忆任务 MikasaDepthRecall-v1 在 DsFetch 移动机械臂（ds_fetch，MIKASA-Robo-MMM @ 4c5c8b3）上的 oracle（运动规划器）演示，采集使用 ManiSkill 3、CPU PhysX 和 collection profile 6。采集环境启用了辅助抓取（assisted_grasp: true）：OmniGibson 的规则会在至少两根手指接触物体、物体位于夹爪垫之间且夹爪正在闭合时，将抓取物体焊接到手上（自由物体为刚性焊接，手柄为球形保持），并在夹爪打开时释放；策略应在相同环境中评测。数据集共 1000 个成功 episode，1376876 帧，频率为 10 Hz；控制录制频率为 20 Hz，保留每第二个控制步，动作保持两个控制步并在 10 Hz 下物理重放。action 为 13 维 pd_joint_pos，包括 7 个机械臂关节、夹爪、头部 pan、头部 tilt、躯干、基座前进速度和基座偏航角速度。observation.state 为 12 维，对应关节位置 qpos[3:]；global_state（3 维基座位姿）仅用于调试，不作为策略输入。相机仅提供 RGB：left_base_camera_link 256x256、right_base_camera_link 256x256、fetch_hand 128x128。归一化统计包含全局和逐 episode 的 q01/q10/q50/q90/q99（用于 pi0 / pi0.5 分位数归一化）。语言指令有 1 条，每条少于 100 个 PaliGemma token。选择与成功率信息保存在 meta/source_rlds_metadata.json / source_h5_metadata.json 中，记录 seeds、长度、时长、奖励、成功与失败 seed；规划器在全部 1100 个尝试 seed 上成功 1057 个，成功率 96.1%。episode 选择为按采集顺序（批次号，然后批次导出内的 episode 顺序）保留前 1000 个接受的 episode，另有 57 个接受的 episode 未纳入。validation_seeds.json 提供 100 个规划器可解决的场景 seed，未用于采集或开发，应使用这些 seed 精确评测策略。任务指令为：把道具从柜子取出放到柜台垫子上（番茄酱放红垫、胡椒放绿垫、盐放蓝垫、芥末放黄垫），保留从后面拿取的那个，并将其余道具放回原处。该数据集适用于移动操作、机器人记忆任务、视觉-语言-动作策略训练与评测，尤其适合基于 LeRobot 格式、在相同辅助抓取环境下进行策略开发和评估。MIKASA DepthRecall (DSFetch, assisted grasping) is a LeRobot v3.0 robotics dataset under the MIT license, with task category robotics and tags including LeRobot, MIKASA, memory, and mobile-manipulation. It contains oracle (motion planner) demonstrations for the MIKASA memory task MikasaDepthRecall-v1 on the DsFetch mobile manipulator (ds_fetch, MIKASA-Robo-MMM @ 4c5c8b3), collected using ManiSkill 3, CPU PhysX, and collection profile 6. The collection environment enables assisted grasping (assisted_grasp: true): OmniGibson rules weld a grasped object to the hand when at least two fingers contact the object, the object is between the gripper pads, and the gripper is closing (rigid welding for free objects, spherical holding for handles), and release when the gripper opens; policies should be evaluated in the same environment. The dataset has 1000 successful episodes and 1376876 frames at 10 Hz; control recording frequency is 20 Hz, retaining every second control step, with actions held for two control steps and physically replayed at 10 Hz. action is a 13-dimensional pd_joint_pos, including 7 robot arm joints, gripper, head pan, head tilt, torso, base forward velocity, and base yaw angular velocity. observation.state is 12-dimensional, corresponding to joint positions qpos[3:]; global_state (3-dimensional base pose) is for debugging only and is not used as policy input. Cameras provide RGB only: left_base_camera_link 256x256, right_base_camera_link 256x256, fetch_hand 128x128. Normalization statistics include global and per-episode q01/q10/q50/q90/q99 (for pi0 / pi0.5 quantile normalization). There is 1 language instruction, each fewer than 100 PaliGemma tokens. Selection and success information are saved in meta/source_rlds_metadata.json / source_h5_metadata.json, recording seeds, lengths, durations, rewards, success and failure seeds; the planner succeeded on 1057 of all 1100 attempted seeds, a success rate of 96.1%. Episode selection keeps the first 1000 accepted episodes in collection order (batch number, then episode order within batch export), with 57 additional accepted episodes not included. validation_seeds.json provides 100 planner-solvable scene seeds not used for collection or development; these seeds should be used to precisely evaluate policies. The task instruction is: take props out of the cabinet and place them on counter mats (ketchup on red mat, pepper on green mat, salt on blue mat, mustard on yellow mat), keep the one taken from behind, and put the remaining props back. This dataset is suitable for mobile manipulation, robotic memory tasks, and vision-language-action policy training and evaluation, especially for policy development and evaluation based on LeRobot format in the same assisted grasping environment.

原始信息汇总

MIKASA DepthRecall (DSFetch, assisted grasp) — 1000 successful episodes (LeRobot v3.0)

基本信息

• 数据集详情页：https://huggingface.co/datasets/nurtayev-d/depthrecall-ag-1000ep
• 许可证：mit
• 任务类别：robotics
• 标签：LeRobot、MIKASA、memory、mobile-manipulation
• 版本：LeRobot v3.0

数据来源与环境

• 演示类型：Oracle（运动规划器）演示
• 任务：MIKASA 记忆任务 MikasaDepthRecall-v1
• 机器人：DSFetch 移动操作机器人（ds_fetch，代码仓库：https://github.com/jezvgg/MIKASA-Robo-MMM @ 4c5c8b3）
• 仿真与配置：ManiSkill 3、CPU PhysX、collection profile 6
• 辅助抓取：开启（收集环境 kwargs 中 assisted_grasp: true）
  • OmniGibson 规则：当至少两根手指接触物体、物体位于指垫之间且夹爪正在闭合时，将抓取物体焊接到手部；自由物体为刚性焊接，手柄为球形保持；夹爪打开时释放。
  • 策略应在相同环境中评估。

数据规模与录制

• 回合数：1000
• 帧数：1376876
• 帧率：10 Hz
• 录制方式：以 20 Hz 控制录制并每隔一步保留；动作保持两个控制步，并以 10 Hz 物理回放。

数据字段

• action：13D，pd_joint_pos，包含 7 个手臂关节、夹爪、头部 pan、头部 tilt、躯干、基座前进速度、基座偏航角速度。
• observation.state：12D，关节位置 qpos[3:]；global_state（3D 基座位姿）仅供调试，不作为策略输入。
• 相机：仅 RGB；left_base_camera_link 256x256、right_base_camera_link 256x256、fetch_hand 128x128。
• 归一化统计：包含 q01/q10/q50/q90/q99（pi0 / pi0.5 分位数归一化），提供全局和逐回合统计。
• 语言指令：1 条，每条少于 100 个 PaliGemma token，见下方指令。

选择与成功率

• 所有尝试的场景种子保存在元数据文件 https://huggingface.co/datasets/nurtayev-d/depthrecall-ag-1000ep/blob/main/meta/source_rlds_metadata.json / https://huggingface.co/datasets/nurtayev-d/depthrecall-ag-1000ep/blob/main/meta/source_h5_metadata.json 中，包含种子、长度、时长、奖励、成功状态、失败种子。
• 规划器在全部 1100 个尝试种子上的成功率：1057/1100 = 96.1%。
• 回合选择：按收集顺序（批次号，然后批次导出内的回合顺序）选取前 1000 个接受的回合；保留 1000 个，另有 57 个接受的回合未包含。

验证

• https://huggingface.co/datasets/nurtayev-d/depthrecall-ag-1000ep/blob/main/validation_seeds.json：100 个规划器可解决的场景种子，未用于收集或开发；应使用这些种子评估策略。

指令

• 将道具从柜子中取出放到柜台垫上（番茄酱放在红色垫上，胡椒放在绿色垫上，盐放在蓝色垫上，芥末放在黄色垫上），保留后面的那一个，并将其他道具放回它们原来所在的位置。

搜集汇总

数据集介绍

构建方式

在具身智能与机器人学习领域，长时程记忆与移动操作演示数据的构建关乎策略泛化与任务复现。该数据集依托MIKASA-Robo-MMM代码库，以Oracle运动规划器在ManiSkill 3的CPU PhysX后端驱动DSFetch移动机械臂，针对MikasaDepthRecall-v1记忆任务生成演示。采集配置启用辅助抓取，当至少两指接触物体、物体位于夹爪垫之间且夹爪闭合时，OmniGibson规则将自由物体刚性焊接或把手球形固持于手部，开爪即释放。控制信号以20Hz记录，隔步保留形成10Hz数据，动作保持两个控制步并物理重放。全部1100个场景种子均留存元数据，规划成功1057个，按采集顺序纳入前1000个成功回合，其余57个成功回合未入选。

特点

围绕记忆增强型移动操作任务，该数据集呈现出多模态观测、精细控制与严格评估划分等属性。其规模为1000个成功回合、1376876帧，采样频率10Hz；动作空间为13维pd_joint_pos，含7个臂关节、夹爪、头部平移与俯仰、躯干、基座前进速度及偏航角速度；观测状态为12维关节位置，基座全局位姿仅供调试。视觉输入仅用RGB，包括左右基座相机256×256与手部相机128×128。语言指令遵循PaliGemma词元限制，每条约100词元以内。归一化统计覆盖q01、q10、q50、q90、q99，既提供全局统计也提供逐回合统计，便于pi0与pi0.5的量化归一化；验证种子独立用于评测，未参与采集或开发。

使用方法

就机器人策略训练与基准评测而言，该数据集遵循LeRobot v3.0规范，便于在统一管线中加载与复现。策略输入宜采用12维observation.state关节位置与左基座、右基座及手部RGB图像，global_state中的3D基座位姿仅作调试，不应作为策略输入。输出动作为13维pd_joint_pos，须在启用辅助抓取的同一环境中评估，以保持抓取动力学一致。评测可使用validation_seeds.json中的100个场景种子，这些种子由规划器求解且未用于采集或开发，能提供独立参照。语言指令对应柜中取物并放回的任务描述，归一化统计可用于pi0与pi0.5量化归一化；动作按10Hz重放，训练时应匹配相应控制时序。

背景与挑战

背景概述

MIKASA DepthRecall 数据集诞生于具身智能与移动操作研究交汇处，依托 MIKASA-Robo-MMM 开源项目，以 DSFetch 移动机械臂和 ManiSkill 3/CPU PhysX 为仿真底座，采集 MikasaDepthRecall-v1 记忆任务的 Oracle 运动规划演示。其公开 README 未标注具体创建时间与所属机构，主要维护信息指向 jezvgg/MIKASA-Robo-MMM 仓库。核心研究问题在于语言指令驱动下的长时程记忆操作：智能体须从橱柜取出物体，按指定色垫放置，保留后方物体并归位其余道具。数据集含 1000 条成功回合、约 137 万帧，提供 13 维关节位置动作、12 维状态与多视角 RGB 观测，并附验证种子，为移动操作策略的复现、比较与泛化评估提供基准资源。

当前挑战

该数据集面临多维挑战：领域问题层面，聚焦移动机械臂在部分可观测环境中的长时程记忆与语言条件操作，智能体需导航至橱柜、辨识并抓取目标物体，按颜色垫位放置，同时保留后方物体并归位其余道具，这要求空间记忆、指令 grounding、抓取时序与多阶段规划协同。构建层面，演示由 Oracle 运动规划器生成，抓取成功依赖 assisted grasp 的刚性焊接或球形保持规则，虽提升成功率，却可能弱化真实接触动力学；1100 次尝试中 1057 次成功，需筛选前 1000 条以保持一致性；控制频率 10Hz、动作保持两步重放，以及多相机 RGB 观测与 13 维动作空间，均增加数据规整、归一化与评估隔离的难度。

常用场景

经典使用场景

在具身智能与移动操作研究持续向长时程、记忆依赖与多模态感知演进的背景下，depthrecall-ag-1000ep 的经典使用场景集中于训练和评估策略在 DSFetch 移动机械臂上执行 MikasaDepthRecall-v1 记忆任务。策略接收三路 RGB 观测、本体状态与语言指令，需从橱柜取出调味品并依据颜色垫位放置，同时记住柜子后部保留对象，将其余物品归还原位。1000 条 oracle 运动规划演示、10 Hz 重采样与辅助抓取设定，使该数据集成为了解记忆召回与移动操作协同的基准语料。

解决学术问题

在机器人学习长期受制于部分可观测、长时程信用分配与演示分布偏移的学术语境中，该数据集缓解了记忆型移动操作缺乏高质量专家轨迹的问题。它提供 96.1% 规划成功率的 1000 个成功回合，覆盖 13 维 pd_joint_pos 动作、12 维本体状态及多相机 RGB，并以 q01/q10/q50/q90/q99 归一化适配 pi0/pi0.5 等现代策略。借助独立验证种子与失败元数据，研究者可系统考察策略在物体归位、跨阶段记忆和辅助抓取条件下的泛化边界，从而推动可复现的移动操作基准建设。

衍生相关工作

在 LeRobot 与 MIKASA 生态交叉推动下，该数据集衍生了围绕记忆增强模仿学习、移动操作基准和量化归一化的经典工作。MikasaDepthRecall-v1 与 DSFetch 平台将 ManiSkill 3、CPU PhysX 和 OmniGibson 辅助抓取整合为可复现任务；LeRobot v3.0 格式促进策略训练流水线标准化；pi0/pi0.5 的分位数归一化实践也在该数据中得到体现。后续研究常以其为测试台，比较记忆架构、视觉骨干和动作解码头在长时程归位任务中的表现，并拓展到更复杂的移动操控序列。