遇见数据集

fan48-dense-data

收藏
Hugging Face2026-09-08 更新2026-09-09 收录
官方服务:

资源简介:

fan48-dense-data 是一个用于机器人动作选择与搜索策略评估的数据集。该数据集记录了在机器人任务规划中,从每个状态提出多个动作块,并追踪每个动作块的实际执行结果。对于被搜索算法丢弃的分支,会从中断点恢复并继续执行,以评估该动作的潜在效果。数据集包含 307 次搜索,覆盖 12 个不同的机器人操作任务(如将苹果放入篮子、将瓶子放入冰箱等),共计 105,613 个节点。每个节点包含其状态、机器人指令以及来自三个摄像头(countertop_camera、right_camera、left_camera)的 JPEG 图像。数据以 parquet 格式存储,提供三个配置:searches(搜索元数据)、nodes(节点数据,10 列)和 steps(步骤数据,5 列)。训练集使用种子编号 50000 以上的集合,测试集种子为 40000 以上,但尚未收集。每个任务对应一个场景配置,并标注了生成该场景的基准代码提交版本,以保持评分规则的一致性。该数据集可用于训练搜索策略评分器,或分析不同搜索分支的成功与失败模式(如 hard_success、soft_success、soft_failure、hard_failure)。

fan48-dense-data is a dataset for evaluating robot action selection and search strategies. It records multiple action blocks proposed from each state during robot task planning and tracks the actual execution results of each action block. For branches discarded by the search algorithm, the execution is resumed from the interruption point to evaluate the potential effects of the action. The dataset contains 307 searches covering 12 different robotic manipulation tasks (e.g., putting an apple into a basket, putting a bottle into a refrigerator, etc.), totaling 105,613 nodes. Each node includes its state, robot instructions, and JPEG images from three cameras (countertop_camera, right_camera, left_camera). The data is stored in parquet format with three configurations: searches (search metadata), nodes (node data, 10 columns), and steps (step data, 5 columns). The training set uses seeds above 50000, and the test set uses seeds above 40000 but has not been collected yet. Each task corresponds to a scene configuration and is annotated with the baseline code commit version that generated the scene to maintain consistency in scoring rules. This dataset can be used to train search strategy scorers or analyze success and failure patterns (e.g., hard_success, soft_success, soft_failure, hard_failure) across different search branches.

创建时间:
2026-09-08
原始信息汇总

数据集概述:fan48-dense-data

基本信息

这是一个用于机器人学习的数据集,记录在特定状态下提出的多个候选动作块(action chunks)及其实际执行结果,包含搜索分支的完整回放。数据集涉及 12项机器人操作任务,包含 321次搜索110,877个节点,每个节点均附带独立的场景状态与图像。相关详细说明和生成代码位于 https://github.com/EAI-RSM/rewind

数据划分

  • train 划分:包含来自 50000+ 个收集种子(collection seeds)的 321 次搜索,用于训练评分器。
  • test 划分:包含基准测试自身的 40000+ 个评估种子,当前尚未收集
  • 两个划分通过 meta/searches 表中的 split 列区分,而非路径差异,且构造上互不重叠,可在不交叉污染的情况下用于训练与评估。

任务内容与规格

  • 任务类型:包括将苹果放入箱子、将罐子移入柜子、将杯子放在杯垫上、将牛奶放在架子上、将鼠标放在鼠标垫上等共 12 项操作任务。
  • 场景配置:涉及的场景包括厨房、书房、办公室等干净场景(如 kitchens_clean, kitchenl_clean, study_clean, office_clean)。
  • 种子范围:场景种子为 50000–50030。
  • 搜索设置:采用 branch_once 搜索策略,扇出为 48(fan of 48),水平高度为 12(horizon 12)。
  • 策略:使用 roboresearch_policy(None @ 0)。
  • 相机:包括 countertop_camera、right_camera、left_camera。
  • 动作块长度:50 步。

数据内容与结构

数据表 行数 文件数 列数
nodes 110,877 321 10
steps 5,527,800 321 5
  • nodes 表:每个节点记录自身完整的场景状态(包括位姿、机器人指令以及每台相机的 JPEG 图像),单独使用即可回答大多数问题。
  • steps 表:记录两个节点之间发生的具体动作步骤。
  • 结果分类:按最优到最差分为 hard_success(干净解决)、soft_success(碰撞后解决)、soft_failure(未解决)、hard_failure(未解决且发生碰撞)。

分支结果统计

结果类型 分支数
hard_success 10,098
soft_success 24
soft_failure 5,182
hard_failure 104

数据加载方式

可通过 Hugging Face datasets 库加载特定配置(如 nodes)或使用 snapshot_download 下载指定任务的数据分片。每次运行的具体配置以 .yml 文件存储在 meta/configs/<search_id>.yml 中,确保每个运行都可从记录本身完整复现。

搜集汇总
数据集介绍
fan48-dense-data 数据集图片
构建方式
在机器人操作领域,fan48-dense-data数据集通过一种别出心裁的搜索回溯机制构建而成。其核心在于对搜索过程中被丢弃的分支进行终结性评估:从快照恢复至其原始状态并完整体验至终局,从而为未执行的动作序列赋予明确的成败判定。该数据集包含321次搜索、覆盖12项任务,共110,877个节点,每个节点均携带完整的场景状态与多视角图像。数据构建基于RoboPRO基准,划分了训练与测试区块,并详细记录了每项任务对应的基准提交版本,确保了可复现性与评估一致性。
特点
该数据集最为显著的特征在于每个节点自带完整的状态描述,涵盖位姿信息、机器人指令及三视角的JPEG图像,使得单独的nodes表即可支撑多数分析任务。场景配置涵盖了厨房、书房、办公室等多样化的环境,且成功标准随时间演化(如任务新增垂直度要求),因此数据集专门记录了生成的基准提交标识,以防跨版本误用。此外,结果分类精细,区分硬成功、软成功、软失败与硬失败,并统计了各分支的结局分布,为研究提供了丰富的语义层次。
使用方法
数据集可通过HuggingFace的datasets库直接加载,例如使用load_dataset("mahgoobi/fan48-dense-data", "nodes", split="train")获取训练节点。每个任务的数据以独立目录存储,便于按需分割下载,如snapshot_download配合allow_patterns仅拉取特定任务的Parquet文件。同时,元数据目录保存了每个搜索的原始配置文件,使整个实验过程可以从头完整复现,极大便利了研究者在行动选择与搜索策略方面的深入研究。
背景与挑战
背景概述
fan48-dense-data数据集由华东师范大学EAI-RSM团队于2024年构建,旨在为机器人操作中的动作选择提供密集的搜索过程数据。该数据集基于RoboPRO基准,记录了12个操作任务中,对每个状态进行48分支展开搜索的详细过程,包含超过11万个节点和550万步骤。其核心研究问题在于,通过回滚机制,对被搜索算法放弃的分支进行完整评估,从而为动作选择模型提供密集的监督信号,弥补了传统数据集中缺乏失败分支信息的不足。该数据集的公开,为机器人学习社区提供了新型的搜索密集型训练资源,有望推动操作策略从单步预测向多步规划推理发展。
当前挑战
在领域方面,机器人动作选择面临的核心挑战在于,环境部分可观测和动作结果不确定性导致单步预测难以泛化;同时,现有的成功-失败二值标签无法细致反映中间状态好坏,而该数据集通过记录完整搜索分支和各类结果来解决此问题。在构建方面,挑战包括:搜索空间巨大,需对每个节点保存多视角的图像和状态,数据量达5.5M步骤;对丢弃分支进行回放,需要实时保存和恢复环境快照,技术实现复杂;此外,不同任务的评价标准随时间演变,如对奶茶放置方向的要求,导致新旧数据难以统一比较,需严格控制基准版本,确保数据的一致性。
常用场景
经典使用场景
fan48-dense-data数据集在机器人操作领域的经典使用场景聚焦于动作选择与搜索策略的评估。该数据集记录了在多种家务任务(如放置物品、整理桌面)中,从每个状态出发提议的多个动作块并追踪其真实结局的完整过程。研究者可利用其110,877个节点及超过550万步的密集轨迹数据,深入分析搜索分支的有效性,对比如硬成功、软失败等不同结局的分布,从而为基于视觉的机器人策略提供高保真的离线评估基准。此数据的密集采样特性,使得对动作序列的细粒度解析成为可能,尤其适用于研究长时域任务中的分支回滚与决策修正机制。
衍生相关工作
该数据集衍生出一系列围绕机器人搜索策略和结果预测的经典工作。基于其密集分支数据,研究者已开展关于动作块结果分类器的训练,以实现对候选动作可行性的预判,从而提升规划效率。此外,利用其记录反事实结局的独特设计,部分工作将其作为基准,探索了分支回滚与快照恢复机制在长时程操作任务中的价值。更有工作将节点状态与视觉观测结合,用于开发基于模型的强化学习中的世界模型,或是研究如何在不同基准提交版本间迁移成功的标准。这些衍生研究共同推进了机器人操作中“搜索-评估-决策”闭环的理论与实证发展。
数据集最近研究
最新研究方向
在机器人操作领域,搜索与规划策略的精细化评估正成为研究热点,尤其是对未执行动作分支的后果预测。fan48-dense-data数据集通过捕获机器人搜索过程中每个状态节点的密集动作块结果,特别是对丢弃分支的‘回滚续跑’模拟,为评估动作选择算法提供了前所未有的细粒度数据。该数据集涵盖12项操作任务,包含超过11万个节点及550万步级记录,并区分硬成功、软成功、软失败与硬失败的结果层级,从而支持对机器人策略鲁棒性的多维分析。其设计兼顾了数据集分割的无泄漏原则,以及与基准测试版本变更的严格对应,为在动态变化的任务标准下训练可泛化的行为评分器奠定了坚实基础。此数据有望推动基于搜索的机器人决策研究向更精细、更可重复验证的方向发展。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务