fan48-dense-data
收藏资源简介:
fan48-dense-data 是一个用于机器人动作选择与搜索策略评估的数据集。该数据集记录了在机器人任务规划中,从每个状态提出多个动作块,并追踪每个动作块的实际执行结果。对于被搜索算法丢弃的分支,会从中断点恢复并继续执行,以评估该动作的潜在效果。数据集包含 307 次搜索,覆盖 12 个不同的机器人操作任务(如将苹果放入篮子、将瓶子放入冰箱等),共计 105,613 个节点。每个节点包含其状态、机器人指令以及来自三个摄像头(countertop_camera、right_camera、left_camera)的 JPEG 图像。数据以 parquet 格式存储,提供三个配置:searches(搜索元数据)、nodes(节点数据,10 列)和 steps(步骤数据,5 列)。训练集使用种子编号 50000 以上的集合,测试集种子为 40000 以上,但尚未收集。每个任务对应一个场景配置,并标注了生成该场景的基准代码提交版本,以保持评分规则的一致性。该数据集可用于训练搜索策略评分器,或分析不同搜索分支的成功与失败模式(如 hard_success、soft_success、soft_failure、hard_failure)。
fan48-dense-data is a dataset for evaluating robot action selection and search strategies. It records multiple action blocks proposed from each state during robot task planning and tracks the actual execution results of each action block. For branches discarded by the search algorithm, the execution is resumed from the interruption point to evaluate the potential effects of the action. The dataset contains 307 searches covering 12 different robotic manipulation tasks (e.g., putting an apple into a basket, putting a bottle into a refrigerator, etc.), totaling 105,613 nodes. Each node includes its state, robot instructions, and JPEG images from three cameras (countertop_camera, right_camera, left_camera). The data is stored in parquet format with three configurations: searches (search metadata), nodes (node data, 10 columns), and steps (step data, 5 columns). The training set uses seeds above 50000, and the test set uses seeds above 40000 but has not been collected yet. Each task corresponds to a scene configuration and is annotated with the baseline code commit version that generated the scene to maintain consistency in scoring rules. This dataset can be used to train search strategy scorers or analyze success and failure patterns (e.g., hard_success, soft_success, soft_failure, hard_failure) across different search branches.
数据集概述:fan48-dense-data
基本信息
这是一个用于机器人学习的数据集,记录在特定状态下提出的多个候选动作块(action chunks)及其实际执行结果,包含搜索分支的完整回放。数据集涉及 12项机器人操作任务,包含 321次搜索、110,877个节点,每个节点均附带独立的场景状态与图像。相关详细说明和生成代码位于 https://github.com/EAI-RSM/rewind。
数据划分
- train 划分:包含来自 50000+ 个收集种子(collection seeds)的 321 次搜索,用于训练评分器。
- test 划分:包含基准测试自身的 40000+ 个评估种子,当前尚未收集。
- 两个划分通过
meta/searches表中的split列区分,而非路径差异,且构造上互不重叠,可在不交叉污染的情况下用于训练与评估。
任务内容与规格
- 任务类型:包括将苹果放入箱子、将罐子移入柜子、将杯子放在杯垫上、将牛奶放在架子上、将鼠标放在鼠标垫上等共 12 项操作任务。
- 场景配置:涉及的场景包括厨房、书房、办公室等干净场景(如
kitchens_clean,kitchenl_clean,study_clean,office_clean)。 - 种子范围:场景种子为 50000–50030。
- 搜索设置:采用
branch_once搜索策略,扇出为 48(fan of 48),水平高度为 12(horizon 12)。 - 策略:使用
roboresearch_policy(None @ 0)。 - 相机:包括 countertop_camera、right_camera、left_camera。
- 动作块长度:50 步。
数据内容与结构
| 数据表 | 行数 | 文件数 | 列数 |
|---|---|---|---|
nodes |
110,877 | 321 | 10 |
steps |
5,527,800 | 321 | 5 |
- nodes 表:每个节点记录自身完整的场景状态(包括位姿、机器人指令以及每台相机的 JPEG 图像),单独使用即可回答大多数问题。
- steps 表:记录两个节点之间发生的具体动作步骤。
- 结果分类:按最优到最差分为
hard_success(干净解决)、soft_success(碰撞后解决)、soft_failure(未解决)、hard_failure(未解决且发生碰撞)。
分支结果统计
| 结果类型 | 分支数 |
|---|---|
hard_success |
10,098 |
soft_success |
24 |
soft_failure |
5,182 |
hard_failure |
104 |
数据加载方式
可通过 Hugging Face datasets 库加载特定配置(如 nodes)或使用 snapshot_download 下载指定任务的数据分片。每次运行的具体配置以 .yml 文件存储在 meta/configs/<search_id>.yml 中,确保每个运行都可从记录本身完整复现。




