libero-r-datasets

LIBERO-R数据集为LIBERO-100机器人操作基准数据集提供了逐步的文本推理注释（chain-of-thought, CoT）。这些注释将机器人操作任务分解为计划、已完成的任务和下一步需要执行的动作。数据集包含多个子集，如LIBERO-10-r、libero-100-basket-r和libero-100-r，每个子集都包含相应的推理注释文件和数据文件。注释格式包括任务开始时的计划、已完成的任务和下一步动作，以及任务完成时的总结。

原始信息汇总

LIBERO-R 数据集概述

数据集简介

该数据集为机器人操作基准数据集 LIBERO-100 提供了逐步推理的链式思维文本标注。这些标注旨在将机器人操作任务分解为可执行的步骤。

数据集内容与结构

数据集包含三个主要部分：

1. libero-10-r/：包含推理标注的 LIBERO-10 数据集。
2. libero-100-basket-r/：LIBERO-100 数据集中与篮子相关任务的子集，包含推理标注。
3. libero-100-r/：包含推理标注的完整 LIBERO-100 数据集。

每个部分均包含以下核心文件：

• cot_simple.json：链式思维标注文件。
• data/：存储任务执行轨迹的 Parquet 文件目录。
• meta/：包含数据集元数据的目录（如 episodes.jsonl, info.json, stats.json, tasks.jsonl）。

标注格式与示例

标注的核心文件为 cot_simple.json，按任务执行片段组织，每个片段包含以下关键信息：

• Plan：完成指令所需的子任务编号列表。
• What I have done：已完成子任务的进度跟踪。
• Now I need to do：当前需要执行的下一步动作。

标注示例

对于一个指令为 “put the white mug on the left plate and put the yellow and white mug on the right plate” 的任务：

• 任务开始时：“Now I need to do: pick up the white mug”
• 完成第一个子任务后：“What I have done: 1. pick up the white mug” 与 “Now I need to do: place the white mug on the left plate”
• 任务完成时：“What I have done: 1. pick up the white mug 2. place the white mug on the left plate 3. pick up the yellow and white mug 4. place the yellow and white mug on the right plate” 与 “Now I need to do: Nothing. Task complete.”

JSON 结构

标注数据以 JSON 格式存储，结构示例如下： json { "episode_id": { "episode_start_interval": [start_step, end_step], "segments": [ { "start_step": 0, "end_step": 12, "content": "Current reasoning state...", "updated_content": "Updated reasoning after this segment...", "updated_content_w_instruction": "Full text including instruction..." } ] } }

相关资源

• 项目页面：https://yilin-wu98.github.io/steering-reasoning-vla/
• 论文：Yilin Wu, Anqi Li, Tucker Hermans, Fabio Ramos, Andrea Bajcsy, Claudia Pérez-DArpino: Do What You Say: Steering Vision-Language-Action Models via Runtime Reasoning-Action Alignment Verification, ArXiv 2025 (https://www.arxiv.org/abs/2510.16281)
• 代码：https://github.com/NVlabs/actalign
• 推理基准：https://github.com/NVlabs/Libero-10-r

引用信息

如果使用此数据集，请引用： bibtex @article{wu2025saysteeringvisionlanguageactionmodels, title={Do What You Say: Steering Vision-Language-Action Models via Runtime Reasoning-Action Alignment Verification}, author={Yilin Wu and Anqi Li and Tucker Hermans and Fabio Ramos and Andrea Bajcsy and Claudia P{e}rez-DArpino}, year={2025}, eprint={2510.16281}, archivePrefix={arXiv}, url={https://arxiv.org/abs/2510.16281}, }

搜集汇总

数据集介绍

构建方式

在机器人操作任务的数据标注领域，LIBERO-R数据集的构建体现了对复杂任务分解与推理过程的深度刻画。该数据集基于LIBERO-100机器人操作基准数据集，通过人工或半自动方式为每个任务片段注入了链式思维推理轨迹。具体而言，标注过程将每个操作指令分解为有序的子任务序列，形成结构化计划，并在任务执行的不同阶段动态记录已完成步骤与待执行动作，从而构建出覆盖任务全周期的多段式推理注释。这种构建方式不仅保留了原始操作数据，还通过时序对齐的文本推理内容，为研究任务规划与执行的一致性提供了细粒度监督信号。

特点

LIBERO-R数据集的核心特征在于其融合了机器人操作轨迹与结构化推理文本的双模态性质。数据集中的每个任务片段均包含三个关键组成部分：一个编号的子任务计划列表、用于跟踪进度的已完成步骤记录，以及指明当前需执行动作的即时指令。这种设计使得数据不仅呈现了机器人的物理动作序列，还揭示了任务背后的逻辑推理链条，从而支持对视觉-语言-动作模型中推理与行动对齐机制的研究。此外，数据集覆盖了多样化的操作场景与物体交互任务，注释格式统一且易于解析，为模型训练与评估提供了高价值的基准资源。

使用方法

使用LIBERO-R数据集时，研究者可依据其结构化注释开展多方面的实验与分析。数据集以JSON格式组织，每个任务片段通过唯一的episode_id进行索引，并包含按时间步划分的多个推理段落。用户可加载cot_simple.json文件，结合原始操作数据，训练模型以生成或理解任务分解与执行规划。典型应用包括端到端的视觉-语言-动作模型训练、推理轨迹预测、以及运行时推理-动作对齐验证。通过解析segments中的计划、已完成步骤和待执行动作字段，模型能够学习从自然语言指令到具体操作步骤的映射，进而提升在复杂操作任务中的泛化与解释能力。

背景与挑战

背景概述

在机器人操作与具身智能领域，如何让智能体理解复杂指令并执行多步骤任务，是推动通用人工智能发展的核心议题。LIBERO-R数据集应运而生，由Yilin Wu、Anqi Li等研究人员于2025年提出，基于著名的LIBERO-100机器人操作基准构建。该数据集的核心贡献在于为机器人操作轨迹注入了链式思维推理标注，将高层指令分解为可执行的子任务序列，并实时跟踪任务进度。这一创新旨在弥合视觉-语言-动作模型在推理与行动之间的鸿沟，为研究模型的可解释性与决策透明度提供了关键数据支撑，显著推动了具身推理方向的前沿探索。

当前挑战

LIBERO-R数据集致力于解决机器人操作中高层指令到具体动作序列的映射难题，其核心挑战在于如何确保模型生成的推理轨迹与真实物理动作在复杂、动态环境中的精确对齐。构建过程中的挑战则体现在标注本身：为长时程、多步骤的操作序列生成准确且连贯的链式思维标注，需要克服任务分解的模糊性、状态追踪的连续性以及标注规模与一致性之间的平衡问题，这对标注框架的设计与质量控制提出了极高要求。

常用场景

经典使用场景

在机器人操作与视觉-语言-动作模型研究领域，LIBERO-R数据集通过提供链式思维推理标注，为复杂多步骤任务的可解释性学习奠定了数据基础。该数据集最经典的使用场景是训练和评估能够进行实时推理与动作对齐的智能体，使其能够根据自然语言指令，分解任务为有序子目标，并动态跟踪执行进度，从而在模拟或真实环境中完成如物体摆放、场景重组等精细操作。

衍生相关工作

围绕LIBERO-R数据集，已衍生出多项经典研究工作。其核心论文提出了运行时推理-动作对齐验证框架，为视觉-语言-动作模型的可靠控制提供了新范式。此外，该数据集也常被用作基准，用于评估不同架构在长视距任务规划、基于语言的模仿学习以及具身人工智能中的表现，催生了在动作序列预测、状态跟踪和指令跟随等领域的一系列算法创新与比较研究。

数据集最近研究

最新研究方向

在机器人操作与具身智能领域，LIBERO-R数据集通过引入链式思维推理标注，正推动视觉-语言-动作模型的可解释性与可控性研究。前沿工作聚焦于利用这些结构化推理轨迹，实时验证模型内部推理与外部动作执行的对齐性，从而提升复杂长程任务中的决策可靠性与安全性。这一方向紧密关联于当前具身智能对透明、可信决策过程的热切需求，为构建能够理解并遵循多步骤指令的智能体提供了关键数据基础，对促进机器人自主执行家庭与服务场景中的精细操作具有深远意义。