RoVI Book

RoVI Book数据集由上海人工智能实验室的研究人员创建，包含15,000个图像-文本问答对，旨在帮助视觉语言模型学习理解RoVI（机器人视觉指令）的能力。数据集覆盖了64%的单步任务和36%的多步任务，涉及移动物体、旋转物体、拾取、打开/关闭抽屉/橱柜等五种基本的操作技能。数据集提供了RoVI分析、任务名称、细粒度规划步骤和Python函数的答案，通过GPT-4o生成并经过语义过滤。数据集的创建是为了解决自然语言在机器人任务定义中的空间精度不足问题，通过手绘的符号表示来传达更精确的空间时间信息，使机器人能够更好地理解RoVI并执行精确的动作。

The RoVI Book dataset was developed by researchers from the Shanghai AI Laboratory, comprising 15,000 image-text question-answer pairs. It is designed to assist vision-language models in acquiring the ability to understand RoVI (Robot Visual Instructions). The dataset covers 64% of single-step tasks and 36% of multi-step tasks, involving five core manipulation skills: moving objects, rotating objects, picking, opening and closing drawers and cabinets. The dataset provides answers including RoVI analysis, task names, fine-grained planning steps, and Python functions, which were generated using GPT-4o and filtered via semantic checks. This dataset was created to address the issue of insufficient spatial precision of natural language in robot task definition. By adopting hand-drawn symbolic representations to convey more precise spatiotemporal information, it enables robots to better comprehend RoVI and execute precise actions.

搜集汇总

数据集介绍

构建方式

RoVI Book数据集的构建基于Open-X Embodiment数据集，通过精心设计的15K图像-文本问答对来支持视觉语言模型（VLMs）的训练。数据集的构建过程包括对初始任务观察图像的RoVI标注、默认提示的简单查询设计，以及由GPT-4o生成的详细答案。这些答案涵盖了RoVI分析、任务名称、细粒度规划步骤和Python函数。此外，通过数据增强技术，为每个任务生成了3至8种视觉变体，包括不同的路径、绘制风格和线条粗细，以提升模型的泛化能力。

特点

RoVI Book数据集的特点在于其专注于通过手绘符号（如箭头、圆圈和颜色）传达精确的时空信息，以指导机器人操作任务。数据集包含64%的单步任务和36%的多步任务，覆盖了五种基本操作技能。其独特之处在于通过颜色标识符（如绿色、蓝色和粉色）明确表示任务步骤的时序关系，并通过几何风格和松散风格两种绘制方式，优化了视觉语言模型对指令的理解。此外，数据集的多样性和高质量标注使其在机器人操作任务的泛化和鲁棒性方面表现出色。

使用方法

RoVI Book数据集的使用方法主要围绕视觉语言模型（VLMs）的微调和推理展开。研究人员可以通过Parameter-Efficient Fine-Tuning（PEFT）技术，如LoRA，在轻量级模型（如LLaVA-7B和13B）上微调数据集，以学习RoVI的解析能力。在实际应用中，VIEW管道将RoVI指令输入VLM，生成层次化的语言响应和可执行的Python代码函数，同时通过关键点模块提取空间约束。最终，低层策略根据生成的代码和关键点坐标执行机器人操作任务。这种端到端的流程使得RoVI Book数据集在复杂环境和多步任务中展现出强大的实用性。

背景与挑战

背景概述

RoVI Book数据集由Yanbang Li等研究人员于2025年提出，旨在解决人机交互中自然语言指令在空间精度上的不足。该数据集通过手绘符号（如箭头、圆圈等）编码时空信息，为机器人任务提供直观且精确的视觉指令。研究团队来自帝国理工学院、上海人工智能实验室等机构，其提出的Visual Instruction Embodied Workflow (VIEW) 流程结合视觉语言模型（VLMs），显著提升了机器人在复杂环境中的任务执行能力。RoVI Book包含15K实例，涵盖单步和多步操作任务，推动了机器人视觉指令领域的发展。

当前挑战

RoVI Book数据集面临的挑战主要包括两方面：领域问题的挑战和构建过程的挑战。在领域问题方面，自然语言指令的模糊性和冗长性导致机器人任务定义困难，尤其在需要空间精确描述的场景（如轨迹跟踪、多步操作）中表现不佳。构建过程中的挑战包括：1) 手绘符号的多样性和一致性处理，需平衡用户友好性与模型可解释性；2) 从2D视觉指令到3D动作序列的精确映射，涉及关键点提取和时空约束的转化；3) 数据集的规模扩展与边缘设备部署的轻量化需求，需优化模型训练效率。

常用场景

经典使用场景

RoVI Book数据集在机器人视觉指令领域具有广泛的应用场景，特别是在需要精确空间定位和多步骤任务规划的复杂环境中。该数据集通过手绘符号（如箭头、圆圈和颜色编码）传达时空信息，为机器人提供了直观且精确的操作指导。经典使用场景包括在杂乱环境中选择目标物体、执行多步骤操作（如打开抽屉并放置物品）以及遵循特定轨迹移动物体。这些场景充分展示了RoVI Book在提升机器人任务执行精度和效率方面的优势。

衍生相关工作

RoVI Book数据集催生了一系列创新性研究工作，其中最具代表性的是Visual Instruction Embodied Workflow（VIEW）框架。该框架通过关键点提取模块将2D视觉指令转化为3D动作序列，为后续研究提供了标准化的处理流程。基于此数据集，研究者们还开发了多种轻量化模型微调方法，如Parameter-Efficient Fine-Tuning（PEFT），这些工作显著提升了视觉-语言模型在边缘设备上的部署效率。数据集的开源特性进一步促进了跨机构合作，推动了机器人视觉指令领域的整体发展。

数据集最近研究

最新研究方向

近年来，机器人视觉指令（RoVI）作为自然语言交互的补充，在人机交互领域引起了广泛关注。RoVI通过手绘符号（如箭头、圆圈等）传达时空信息，解决了自然语言在空间描述上的模糊性问题。该数据集的最新研究方向主要集中在如何提升视觉语言模型（VLMs）对RoVI的理解能力，以及如何将其应用于复杂任务（如多步操作和杂乱环境中的精准操控）。VIEW（Visual Instruction Embodied Workflow）作为配套流程，通过关键点提取和动作序列生成，进一步推动了RoVI在真实和模拟环境中的泛化能力。此外，RoVI Book数据集的构建为轻量化模型的边缘部署提供了支持，使其在医疗、图书馆等需要静默交互的场景中展现出巨大潜力。

相关研究论文

• Robotic Visual Instruction

  上海人工智能实验室 · 2025年