CALVIN

该数据集名为CLIPORT，是一个专为评估语言条件策略适应中的复合泛化能力而设计的基准测试。它被用于评估任务成功率以及复合泛化能力。该数据集包含了10个不同场景下的100个评估实例，旨在衡量复合泛化以及在分布外泛化的任务表现。This dataset, named CLIPORT, is a benchmark specifically developed to evaluate compositional generalization abilities in language-conditioned policy adaptation. It is used to assess both task success rates and compositional generalization capabilities. This dataset contains 100 evaluation instances across 10 distinct scenarios, aiming to measure task performance for both compositional generalization and out-of-distribution generalization.

搜集汇总

数据集介绍

构建方式

CALVIN数据集专为多任务桌面操控研究而设计，其构建方式依托于人类遥操作演示。数据集包含A、B、C、D四个场景分割，每个分割对应不同的环境设置，共计提供约24,000条带有语言指令标注的演示轨迹。每条轨迹的长度被限制在64个时间步以内，涵盖了34种预定义的基本技能，如旋转、滑动、抓取、放置等。数据通过遥操作采集，确保动作序列的自然性和多样性，从而为语言条件策略学习提供高质量的监督信号。

特点

CALVIN数据集的核心特点在于其多任务、长时序的语言条件操控设定。它要求机器人根据自然语言指令连续执行多达五个子任务，评估指标包括单任务成功率及连续任务的平均完成长度。数据集通过场景分割（如训练于ABC分割、测试于D分割）来评估模型的零样本泛化能力，即面对未见过的环境布局和物体组合时的表现。此外，数据集中丰富的语言指令与动作序列的对应关系，为研究视觉-语言-动作模型的泛化性与数据效率提供了理想的测试平台。

使用方法

CALVIN数据集主要用于训练和评估视觉-语言-动作模型（VLA）在仿真环境中的操控能力。研究人员通常将模型在ABCD或ABC分割数据上进行训练，并在D分割上进行评估，以测试模型的泛化性能。评估时，模型需接收连续的语言指令，并依次执行对应的操控任务，最终统计成功完成的连续任务个数。该数据集支持多种模型结构（如单步模型、历史融合模型）和动作空间（连续或离散）的对比实验，是衡量通用机器人策略性能的重要基准。

背景与挑战

背景概述

在通用机器人策略的研究浪潮中，视觉-语言-动作模型（VLA）因其融合了大规模预训练视觉-语言模型（VLM）的强大多模态表征与推理能力，展现出在多种场景与任务中的卓越泛化性能，成为迈向通用机器人策略的重要路径。CALVIN数据集由清华大学、字节跳动研究、中国科学院自动化研究所、上海交通大学及新加坡国立大学等机构的研究人员于2022年创建，旨在为多任务桌面操作提供标准化的语言条件策略学习基准。该数据集包含四个不同场景的分片（A、B、C、D），涵盖了34项基本操作任务，共计约2.4万条人类遥操作演示轨迹，并配有详细的语言指令标注。CALVIN的核心研究问题在于评估和推动语言条件策略在长时序、多任务连续操作中的表现，其对机器人操作领域的后续研究产生了深远影响，成为VLA模型性能评估的标杆。

当前挑战

CALVIN数据集所面临的挑战首先体现在其解决的领域问题上：多任务、长时序的桌面操作任务要求策略模型具备卓越的泛化能力与数据效率，能够在未见场景（如从ABC分片迁移至D分片）中完成连续五个子任务，这对模型的视觉-语言对齐及动作预测鲁棒性提出了极高要求。其次，在数据集构建过程中，挑战包括如何确保不同场景分片之间的任务分布与难度平衡，以及如何通过人类遥操作收集足够多样且标注一致的演示数据，以覆盖34种基本技能及其组合。此外，训练VLA模型时，还需应对不同VLM骨干网络、动作空间设计（连续与离散）、历史信息融合方式（策略头与交错式）以及跨具身数据利用策略（预训练、微调与后训练）等众多设计选择带来的复杂性与计算开销，寻找最优配置成为一项系统性难题。

常用场景

经典使用场景

CALVIN数据集在机器人学习领域中被广泛用作多任务桌面操作任务的仿真基准。该数据集提供了四个不同场景设置的分区（A、B、C、D），包含34种基本任务和约2.4万条由人类远程操作演示的轨迹，每条轨迹均配有语言指令。研究者通常利用该数据集训练和评估视觉-语言-动作模型（VLA），以检验模型在连续多步操作任务中的表现，评价指标包括完成1至5个连续任务的成功率以及平均成功任务长度。CALVIN因其丰富的任务多样性和标准化的评估流程，成为衡量通用机器人策略泛化能力和数据效率的经典测试平台。

实际应用

CALVIN数据集的实际应用场景主要集中在机器人操控策略的研发与验证环节。研究者和工程师利用该数据集在仿真环境中快速迭代和测试视觉-语言-动作模型，评估其在桌面级操作任务中的表现，如抓取、推拉、旋转和堆叠物体等。由于CALVIN提供了丰富的语言指令和多样化的场景设置，它被广泛用于预训练和微调通用机器人策略，以提升模型在未见过的物体、背景和干扰物面前的鲁棒性。此外，该数据集还常作为跨本体数据融合实验的基准，帮助确定在何种训练阶段引入大规模异构数据最为有效，从而加速机器人策略从仿真到真实世界的迁移应用。

衍生相关工作

CALVIN数据集催生了一系列重要的衍生研究工作，尤其在视觉-语言-动作模型（VLA）的发展中扮演了核心角色。基于该数据集，研究者提出了多种经典模型架构，如RoboFlamingo、GR-1和Octo，这些工作系统性地探索了如何将预训练的视觉-语言模型高效地转化为机器人操控策略。此外，CALVIN还被用于验证跨本体数据集（如Open X-Embodiment）的预训练效果，相关研究揭示了后训练（post-training）策略在提升少样本学习性能方面的显著优势。这些衍生工作不仅深化了对VLA设计选择的理解，还推动了如RoboVLMs等统一框架的诞生，为后续的通用机器人策略研究奠定了坚实的实验和方法论基础。