carta3

该数据集是一个机器人数据集，包含了一个名为'so101_follower'的机器人类型的相关数据。数据集共有1个剧集，893帧，1个任务，3个视频和1个数据块。数据以Parquet格式存储，并且包含动作、观察状态、视频帧等信息。每个视频帧的尺寸为480x640，使用AV1编码，格式为yuv420p，没有音频。数据集遵循Apache-2.0协议。

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人操作任务的数据采集。通过高频率的传感器记录（30fps）和多视角视频捕捉，系统化地收集了机械臂关节位置、视觉观测及时间戳等关键数据。数据以分块存储的Parquet格式组织，每个数据块包含连续的操作片段，确保了时序数据的完整性。

特点

数据集突出呈现多模态特性，同时涵盖机械臂的6自由度关节动作数据和3路高清视频流（480×640分辨率）。视频数据采用AV1编码，包含机械爪、手机和卡片三个操作视角。所有特征字段均带有规范的元数据描述，如数据类型、维度和物理含义，为机器人模仿学习研究提供了结构化的多维度观测空间。

使用方法

用户可通过加载Parquet文件直接访问结构化数据，视频流则存储在独立MP4文件中。数据集已预置训练集划分，支持按时间戳或帧索引快速检索。典型应用场景包括机械臂动作预测模型的训练，研究者可联合利用关节位置状态和对应视觉观测，开发端到端的机器人控制算法。

背景与挑战

背景概述

carta3数据集作为机器人领域的重要研究资源，由LeRobot团队基于Apache-2.0协议构建，专注于机械臂控制与视觉感知的协同研究。该数据集通过SO101型跟随机器人采集，包含893帧多模态数据，涵盖6自由度机械臂关节状态、三路480p视觉流及精确时间戳信息。其核心价值在于为具身智能研究提供了真实场景下的动作-观测对序列，填补了桌面级操作任务数据集的空白。

当前挑战

数据集面临双重挑战：在领域问题层面，需解决机械臂精细操作与多视角视觉感知的时序对齐难题，这对动作生成模型的精度提出极高要求；在构建层面，多传感器数据同步采集、大容量视频流的高效压缩存储（采用AV1编解码），以及6D连续动作空间的标准化标注，均为工程实现带来显著复杂度。此外，当前数据规模仅包含单次任务 episode，亟待扩展以提升统计显著性。

常用场景

经典使用场景

在机器人控制领域，carta3数据集以其丰富的关节位置数据和多视角视频记录，成为研究机械臂动作规划与视觉反馈融合的经典案例。数据集通过记录SO101型跟随机器人执行任务时的6自由度关节运动轨迹，同时捕捉末端执行器、工作台面和目标物体的三路同步视频，为模仿学习算法提供了时空对齐的多模态训练样本。

解决学术问题

该数据集有效解决了机器人控制研究中动作-感知协同建模的难题，其精确标注的关节角度与同步视频序列，使研究者能够定量分析视觉观察与运动执行的映射关系。通过提供标准化任务场景下的连续操作数据，填补了传统仿真环境与真实世界部署之间的鸿沟，为强化学习策略的跨域迁移研究建立了可重复的基准平台。

衍生相关工作

基于该数据集衍生的研究包括《多模态感知驱动的机械臂模仿学习框架》，其创新性地融合了关节运动学与视觉特征。另有工作《跨域机器人技能迁移的元学习方法》利用数据集构建了仿真到现实的迁移基准，而《基于时空注意力的操作行为解析》则通过视频序列分析建立了操作意图识别模型。