lerobot/berkeley_gnm_cory_hall

该数据集是一个机器人学领域的数据集，包含7331个视频片段，每个片段包含1000帧，总计156012帧。数据集包含一个任务，所有视频均为不同剧集。数据集以Parquet格式存储，并提供了对应的视频文件。每个视频帧包含64x86的图像数据，以及对应的语言指令、机器人状态、动作、时间戳、剧集索引、帧索引、下一帧奖励和完成状态等信息。

This dataset is in the field of robotics, containing 7331 video clips, each with 1000 frames, totaling 156012 frames. The dataset includes one task, with all videos being different episodes. The dataset is stored in Parquet format and provides corresponding video files. Each video frame contains 64x86 image data, as well as corresponding language instructions, robot state, actions, timestamp, episode index, frame index, next frame reward, and done status information.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的行为数据集是算法训练的基础。该数据集依托LeRobot平台构建，通过系统采集机器人执行任务时的多模态数据。数据以分块形式组织，包含7331个独立片段，总计156012帧观测记录，采用5Hz采样频率确保时序连续性。原始数据经处理后存储为Parquet格式，视频流则编码为AV1格式，形成结构化的机器人交互档案。

特点

该数据集呈现多模态融合的鲜明特征，同时包含视觉观测与机器人状态信息。视觉数据以64×86分辨率的三通道图像序列呈现，配合9维电机状态观测向量与7维动作向量，构成完整的状态-动作对。数据采用统一的5Hz时序对齐，并附带奖励信号与终止标志，为强化学习算法提供密集的监督信号。其模块化存储设计支持高效流式加载，兼顾数据规模与访问性能。

使用方法

研究人员可通过LeRobot生态系统直接加载该数据集进行机器人行为克隆或强化学习研究。数据集采用标准化的分块索引机制，支持按片段或帧级粒度访问。训练时可直接读取观测图像与状态向量作为模型输入，动作向量则作为监督标签。视频数据与传感器数据的同步特性便于进行端到端策略学习，其预定义的数据拆分方案为模型训练与验证提供了即用型框架。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据对于推动机器人自主决策与控制算法的进步至关重要。Berkeley GNM Cory Hall数据集由LeRobot团队创建，旨在为机器人导航与操作任务提供丰富的多模态交互轨迹记录。该数据集采集于真实室内环境，包含超过七千条完整交互序列，融合了视觉观测、机器人状态与动作指令等多维度信息，为模仿学习与强化学习算法提供了宝贵的训练资源。其构建体现了学术界对机器人泛化能力与场景适应性的持续探索，通过开源共享促进了机器人社区在数据驱动方法上的协作创新。

当前挑战

该数据集致力于解决机器人领域中的视觉运动策略学习挑战，即在复杂动态环境中实现鲁棒且精确的导航与操作。然而，构建过程面临多重困难：真实世界数据采集需克服传感器噪声、环境光照变化以及机器人硬件不一致性带来的数据偏差；多模态数据的时间同步与对齐亦需精细处理，以确保观测、状态与动作间的一致性。此外，数据规模庞大且结构复杂，如何高效存储、索引与分发成为技术瓶颈，同时缺乏详尽的元数据标注与任务描述，限制了数据在跨任务迁移学习中的可解释性与应用广度。

常用场景

经典使用场景

在机器人学习领域，berkeley_gnm_cory_hall数据集以其丰富的视觉与状态序列数据，为导航策略的离线训练提供了典型范例。该数据集通过记录真实环境中的机器人运动轨迹，包含大量图像观测、电机状态及动作指令，使得研究者能够基于历史交互数据，构建端到端的导航模型，模拟机器人在复杂室内场景中的自主移动能力。

衍生相关工作

围绕该数据集，已衍生出多项聚焦于离线机器人学习的经典研究。例如，基于其序列数据开发的生成导航模型（GNM）框架，通过预测目标导向的轨迹，实现了零样本泛化；同时，该数据也支撑了视觉运动策略、状态表示学习等工作的实验评估，推动了数据高效型导航算法的创新。

数据集最近研究

最新研究方向

在机器人学习领域，视觉与状态数据的融合正成为推动自主系统发展的关键。Berkeley GNM Cory Hall数据集以其丰富的多模态记录，为机器人导航与操作研究提供了宝贵资源。当前前沿探索聚焦于利用该数据集训练端到端的视觉运动策略，特别是在复杂室内环境中的长期任务规划。研究者们致力于开发能够从原始图像和电机状态中直接学习控制信号的深度强化学习模型，以提升机器人在非结构化场景中的适应性与鲁棒性。这一方向与近年来兴起的具身智能热潮紧密相连，旨在通过大规模真实世界数据缩小仿真与现实的差距，对服务机器人、自动化仓储等实际应用产生深远影响。