meGirishM/basketball_April_30_2

该数据集是通过LeRobot创建的机器人技术数据集，包含10个episodes，总计20253帧，30fps的视频数据。数据集包括动作数据（如手臂各关节位置、速度等）、观察状态、前视图像和腕部图像等多种特征。数据文件大小为100MB，视频文件大小为200MB。

This dataset was created using LeRobot for robotics applications. It contains 10 episodes with a total of 20,253 frames at 30fps. The dataset includes various features such as action data (e.g., positions and velocities of arm joints), observation states, front-view images, and wrist-view images. The data files size is 100MB, and the video files size is 200MB.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人学习研究设计。数据采集自lekiwi_client类型的机器人平台，共收录10个完整操作回合，累计20253帧有效数据。每条数据记录包含9维动作向量与9维状态向量，分别对应机械臂的肩关节、肘关节、腕关节和抓手位置，以及底盘的线性与角速度参数。视觉信息通过两个摄像头同步采集，前置摄像头提供480×640像素的彩色图像，腕部摄像头则提供640×480像素的画面，两者均以30帧/秒的AV1编码格式存储。数据以parquet格式组织为块状存储结构，视频文件分离保存，便于高效读取与管理。

特点

数据集突出特点在于多模态感知与动作表征的深度融合。动作与状态空间维度对齐，均为9维连续值，利于端到端模仿学习模型的直接训练。双视角视觉系统覆盖了全局视野与局部操作视野，为策略网络提供了丰富的空间与上下文信息。所有时间序列数据均带有精确的时间戳与帧索引，支持时间顺序建模。数据集包含单一操作任务，总计超过2万帧样本，保证了在特定任务上的数据密度与统计稳定性。此外，Apache-2.0开源许可协议为学术研究与商业应用提供了便利。

使用方法

使用LeRobot库加载该数据集时，可直接调用数据集的默认配置，系统会自动识别parquet数据文件与视频文件的路径结构。训练集已定义为全部10个回合（0:10），无需手动划分。用户可通过数据集的features字段获取动作、状态、图像等各模态的详细定义与张量形状，便于构建数据加载器。在模型训练阶段，推荐将动作向量作为预测目标，观测状态与双视角图像作为输入特征，利用时间索引组织序列数据。对于视频数据，底层使用AV1编解码器，需确保运行环境支持该格式的解码与重采样操作。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为一种从人类演示中获取行为策略的方法，正逐步推动机器人自主操作能力的跃迁。basketball_April_30_2数据集诞生于这一背景下，依托于LeRobot开源框架构建，由相关机器人研究团队于近期创建，专注于移动机械臂在篮球投篮场景中的精细操控。该数据集采用lekiwi_client机器人平台，记录了10个完整回合、累计超过2万帧的高频运动数据，包含9维动作空间与状态信息（涵盖肩、肘、腕等多关节位置及末端速度），并辅以480p与640p的前视及腕部视觉输入。其核心研究问题在于如何通过多模态传感器融合（动作、状态与视觉），实现高动态、长时域任务的模仿学习，为机器人运动规划与实时控制提供了基准测试资源，对推动具身智能在体育竞技类任务中的泛化能力具有潜在影响力。

当前挑战

该数据集面临的核心挑战首先源自领域问题的复杂性：篮球投篮涉及非结构化环境下的高精度实时操作，机器人需同时协调多关节运动与移动底盘速度，且任务具有高动态性和不可预测的结果反馈，对模仿学习算法的时序建模与鲁棒性提出严苛要求。在构建过程中，挑战同样显著——数据集仅包含单一任务与10个回合，样本规模有限，可能难以覆盖多种投篮姿态与场景变化；同时，视觉输入使用AV1编码的视频流，虽节省存储但解码开销大，影响训练效率。此外，各特征维度（如关节位置与速度）的物理单位与量纲差异需归一化处理，而缺失的元数据（如任务标签的语义描述）则增加了后续迁移学习中的适配难度。

常用场景

经典使用场景

在机器人学习与操控领域，basketball_April_30_2数据集为模仿学习与行为克隆提供了精细的轨迹数据支撑。该数据集记录了Lekiwi机械臂在篮球投篮或传递任务中的完整动作序列，包含9维动作空间（涵盖关节角度与线速度、角速度）及对应状态观测，辅以正面与腕部双视角视频流，使研究者能够构建高保真的视觉-运动映射模型。经典应用包括训练端到端的视觉运动策略，利用30Hz的高频采样还原细腻操作，验证策略在连续控制任务中的泛化能力。

解决学术问题

该数据集直面机器人操作中的两大核心学术挑战：稀缺的高质量人类示教数据与跨模态融合难题。通过提供10个完整回合、逾2万帧的标准化演示，它缓解了从零采集专业数据的困境，尤其适用于以少样本学习或元学习探索策略泛化的研究。双摄像头视觉输入与精密动作记录的协同，为攻克“视觉域差距”与“动态环境适应”提供了基准，推动了从静态模仿到动态响应策略的演进，对可泛化操控理论的构建具有里程碑意义。

衍生相关工作

围绕该数据集衍生了多项标志性工作。最典型的是基于LeRobot框架的行为克隆基线模型，它验证了单一任务下低数据量训练的可行性；随后涌现出融合扩散策略（Diffusion Policy）的变体，通过建模动作分布提升了策略的平滑性与抗噪能力。近期工作进一步探索了跨具身迁移，将Lekiwi的轨迹映射至UR5或Franka机械臂，验证了动作表征的通用性。此外，研究者将其作为对比基准，对比了以Transformer为基础的架构与传统LSTM的操控性能差距。