遇见数据集

xhaka3456/qualcomm_korea

收藏
Hugging Face2026-05-27 更新2026-05-31 收录
官方服务:

资源简介:

该数据集使用LeRobot创建,专注于机器人技术领域,具体针对bi_so101_follower机器人类型。数据集包含42个episodes,总计31309帧,帧率为30fps。数据以parquet文件格式存储,并分为训练集(涵盖所有episodes)。特征包括:动作数据(12个浮点值,对应左右机械臂的关节位置和夹爪位置)、观察状态(12个浮点值,与动作数据相同)、左右图像观察(视频格式,分辨率为480x640,3通道,编码为h264,无音频),以及时间戳、帧索引、episode索引等元数据。数据集主要用于机器人控制和学习任务。

This dataset was created using LeRobot and focuses on robotics, specifically for the bi_so101_follower robot type. It contains 42 episodes with a total of 31,309 frames at 30 fps. The data is stored in parquet files and split into a training set (covering all episodes). Features include: action data (12 float values corresponding to joint positions and gripper positions for left and right arms), observation state (12 float values, same as action data), left and right image observations (video format with 480x640 resolution, 3 channels, h264 codec, no audio), and metadata such as timestamp, frame index, and episode index. The dataset is primarily used for robot control and learning tasks.

提供机构:
xhaka3456
搜集汇总
数据集介绍
xhaka3456/qualcomm_korea 数据集图片
构建方式
在机器人学习领域,高质量的双臂操作数据集对于训练通用策略模型至关重要。qualcomm_korea数据集依托LeRobot框架构建,采用双SO-101从动臂机器人系统采集真实世界操作数据。数据录制过程以30帧每秒的频率同步捕获左右两侧视角的RGB视频流以及12维关节位置状态,涵盖左右肩部旋转、肘部弯曲、腕部弯曲与旋转以及夹爪开合等关键动作维度。所有回合数据经统一时间戳对齐后,以Parquet列式存储格式按块组织,视频则以H.264编码的MP4文件分片保存,最终形成包含42个完整回合、31309帧的规范化数据集。
使用方法
使用该数据集时,研究者可借助LeRobot工具链直接加载Parquet格式的回合数据与对应视频文件。数据路径遵循分块索引模板,训练集按0至42号回合整体划分,可直接用于模仿学习或强化学习策略的离线训练。加载后,action字段提供每一帧的目标关节位置,observation.state记录当前关节状态,左右视角视频则作为视觉观测输入。开发者可利用时间戳与帧索引进行时序对齐,或基于回合索引划分验证集。鉴于其Apache-2.0许可,该数据集允许在合规范围内自由使用、修改与分发,适用于学术研究与工业原型开发等多种场景。
背景与挑战
背景概述
在机器人学习领域,双臂协同操作因高度类人的作业能力而成为研究热点。qualcomm_korea数据集由高通韩国团队依托LeRobot框架构建,旨在为双臂SO-101跟随机器人提供标准化操作示范。该数据集包含42个回合、31309帧、30fps的双视角视频与12维关节状态及动作序列,聚焦单一任务。其核心研究问题在于如何从有限的示范中习得双臂协调策略,推动了低成本双臂机器人模仿学习的发展。
当前挑战
该数据集所解决的领域问题在于双臂精细操作中的协调控制,其挑战源于双手动作需在时空上严格同步,并要求从高维视觉与本体感觉中提取有效特征。构建过程中,双摄像头需精确标定并保持稳定视角,42个回合的示范需覆盖任务多样性却受限于单任务设定;同时,31309帧的高频采样对数据对齐与存储提出要求,而仅提供一个任务限制了模型泛化能力的评估,这些都是后续研究需克服的瓶颈。
常用场景
经典使用场景
在双臂机器人操控与模仿学习领域,qualcomm_korea数据集构成了典型的视觉-动作联合建模基准。该数据集基于bi_so101_follower机器人平台,采集了42条演示轨迹、共计31309帧、30fps的双目视觉与12维关节位置及动作序列,其核心用途在于训练端到端的策略网络,使机器人能够从原始视觉观测与本体状态中直接映射出双臂协同动作。研究者通常将其用于行为克隆、逆动力学建模以及多模态表征学习等任务,借助该数据集验证模型在精细操作中的泛化能力与鲁棒性。
解决学术问题
该数据集有效缓解了双臂机器人领域公开演示数据稀缺的困境,为算法可复现性研究提供了标准化基准。其同步采集的双目图像与双臂关节动作,使研究者得以系统探究视觉-运动关联、时序依赖建模及跨模态对齐等关键问题。在模仿学习框架下,该数据集支撑了对策略泛化误差、示范效率以及动作空间连续控制稳定性的量化分析,推动了从单臂向双臂协同操作的理论延伸,对机器人学习社区的数据规范化进程具有积极意义。
实际应用
在实际部署中,qualcomm_korea数据集可服务于双臂机器人的技能传授与自适应控制。通过在该数据集上预训练的策略模型,可迁移至装配、抓取与协作搬运等工业及服务场景,降低对真实环境反复示教的依赖。其高帧率双目视频与精确关节反馈为 sim-to-real 迁移提供了现实参照,有助于缩短算法从仿真验证到实体部署的周期。此外,数据集亦可作为远程操控与半自主系统的训练素材,提升机器人在非结构化环境中的操作柔顺性。
数据集最近研究
最新研究方向
在双臂机器人操作与模仿学习领域,qualcomm_korea数据集正推动着以双SO-101 follower机械臂为平台的精细协同控制研究。当前前沿方向聚焦于利用该数据集42个回合、31309帧、30fps的高频双视角视频与12维关节动作序列,探索端到端视觉-动作策略的泛化能力,尤其是在单一任务下如何通过多模态时序建模提升双臂协调的鲁棒性。该数据集与LeRobot生态的深度整合,使得基于扩散策略或Transformer架构的模仿学习算法得以在真实双臂操作场景中快速验证与迭代。其双摄像头同步采集和统一动作空间设计,为研究跨模态表征学习、动作分块预测以及少样本任务迁移提供了标准化基准,对推动低成本开源双臂机器人系统在家庭服务与柔性制造中的落地具有显著意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务