Xense/huili_shoe_insole_retrieval_and_packing_0528

该数据集是一个机器人操作数据集，使用LeRobot工具创建，专门针对双Flexiv Rizon4 RT机器人系统。数据集包含30个完整的情节（episodes），总计125428帧，以30帧每秒的速率记录。数据以Parquet格式存储，并包括视频文件。数据集的结构包括动作数据（如左右机械臂的TCP位置、旋转和夹爪位置）、观测状态（与动作类似的状态信息）、多个图像观测（如头部摄像头、左右手腕摄像头以及左右触觉传感器的视频流），以及时间戳、帧索引、情节索引等元数据。所有数据仅用于训练分割，适用于机器人学习和控制任务的研究。This dataset is a robotics manipulation dataset created using the LeRobot tool, specifically for a dual Flexiv Rizon4 RT robot system. It contains 30 total episodes with 125,428 frames recorded at 30 frames per second. The data is stored in Parquet format and includes video files. The dataset structure comprises action data (e.g., TCP positions, rotations, and gripper positions for both left and right arms), observation states (similar state information as actions), multiple image observations (such as video streams from a head camera, left and right wrist cameras, and left and right tactile sensors), as well as metadata like timestamps, frame indices, and episode indices. All data is designated for the training split, making it suitable for research in robot learning and control tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为机器人检索与包装任务提供多模态训练数据。数据采集平台采用双臂机器人系统（bi_flexiv_rizon4_rt），通过遥操作或预设策略执行鞋垫的拾取与放置操作。整个数据集包含30个完整任务片段（episodes），总计约125,428帧时序数据，所有数据均以Parquet格式存储，便于高效读取与批处理。为方便大规模训练，帧数据被划分为多个大小为1000的块（chunk），并辅以同步录制的多视角视频流，包括头部视角、左右腕部视角及四个触觉传感器视角的RGB视频，全面捕捉操作过程中的视觉与触觉信息。

特点

数据集的核心特色在于其高维且多模态的观测与动作空间。动作与状态空间均包含20维连续变量，完整描述了双臂末端执行器的六维位姿及夹爪开合度，为精细操作建模提供了精准的底层控制信号。观测方面，除了三个标准视觉视角（480×640分辨率）外，特别集成了四个触觉传感器视角（400×700分辨率），能够记录操作过程中的力触觉反馈细节，这对于易变形物体（如鞋垫）的抓取与整理任务至关重要。所有视频以30帧/秒的H.264编码录制，并附带时间戳与帧索引，确保了时间对齐的精确性。

使用方法

用户可通过HuggingFace Datasets库直接加载此数据集，使用`load_dataset('huili_shoe_insole_retrieval_and_packing_0528')`即可获取包含动作、状态、图像与触觉帧的实例。数据集已预设单一训练分割（0至29号片段），适合直接用于模仿学习或强化学习算法的训练与评估。在模型输入设计中，可将20维的状态向量与多通道视频帧序列进行拼接，构成观测空间；输出则预测相应的20维动作向量。结合LeRobot框架提供的标准化预处理工具，可轻松实现数据归一化与批构建，从而加速机器人操控策略的研发迭代。

背景与挑战

背景概述

在机器人灵巧操作领域，针对复杂工业场景的高精度抓取与装配任务始终是研究焦点。该数据集由基于LeRobot框架构建，采用双机械臂协作平台（型号为bi_flexiv_rizon4_rt）于2024年采集，专注于鞋垫检索与包装这一典型精细操作问题。数据集中包含了30个示范轨迹，共计125428帧，融合了多视角视觉（头部、左右腕部相机）与触觉传感器（四组触觉图像）信息，并记录了20维连续动作空间（含双机械臂末端位姿与夹爪状态）。该数据集为研究双臂协调、视觉-触觉融合的模仿学习提供了标准化基准，在工业自动化与灵巧机器人领域具有重要应用价值。

当前挑战

该数据集面临多重挑战。在领域问题层面，鞋垫检索与包装任务涉及高精度定位、柔性物体操作以及双臂空间协调，对机器人系统的感知与控制提出了严峻要求，例如触觉反馈与视觉信息的实时融合、薄片状物体的稳定抓取策略等。在构建过程中，如何确保30个示范轨迹在动作多样性、传感器同步精度（多摄像头与力矩信息以30Hz频率对齐）以及数据规模（视频文件约500MB）上的平衡构成了核心难点；此外，双机械臂的碰撞规避与工作空间分配也需在数据采集阶段精心设计，以避免示范动作的次优性或缺失。

常用场景

经典使用场景

在工业机器人与自动化生产领域，该数据集为双机械臂协同操作任务提供了宝贵的训练资源。其核心使用场景聚焦于鞋垫的检索与包装作业，通过记录30条完整操作轨迹，包含125428帧高保真数据，涵盖了视觉、触觉与运动控制等多模态信息。研究者可借助这些数据训练模仿学习或强化学习模型，使机器人掌握从检索到包装的精细操作技能，推动复杂装配工序的智能化进程。

衍生相关工作

基于该数据集，研究者已衍生出多项创新工作。例如，利用其触觉与视觉双模态数据，开发了面向柔性物体的触觉引导抓取策略，解决了视觉遮挡下的操作鲁棒性问题。另有工作聚焦于双臂协同的时序预测，通过对比学习架构提取跨机械臂的运动关联特征，提升了复杂包装任务的完成率。这些工作进一步验证了数据集在促进技能迁移与模型泛化方面的核心价值。

数据集最近研究

最新研究方向

基于多模态感知与双臂协作的精细操作数据集构建，该数据集聚焦于鞋垫分拣与包装这一工业场景，利用双Flexiv Rizon4机器人平台，融合头部、腕部视觉与四路触觉传感器，为机器人学习复杂的灵巧抓取与装配任务提供了高保真度的行为克隆训练数据。在具身智能与机器人操作领域，此类融合触觉反馈的多视角演示数据集弥合了单纯视觉模仿与真实物理交互之间的鸿沟，推动了从刚体抓取向柔性物体精细操作的范式跃迁。该数据集的发布不仅加速了可泛化操作策略在仓储物流中的落地，也为研究触觉-视觉跨模态表征学习在柔性体操作中的鲁棒性提供了关键基准，呼应了工业界对高精度、少样本智能装配系统的迫切需求，成为连接仿真预训练与现实部署的核心枢纽。