hilserl-record2
收藏Hugging Face2025-12-10 更新2025-12-11 收录
下载链接：
https://huggingface.co/datasets/z18820636149/hilserl-record2
下载链接
链接失效反馈官方服务：
资源简介：
该数据集由LeRobot创建，主要用于机器人技术领域。数据集包含20个任务和1613帧数据，每个任务包含状态观测（7维浮点数）、来自两个腕部摄像头的图像（128x128x3的视频数据）、动作（6维浮点数）、时间戳、帧索引、任务索引等信息。数据以parquet格式存储，视频以mp4格式存储。数据集的总数据大小为100MB，视频文件大小为500MB，帧率为5fps。
创建时间：
2025-12-10
原始信息汇总
数据集概述
基本信息
- 数据集名称： hilserl-record2
- 存储库地址： https://huggingface.co/datasets/z18820636149/hilserl-record2
- 许可协议： Apache-2.0
- 任务类别： 机器人学
- 标签： LeRobot, hil-serl, converted, robotics
- 创建工具： 使用 LeRobot 创建。
数据集规模与结构
- 总情节数： 20
- 总帧数： 1613
- 总任务数： 20
- 数据块大小： 1000
- 数据文件总大小： 100 MB
- 视频文件总大小： 500 MB
- 帧率： 5 FPS
- 数据分割： 全部数据用于训练（索引 0 至 20）。
- 数据文件路径模式：
data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet - 视频文件路径模式：
videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
数据特征
数据集包含以下特征字段：
观测数据
-
observation.state- 数据类型：
float32 - 形状：
[7] - 维度名称：
["state_0", "state_1", "state_2", "state_3", "state_4", "state_5", "state_6"]
- 数据类型：
-
observation.images.wrist_1- 数据类型：
video - 形状：
[128, 128, 3] - 视频信息：
- 高度：128 像素
- 宽度：128 像素
- 编解码器：av1
- 像素格式：yuv420p
- 非深度图
- 帧率：5 FPS
- 通道数：3
- 无音频
- 数据类型：
-
observation.images.wrist_2- 数据类型：
video - 形状：
[128, 128, 3] - 视频信息：
- 高度：128 像素
- 宽度：128 像素
- 编解码器：av1
- 像素格式：yuv420p
- 非深度图
- 帧率：5 FPS
- 通道数：3
- 无音频
- 数据类型：
动作与元数据
-
action- 数据类型：
float32 - 形状：
[6] - 维度名称：
["action_0", "action_1", "action_2", "action_3", "action_4", "action_5"]
- 数据类型：
-
timestamp- 数据类型：
float32 - 形状：
[1] - 维度名称：
null
- 数据类型：
-
frame_index- 数据类型：
int64 - 形状：
[1] - 维度名称：
null
- 数据类型：
-
episode_index- 数据类型：
int64 - 形状：
[1] - 维度名称：
null
- 数据类型：
-
index- 数据类型：
int64 - 形状：
[1] - 维度名称：
null
- 数据类型：
-
task_index- 数据类型：
int64 - 形状：
[1] - 维度名称：
null
- 数据类型：
技术信息
- 代码库版本： v3.0
- 机器人类型： hilserl_robot
引用信息
- 主页： [More Information Needed]
- 论文： [More Information Needed]
- BibTeX 引用格式： [More Information Needed]
搜集汇总
数据集介绍
构建方式
在机器人学习领域，数据集的构建往往依赖于实际物理系统的交互记录。hilserl-record2数据集正是通过LeRobot平台，在hilserl_robot实体机器人上采集操作数据而构建的。该数据集涵盖了20个独立任务，总计1613帧交互序列，以每秒5帧的速率捕获。数据以分块Parquet文件形式存储，每块约1000帧，确保了高效的数据管理与读取。同步录制的视频数据以MP4格式保存，采用AV1编码，分辨率统一为128x128像素，为视觉观察提供了丰富的模态信息。
特点
该数据集的一个显著特点是其多模态观测结构，不仅包含7维浮点型状态向量，还提供了双腕部摄像头采集的RGB视频流，这为模仿学习与强化学习算法提供了全面的环境感知信息。数据组织具有高度结构化特征，每个数据点均标注了时间戳、帧索引、任务索引与回合索引，便于进行时序分析与任务特定研究。数据集规模适中，总数据量约100MB，视频文件约500MB，兼顾了存储效率与信息密度，适合用于中等复杂度的机器人技能学习实验。
使用方法
研究人员可通过HuggingFace数据集库直接加载该数据集，利用其预定义的数据分割方式，所有20个回合均用于训练。数据读取时，可依据`data_path`与`video_path`模式访问相应的Parquet文件与视频片段。观测数据中的状态向量与双视角图像可直接作为策略网络的输入，而6维动作向量则作为监督学习的标签。由于数据已按时间顺序对齐，用户可便捷地构建状态-动作对序列，用于行为克隆、离线强化学习等算法验证，加速机器人控制策略的开发与评估流程。
背景与挑战
背景概述
在机器人学习领域，模仿学习与离线强化学习正成为推动智能体自主决策的关键范式。hilserl-record2数据集依托LeRobot开源框架构建，专注于记录真实机器人执行任务时的多模态交互数据。该数据集由HuggingFace社区贡献者于近期整理发布，旨在为机器人技能学习提供结构化的演示轨迹，其核心研究问题在于如何从有限的示教样本中泛化出鲁棒且可迁移的控制策略。通过整合腕部视觉观测与低维状态动作对，该资源为算法验证与模型训练奠定了实证基础，有望加速现实场景中机器人灵巧操作的研究进程。
当前挑战
该数据集致力于解决机器人技能模仿与策略泛化的核心难题，其挑战首先体现在领域问题的复杂性上：从高维视觉输入中提取有效的状态表征，并映射至连续动作空间，要求模型具备强大的感知与推理能力。此外，示教数据的稀缺性与任务多样性之间的平衡，对算法的样本效率提出了严峻考验。在构建过程中，数据采集面临硬件同步与传感器校准的技术瓶颈，确保多路视频流与状态信息的时间对齐需精密设计。同时，原始数据的清洗、标注与高效存储格式转换，亦需克服大规模时序数据处理的计算负担与工程实现障碍。
常用场景
经典使用场景
在机器人学习领域，hilserl-record2数据集以其多模态观测与动作序列的精细记录，为模仿学习与强化学习算法的训练提供了关键支撑。该数据集通过手腕摄像头捕捉视觉信息，并结合机器人状态数据，构建了从感知到执行的完整交互轨迹。研究者可借此模拟真实环境中的操作任务，例如物体抓取或放置，从而优化策略网络的泛化能力与鲁棒性。
实际应用
在实际机器人部署中，hilserl-record2数据集可用于训练服务机器人执行日常操作，如整理物品或辅助装配。工业场景中，基于该数据训练的模型能提升自动化抓取系统的适应性，应对不同形状与材质的工件。教育领域亦可利用其开展机器人编程教学，为学生提供接近真实的实验数据，加速技能传递与算法迭代。
衍生相关工作
围绕该数据集，已衍生出多项专注于机器人视觉运动控制的研究。例如，结合Transformer架构的序列建模工作，利用其多视角视频流预测连续动作；亦有研究探索分层强化学习框架，通过数据中的任务索引实现技能组合。这些工作进一步扩展了数据集的用途，推动了端到端学习与模块化策略在机器人领域的融合创新。
以上内容由遇见数据集搜集并总结生成
