eval_lara5_pickplace_mugD_merged_SmolVLA_20k

这是一个用于评估SmolVLA微调的数据集，专门用于Neura Robotics的Lara5机器人进行拾取和放置操作。数据集包含5个片段，5745帧，1个任务，数据文件大小为100MB，视频文件大小为200MB，帧率为50fps。数据集的结构包括动作、观察状态、多个摄像头的图像数据等特征。

原始信息汇总

数据集概述

基本信息

• 数据集名称: eval_lara5_pickplace_mugD_merged_SmolVLA_20k
• 主页: neura-robotics.com
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 相关标签: LeRobot, NEURA, Lara5, robotics
• 数据配置: 默认配置，数据文件位于 data/*/*.parquet

数据集描述

这是一个评估数据集，用于在Neura Robotics的Lara5机器人上执行拾取和放置任务的SmolVLA微调模型评估。

数据集结构

元数据摘要

• 代码库版本: v3.0
• 机器人类型: neura_lara5
• 总情节数: 5
• 总帧数: 5745
• 总任务数: 1
• 块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 50 FPS
• 数据分割: 训练集（0:5）
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作空间

• 特征名: action
• 数据类型: float32
• 形状: [7]
• 维度名称: joint1.pos, joint2.pos, joint3.pos, joint4.pos, joint5.pos, joint6.pos, gripper.pos

状态观测

• 特征名: observation.state
• 数据类型: float32
• 形状: [7]
• 维度名称: joint1.pos, joint2.pos, joint3.pos, joint4.pos, joint5.pos, joint6.pos, gripper.pos

图像观测（相机1）

• 特征名: observation.images.camera1
• 数据类型: video
• 形状: [480, 680, 3]
• 维度名称: height, width, channels
• 视频信息:
  • 高度: 480 像素
  • 宽度: 680 像素
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 50 FPS
  • 通道数: 3
  • 包含音频: false

图像观测（相机2）

• 特征名: observation.images.camera2
• 数据类型: video
• 形状: [480, 680, 3]
• 维度名称: height, width, channels
• 视频信息:
  • 高度: 480 像素
  • 宽度: 680 像素
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 50 FPS
  • 通道数: 3
  • 包含音频: false

图像观测（相机3）

• 特征名: observation.images.camera3
• 数据类型: video
• 形状: [480, 680, 3]
• 维度名称: height, width, channels
• 视频信息:
  • 高度: 480 像素
  • 宽度: 680 像素
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 50 FPS
  • 通道数: 3
  • 包含音频: false

其他特征

• 时间戳: 数据类型 float32，形状 [1]
• 帧索引: 数据类型 int64，形状 [1]
• 情节索引: 数据类型 int64，形状 [1]
• 索引: 数据类型 int64，形状 [1]
• 任务索引: 数据类型 int64，形状 [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，eval_lara5_pickplace_mugD_merged_SmolVLA_20k数据集作为评估基准，其构建过程体现了精细的数据采集与结构化处理。该数据集基于Neura Robotics的Lara5机器人平台，专注于拾取放置任务，通过记录机器人在执行任务过程中的多模态数据而生成。数据以分块形式存储于Parquet文件中，每个文件包含连续帧的动作指令、关节状态及多视角视觉观测，确保了时序连贯性与完整性。构建时采用50帧每秒的高频采样，捕捉了机器人动态行为的细微变化，为后续模型评估提供了高保真的仿真环境。

特点

该数据集的特点在于其丰富的多模态表征与严谨的结构化设计。数据集整合了七维关节位置动作、对应的状态观测以及三个独立摄像头的视频流，形成了全面的机器人操作记录。视觉数据以AV1编码存储，分辨率统一为480x680，保证了图像质量与压缩效率的平衡。数据组织上，通过明确的索引字段如帧索引、回合索引等，支持灵活的数据切片与查询。这种设计不仅便于分析机器人在特定任务中的表现，还为跨模态学习与行为克隆研究提供了标准化输入。

使用方法

使用该数据集时，研究人员可依据其结构化路径访问数据文件与视频资源。数据集以训练分割涵盖全部五个回合，每个回合的数据按千帧规模分块，用户可通过指定块索引与文件索引加载特定片段。典型应用包括加载Parquet文件以获取动作与状态序列，并同步调用对应MP4视频文件进行视觉分析。在机器人学习框架中，该数据集可用于评估基于SmolVLA微调模型的性能，通过对比预测动作与真实记录，量化模型在拾取放置任务上的泛化能力与操作精度。

背景与挑战

背景概述

在机器人操作领域，模仿学习与视觉运动控制是推动智能体自主执行复杂任务的核心研究方向。eval_lara5_pickplace_mugD_merged_SmolVLA_20k数据集由NEURA Robotics公司基于其Lara5机器人平台构建，专为评估经过SmolVLA模型微调后的拾放操作性能而设计。该数据集聚焦于解决机器人从多视角视觉输入到精确关节动作的映射问题，旨在提升机器人在非结构化环境中的物体操控能力。其创建标志着视觉-语言-动作模型在具体工业应用场景中的深入验证，为机器人学习算法的实际部署提供了关键基准。

当前挑战

该数据集致力于应对机器人拾放任务中视觉感知与动作执行协同优化的核心挑战，具体涉及从高维视觉观测到低维连续动作空间的稳定映射，以及在动态环境中保持操作鲁棒性。构建过程中，挑战主要体现在多摄像头视频数据与机器人状态数据的精确时序对齐、大规模异构数据的高效存储与读取，以及确保评估轨迹在真实机器人平台上具有可重复性和安全性。这些挑战要求数据集在结构设计上兼顾数据完整性、访问效率与真实世界应用的可靠性。

常用场景

经典使用场景

在机器人操作领域，该数据集作为评估基准，专为Lara5机器人的拾放任务设计。其核心应用场景在于验证和比较不同视觉语言动作模型在真实世界机器人控制中的性能。通过提供多视角视频流与精确的关节位置数据，研究人员能够系统评估模型在复杂环境下的动作生成准确性与鲁棒性，从而推动机器人学习算法的迭代与优化。

实际应用

在实际工业与物流场景中，该数据集支持自动化分拣与装配系统的开发。通过模拟真实拾放操作，它能够训练机器人精准识别目标物体并执行抓取放置动作，提升生产线效率与灵活性。其多摄像头配置增强了系统在遮挡或动态环境下的感知能力，为仓储机器人、柔性制造等应用提供了可靠的数据支撑，助力实现更智能、自主的物料处理解决方案。

衍生相关工作

围绕该数据集，衍生出多项关于视觉语言动作模型微调与评估的研究。例如，基于SmolVLA架构的改进工作专注于提升模型在少样本学习下的泛化能力；同时，它启发了对多模态融合策略的探索，如如何更有效地结合图像序列与状态信息以生成稳定动作。这些工作共同推动了机器人操作任务中模仿学习与强化学习方法的交叉创新。