SmolVLADataset

SmolVLA数据集是一个多源机器人学数据集，经过精心策划，用于SmolVLA研究。它将多个开放源机器人数据集整合到单个标准化格式中，具有确定性的训练/验证/测试划分，使用高效的Parquet格式存储，并且与LeRobot兼容。适用于模仿学习、通用机器人策略训练和跨数据集评估机器人控制模型。

The SmolVLA Dataset is a multi-source robotics dataset meticulously curated for SmolVLA research. It integrates multiple open-source robotics datasets into a single standardized format, features deterministic train/validation/test splits, uses the efficient Parquet format for storage, and is compatible with LeRobot. It is applicable to imitation learning, general robotics policy training, and cross-dataset evaluation of robotic control models.

原始信息汇总

SmolVLA 数据集概述

数据集简介

SmolVLA数据集是伴随SmolVLA论文发布的多源机器人数据集，聚合了多个开源机器人数据集，采用标准化格式存储，具有确定性训练/验证/测试分割、高效的Parquet存储格式和Hugging Face Hub缓存机制。

核心特征

• 多源机器人数据集：专为SmolVLA策划的多源数据集集合
• Parquet格式存储：采用轻量级模式规范化的Parquet格式
• 确定性分割：提供可重复基准测试的确定性分割
• LeRobot兼容性：与LeRobot（LeRobotDataset接口）兼容

支持任务

• 模仿学习
• 通用机器人策略训练
• 机器人控制模型的跨数据集评估

数据结构

数据字段

每行对应一个观察/动作对，跨数据源采用轻量级规范化模式：

• observation：传感器输入（如RGB帧、本体感知状态）
• action：机器人控制命令
• dataset：源数据集标识符
• 其他列取决于源数据集

数据分割

提供确定性分割比例：

• train：80%（默认）
• validation：10%
• test：10%

可通过库中的SplitConfig API覆盖分割比例

使用方法

直接使用（预编译包）

python from datasets import load_dataset

dataset = load_dataset("SmolVLADataset/SmolVLADataset", split="train") print(dataset[0])

使用库（重建或自定义）

python from smolvladataset import SmolVLADataset, SplitConfig

默认预编译包

train, val, test = SmolVLADataset()

自定义分割

config = SplitConfig(train=0.7, val=0.15, test=0.15, seed=42) train, val, test = SmolVLADataset(split_config=config)

自定义数据集列表

train, val, test = SmolVLADataset(csv_list="datasets.csv")

数据来源

数据集是多个开源Hugging Face机器人数据集的策划合并，完整列表可在datasets.csv中获取，每个CSV行包含一个Hugging Face数据集仓库ID。

缓存与文件布局

使用库时，缓存工件存储在~/.cache/smolvladataset/<hash>/目录下，包含以下文件：

• merged.parquet：带有dataset列的统合数据集
• stats.parquet：每个数据集的统计信息
• train.parquet、validation.parquet、test.parquet：分割视图

许可证

采用MIT许可证，每个源数据集保留其自己的许可证，这些许可证适用于其在合并数据集中的行。

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据集的质量与标准化程度直接影响模型训练效果。SmolVLA数据集通过系统整合多个开源机器人数据集构建而成，采用严格的确定性划分策略，将原始数据统一转换为Parquet格式并进行轻量级模式规范化。其构建过程依托可复现的拆分机制，确保训练集、验证集和测试集的比例固定为80%、10%和10%，同时支持用户通过SplitConfig API自定义划分比例与随机种子，保障了数据处理的透明性与可重复性。

特点

该数据集的核心特点体现在其多源异构数据的深度融合与高效管理。所有数据均以列式存储的Parquet格式保存，不仅提升了读写效率，还通过轻量级模式归一化实现了跨数据集的字段对齐。数据集包含观测状态、控制动作及数据源标识等关键字段，并严格遵循分数据集统计与全局拆分策略。其与LeRobot框架的原生兼容性，以及支持动态加载和缓存管理的特性，为机器人策略学习提供了高度一致且扩展性强的数据基础。

使用方法

研究人员可通过两种主要途径使用该数据集：直接加载预编译版本或利用smolvladataset库进行定制化处理。预编译版本可通过Hugging Face的load_dataset函数快速获取，支持按标准拆分加载数据；而库函数SmolVLADataset()则允许用户调整拆分比例、随机种子，甚至指定自定义数据集列表。所有缓存文件均存储在标准化路径下，包含合并后的数据集文件、统计信息及拆分视图，确保了数据访问的高效性与实验的可复现性。

背景与挑战

背景概述

机器人学习领域长期面临数据分散与标准化不足的挑战，SmolVLA数据集应运而生。该数据集由SmolVLA研究团队于2024年构建，旨在整合多个开源机器人数据集至统一格式，支持模仿学习与通用机器人策略训练。其采用Parquet格式存储与确定性数据划分机制，显著提升了多源机器人数据的可用性与可复现性，为跨数据集评估提供了重要基础设施。

当前挑战

该数据集致力于解决机器人视觉语言动作任务中的多模态数据融合挑战，包括异构传感器数据的时空对齐与跨数据集策略泛化。构建过程中面临源数据格式差异显著、许可证兼容性复杂，以及多源数据质量不一致等工程难题，需通过轻量化模式规范与确定性分割策略确保数据一致性。

常用场景

经典使用场景

在机器人学习领域，SmolVLA数据集通过整合多源开放数据集构建标准化基准，主要应用于视觉语言动作模型的训练与验证。研究者利用其统一的Parquet格式和确定性数据划分，能够高效地进行跨数据集策略学习，特别是在模仿学习任务中，该数据集提供了丰富的观察-动作配对样本，为算法性能评估提供了可靠基础。

实际应用

在实际机器人部署中，该数据集支持开发适应多场景的通用控制策略，特别是在家庭服务机器人和工业自动化领域。通过整合真实世界的多样化操作数据，它能够训练出具有更强适应性的视觉动作模型，使机器人能够处理复杂的日常任务，如物体抓取、环境导航等，显著提升了机器人在非结构化环境中的实用性能。

衍生相关工作

基于该数据集衍生的经典工作包括LeRobot框架的扩展应用和跨数据集评估基准的建立。研究者利用其标准化接口开发了多种高效的学习算法，特别是在多模态策略网络和迁移学习方面取得了显著进展。这些工作不仅推动了视觉语言动作模型的发展，还为机器人学习社区提供了可复现的研究基础，催生了系列创新性方法论。