20251128_all_merge

该数据集是从原始LeRobot格式的机器人数据集转换而来，专为PnP（拾放）任务设计，使用ffw_sg2_rev1机器人记录。数据模态包括时间序列数据和原始视频流，但视频特征未被转换。机器人类型为ffw_sg2_rev1，代码库版本为LeRobot v2.1，记录频率为30 Hz，任务为PnP（任务索引为0）。源元数据规模包括200个episode、112,060帧和600个源视频（训练集分割为0:199）。转换后，可下载的存储库内容包含100个Parquet文件（episode_000000至episode_000099）和300个MP4文件，转换后的规模为100个episode和56,030行。数据集已转换为Apache TsFile格式，存储在一个TsFile文件中，包含56,030行和49列，其中时间列以毫秒为单位，标签列为episode_index和task_index，字段列包括frame_index、sample_index及扁平化的机器人观测和动作测量值。源数据路径为data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet，源视频路径为videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4。This dataset is converted from a robotic dataset in the original LeRobot format, specifically tailored for pick-and-place (PnP) tasks and recorded using the ffw_sg2_rev1 robot. The data modalities include time-series data and raw video streams, with no video feature conversion performed. The robot type is ffw_sg2_rev1, the codebase version is LeRobot v2.1, the recording frequency is 30 Hz, and the target task is PnP with a task index of 0. The source metadata encompasses 200 episodes, 112,060 frames, and 600 source videos, with the training set split as 0:199. After conversion, the downloadable repository content includes 100 Parquet files (ranging from episode_000000 to episode_000099) and 300 MP4 files, with the converted scale being 100 episodes and 56,030 rows. The dataset has been converted to the Apache TsFile format, stored in a single TsFile containing 56,030 rows and 49 columns. The time column uses milliseconds as its unit, the label columns include episode_index and task_index, and the field columns cover frame_index, sample_index, as well as flattened robotic observations and action measurements. The source data path is data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet, and the source video path is videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4.

原始信息汇总

数据集概述

数据集名称: 20251128_all_merge

数据集地址: https://huggingface.co/datasets/THUgewu/20251128_all_merge

原始来源: 由 GgingGgang 创建的 LeRobot 格式机器人数据集 GgingGgang/20251128_all_merge，本版本已转换为 Apache TsFile 格式。

任务类型: PnP (task_index=0)

机器人类型: ffw_sg2_rev1

记录频率: 30 Hz

模态: 时间序列数据（原始数据集包含视频流，但本转换版本仅包含数值时间序列）

代码库版本: LeRobot v2.1

数据集规模

• 原始元数据声明: 200 个片段，112,060 帧，600 个源视频，训练划分比例为 0:199
• 转换时实际下载内容: 100 个 Parquet 文件（episode_000000 至 episode_000099）和 300 个 MP4 文件
• 转换后规模: 100 个片段，56,030 行
• TsFile 数据: 56,030 行，49 列（包括 Time、TAG 列和 FIELD 测量列）

数据文件

• 文件路径: data/dataset_20251128_all_merge.tsfile
• 数据格式: Apache TsFile 格式（单表 dataset_20251128_all_merge）

数据字段结构

• TIME 列: Time（毫秒，通过 round(timestamp * 1000) 计算）
• TAG 列: episode_index（片段索引）和 task_index（任务索引）
• FIELD 列:
  • frame_index：帧索引
  • sample_index：样本索引（源数据中的 index 重命名而来）
  • observation_state_0 至 observation_state_21：机器人观测状态向量（22 维，扁平化展开）
  • action_0 至 action_21：机器人动作向量（22 维，扁平化展开）

字段变化说明

• 保留字段: frame_index、sample_index、observation.state（扁平化为 22 列）、action（扁平化为 22 列）
• 删除字段: timestamp（因其由 Time 列表示）；所有图像字段（observation.images.cam_head、observation.images.cam_wrist_left、observation.images.cam_wrist_right）不包含在 TsFile 中
• 视频数据: 本仓库不包含 MP4 视频文件，视频保留在原始数据集 GgingGgang/20251128_all_merge 的 videos/ 目录下

源数据路径与视频路径

• 源 Parquet 路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 源视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

转换细节

• 向量列通过保留源列名、将 . 替换为 _ 并追加元素索引的方式进行扁平化
• 扁平化后的向量列数值存储为单精度 FLOAT 类型
• 可通过 WHERE episode_index=N 查询单个片段数据
• meta/info.json 文件中包含 tsfile_conversion 章节，记录转换后的模式、行数、TAG 列、删除的时间戳列、省略的视频特征以及时间映射

许可信息

• 原始数据集许可证: 未声明

读取示例

python from tsfile import TsFileReader

path = "data/dataset_20251128_all_merge.tsfile" reader = TsFileReader(path) table = reader.get_all_table_schemas()["dataset_20251128_all_merge"] columns = [c.get_column_name() for c in table.get_columns()] print(columns[:10])