toy-goat-synthetic-video-256-2000

该数据集是TOY-GOAT-synthetic-video-256-2000的TsFile格式转换版本，专注于机器人领域，包含合成视频数据。源数据集由LeRobot风格的数值帧Parquet文件和前摄像头视频流组成，而本数据集仅转换数值时间序列数据为Apache TsFile格式，原始MP4视频仍保留在源数据集中。转换过程涉及将2000个数值帧Parquet文件合并为一个TsFile文件，包含780,826行和20列，其中时间以毫秒表示，并扁平化了动作、观察状态和标签等向量列。视频流未包含在此版本中，需从源数据集获取。This dataset is the TsFile-formatted converted version of TOY-GOAT-synthetic-video-256-2000, which focuses on the robotics domain. The original source dataset includes LeRobot-style numerical frame Parquet files and front-facing camera video streams (i.e., synthetic video data), while this converted variant only transforms the numerical time-series data into Apache TsFile format, with the original MP4 videos still retained in the source dataset. The conversion process merges 2000 numerical frame Parquet files into a single TsFile, which contains 780,826 rows and 20 columns, with time represented in milliseconds, and flattens vector columns such as actions, observation states and labels. No video streams are included in this version, and they need to be obtained from the source dataset.

原始信息汇总

数据集概述

• 名称: TOY-GOAT synthetic video 256 2000 (TsFile 转换版)
• Hugging Face 地址: https://huggingface.co/datasets/smilegeng/toy-goat-synthetic-video-256-2000
• 任务类型: 机器人学 (robotics)
• 标签: LeRobot, 时间序列, 视频, 合成数据, TsFile, 机器人
• 来源数据集: csacan/TOY-GOAT-synthetic-video-256-2000 (https://huggingface.co/datasets/csacan/TOY-GOAT-synthetic-video-256-2000)

数据内容

• 原始数据格式: 来自源数据集的 2,000 个数值帧 Parquet 文件 (data/chunk-000/file-*.parquet)。
• 视频数据: 源数据集中包含的前置摄像头视频流 (observation.images.front，MP4 格式，位于 videos/observation.images.front/chunk-000/file-*.mp4) 未包含在本次转换中，仍保留在源数据集。
• 转换格式: 数值时序数据已被转换为单个 Apache TsFile 文件。

文件结构

• 数据文件: data/toy_goat_synthetic_video_256_2000.tsfile
• 元数据目录: meta/（包含 meta/info.json 等元数据文件）

转换细节

• TsFile 内容: 所有 episode 存储在同一张表中，共有 780,826 行和 20 列。
• 特殊列说明:
  • Time：基于源 timestamp 生成，单位为毫秒 (round(timestamp * 1000))；源 timestamp 列被移除。
  • episode_index 和 task_index 被声明为 TAG 列，可通过 episode_index 过滤查询特定 episode。
  • frame_index 保留；源 index 列被重命名为 sample_index。
  • 向量列已展开为独立字段：
    • action -> action_0 ... action_5 (FLOAT)
    • observation.state -> observation_state_0 ... observation_state_5 (FLOAT)
    • slot_celeb_labels -> slot_celeb_labels_0 ... slot_celeb_labels_2 (INT64)
• 时间映射: Time = round(timestamp * 1000)，Time / 1000 可还原为秒。

模式 (Schema)

• TIME: Time
• TAG: episode_index, task_index
• FIELD: frame_index, sample_index, action_0 ~ action_5, observation_state_0 ~ observation_state_5, slot_celeb_labels_0 ~ slot_celeb_labels_2

许可证与引用

• 许可证: 原始数据集卡片未提供许可证信息。
• 引用: 原始数据集卡片未提供 BibTeX 引用信息。