pilot-corpus-v0.1
收藏资源简介：
Pilot Corpus v0.1是一个用于机器人学习预训练的、基于指针的微型混合数据集。其核心设计是提供清单（manifests）和代码，而非直接存储媒体文件，每个数据片段都是指向原始数据集的虚拟指针（包含episode、起始时间、结束时间），数据集加载器根据需要动态重构帧，从而避免视频切割、转码或重新分发，确保许可证清洁。数据集包含7个数据分支（tranches），全面覆盖机器人学习关键领域：遥操作（teleop）、UMI、自我中心灵巧操作（egodex）、自我/外部视角野外视频（egowild/exo）、互联网动作视频（internet）以及模拟数据（sim）。它包含所有相关标签类型：视觉（vision）、本体感觉（proprio）、动作（action）、力（force）、姿态（pose）和语言（lang），每个片段都带有领域标签（domain_tags）。数据集清单以Parquet格式存储，每行代表一个虚拟片段，包含clip_id、分支、源仓库、源片段、时间范围、原生帧率、分辨率、各类标签、领域标签、漂移分数、接触事件、仅用于姿态评估标志和数据分割等信息。原生帧率完整保留，从未重采样，这对接触瞬态资格屏蔽调度器至关重要。数据规模方面，清单当前引用总计约306,442个剪辑，总时长约243.3小时。数据集适用于在单个GPU上运行从零开始与预初始化对比的实验，旨在作为一个完全具有代表性但规模较小的试点，为机器人学习的多模态预训练提供多样化数据基础。用户需要自行下载引用的原始数据集（如来自HuggingFace的EgoDex-LeRobot-v3.0、umi_cup_in_the_wild等），并将加载器指向这些本地数据。目前存在已知限制：已下载的AgiBot数据（提供真实的6自由度末端执行器力矩和关节力矩信号）尚未整合；接触伪标签（第二阶段）尚未计算；纯视频分支的数据规模低于原计划目标；以及潜在缓存（第四阶段）未构建。
Pilot Corpus v0.1 is a pointer-based miniature mixed dataset for robot learning pre-training. Its core design philosophy is to provide manifests and code instead of directly storing media files. Each clip is a virtual pointer to the original source dataset (including episode, start time, end time), and the dataset loader dynamically reconstructs frames from the original datasets as needed, avoiding video cutting, transcoding, or redistribution to ensure license cleanliness. The dataset contains 7 tranches, comprehensively covering key areas of robot learning: teleop, UMI, egodex, egowild/exo, internet, and sim. It includes all relevant label types: vision, proprio, action, force, pose, and lang, with each clip tagged with domain tags. The manifests are stored in Parquet format, each row representing a virtual clip with information such as clip_id, tranche, source repository, source clip, time range, native frame rate, resolution, various labels, domain tags, drift score, contact events, pose-only evaluation flag, and data split. The native frame rate is fully preserved without resampling, which is crucial for contact transient eligibility masking schedulers. In terms of scale, the manifests currently reference approximately 306,442 clips in total, with a total duration of about 243.3 hours. The dataset is suitable for experiments run on a single GPU, comparing from-scratch and pre-initialized approaches, aiming to serve as a fully representative but small-scale pilot for multimodal pre-training in robot learning. Users need to download the referenced original datasets (e.g., EgoDex-LeRobot-v3.0, umi_cup_in_the_wild from HuggingFace) and point the loader to these local data. There are known limitations: downloaded AgiBot data (providing real 6-DOF end-effector torque and joint torque signals) is not yet integrated; contact pseudo-labels (phase 2) are not computed; the scale of pure-video tranches is below the original target; and potential caching (phase 4) is not built.
数据集概述：Pilot Corpus v0.1
项目定位：一个冻结的、基于指针的机器人学习预训练混合数据集的微型版本，专为单GPU上的 scratch-vs-init 实验设计。
核心特性：
- 虚拟剪辑：数据集不包含任何视频媒体，仅提供清单文件和代码。每个“剪辑”是一个指向源数据集中
(episode, t_start, t_end)的虚拟指针。用户需自行下载底层数据集，加载器按需从原始数据中重建帧。 - 数据构成：共包含7个数据块（tranches），涵盖遥操作、UMI、自我中心灵巧操作、自我/外部野生视频、互联网动作视频和仿真环境。
- 标签类型：覆盖所有标注类型：视觉（vision）、本体感知（proprioception）、动作（action）、力（force）、姿态（pose）、语言（lang）。
- 领域标签：每个数据块均包含领域标签（domain_tags）。
数据规模（当前清单引用）：
| 数据块 | 来源（Hugging Face 仓库） | 剪辑数 / 小时数 | 标签类型 |
|---|---|---|---|
| egodex | griffinlabs/EgoDex-LeRobot-v3.0 |
15,739 / 12.8小时 | vision, pose, lang |
| umi | lerobot/umi_cup_in_the_wild |
45,479 / 37.8小时 | vision, proprio, action |
| teleop | lerobot/aloha_mobile_cabinet |
1,615 / 1.4小时 | vision, proprio, action, force |
| exo | hyf015/EgoExoLearn |
38,310 / 31.9小时 | vision |
| egowild | a1raman/epic_kitchens_100 |
9,247 / 7.7小时 | vision |
| internet | morpheushoc/something-something-v2 |
179,184 / 138.8小时 | vision, lang |
| sim | physical-intelligence/libero |
16,868 / 13.9小时 | vision, proprio, action, lang |
数据结构与文件布局：
src/corpus/：包含模式定义、清单I/O、加载器（v2.x/v3.0/image-parquet适配器）、配额采样器和清单构建器。manifests/：包含每个数据块及合并后的 Parquet 清单文件（单一真实数据源），以及exo_crossview_index.csv和internet_template_index.csv。probes/：包含冻结的评估集（周期级分割）和FROZEN_HASHES.txt。configs/quota.yaml：定义每个批次的数据块混合比例（实验起点）。tests/：包含模式往返测试、v3.0 解码测试、构建测试、仿真/互联网测试。scripts/：包含统计生成脚本、冻结探针脚本和阶段0验证脚本。STATS.md：生成的单页数据总结。
清单模式：每行代表一个虚拟剪辑，包含以下字段：clip_id, tranche, source_repo, source_episode, t_start, t_end, native_fps, resolution, lbl_{vision,proprio,action,force,pose,lang}, domain_tags, drift_score, contact_events, pose_eval_only, split。native_fps 保持原始帧率不变，是掩码调度器判断接触瞬态资格的依据。
已知限制（v0.1版本）：
- AgiBot数据暂未纳入清单：
raw/teleop/AgiBotWorld-Beta（72GB，带真实6自由度扳手）和raw/sim/AgiBotDigitalWorld（20.7GB，带关节力矩）已下载但尚未完成 LeRobot 转换和清单重建。当前清单中的 teleop 数据块仅包含 ALOHA 数据，接触丰富类数据块和接触事件目标尚未满足。 - 接触伪标签（阶段2）：尚未计算，因此
probe_contact为空。 - 视频数据块小时数不足：纯视频数据块的小时数比计划目标低约10倍，这是故意设计的完全代表性小型试点，而非全规模混合。
- 潜在缓存（阶段4）：需要GPU且未在此构建。
使用方式： bash uv sync uv run python -m corpus.build_manifest --all # (re)build manifests from raw/ uv run python scripts/gen_stats.py # STATS.md uv run python scripts/freeze_probes.py # probe sets + hashes uv run pytest -q # full suite
python from corpus.manifest import read_manifest from corpus.loader import ClipDataset ds = ClipDataset(read_manifest("manifests/corpus.parquet"), raw_root="raw") sample = ds[0] # ClipSample(frames (T,H,W,3) uint8, native_fps, labels, ...)
