so101_eval2_merged_25prompts
收藏资源简介：
该数据集是SO101 Eval 2 Merged（TsFile格式），是一个LeRobot v3.0数据集，由合并六种碗顺序（gbr, rgb, bgr, brg, grb, rbg）的记录并用27个提示词汇重新标注每个episode而成。目标是将Eval 2的组合香蕉入碗任务的两个部分整合在一处：视觉颜色基础（每个提到颜色的提示在所有六种碗顺序中都有体现，因此模型无法记住“蓝色=0号槽”）和语言覆盖（每个记录的轨迹都与所有解析为实际目标槽的提示短语配对，因此模型看到相同动作以多种表面形式表达，如“红色碗”、“左边第二个”、“不是绿色也不是蓝色”、“蓝色碗右边”等）。机器人：SO-101 follower（so_follower）。规模：1,518个episode，671,081帧，27个任务（提示），30fps。分割：训练集。TsFile表名为so101_eval2_merged_25prompts。字段包括时间戳（毫秒整数）、episode_index、task_index、frame_index、sample_index、动作（action_0至action_5）和观测状态（observation_state_0至observation_state_5）。时间戳在每个episode内重新开始，episode_index和task_index标识TsFile设备。原始时间戳字段被省略，因为Time/1000精确表示。前摄像头流（observation.images.front）是视频，未包含在此仓库中，保留在源视频树中。meta/目录从源镜像而来（包括tasks.parquet与27个提示词汇）。除冗余的时间戳列和排除的视频外，没有源行或数字字段被丢弃。
This dataset is SO101 Eval 2 Merged (TsFile format), a LeRobot v3.0 dataset, created by merging recordings of six bowl orders (gbr, rgb, bgr, brg, grb, rbg) and re-annotating each episode with 27 prompt phrases. The goal is to combine two parts of the Eval 2 combined banana-in-bowl task into one place: visual color grounding (each color-mentioning prompt appears in all six bowl orders, so the model cannot memorize blue=slot 0) and language coverage (each recorded trajectory is paired with all prompt phrases that resolve to the actual target slot, so the model sees the same action expressed in multiple surface forms, such as red bowl, second from left, not green nor blue, to the right of the blue bowl, etc.). Robot: SO-101 follower (so_follower). Size: 1,518 episodes, 671,081 frames, 27 tasks (prompts), 30fps. Split: training. TsFile table name: so101_eval2_merged_25prompts. Fields include timestamp (milliseconds integer), episode_index, task_index, frame_index, sample_index, actions (action_0 to action_5), and observation states (observation_state_0 to observation_state_5). Timestamps restart within each episode, episode_index and task_index identify the TsFile device. The original timestamp field is omitted because Time/1000 is precise. Front camera stream (observation.images.front) is video, not included in this repository, retained in the source video tree. The meta/ directory is mirrored from the source (including tasks.parquet with 27 prompt phrases). No source rows or numeric fields are discarded except redundant timestamp columns and excluded video.
SO101-eval2-merged (TsFile) 数据集详情
基本信息
- 数据集名称：SO101 Eval 2 — Merged (6 bowl orderings × 27 prompts)
- 许可证：Apache-2.0
- 任务类型：机器人学（Robotics）
- 标签：LeRobot、SO-101、VLA、eval2、组合指令、时间序列（TsFile格式）
- 数据模态：时间序列
- 数据规模：100K < 样本数 < 1M
数据集内容与构建
该数据集是 danilodjor/SO101-eval2-merged-25prompts 的 Apache TsFile 版本，属于 LeRobot v3.0 数据集。它通过合并六个基于碗排列顺序的录制数据集（csacan/SO101-eval2-{gbr,rgb,bgr,brg,grb,rbg}）构建，并为每个episode重新标注了包含27条提示词的词汇表。
设计目标
- 视觉颜色接地：所有涉及颜色的提示均覆盖六种碗排列顺序，防止模型记忆“蓝色 = 槽位0”之类的固定映射。
- 语言覆盖：每条轨迹都配对所有能解析到其实际目标槽位的提示表述，使模型在多种表面形式（如“红色碗”、“左起第二个”、“不是绿也不是蓝”、“蓝碗右边”等）下看到相同的运动。
数据规模与硬件
- 机器人：SO-101 跟随者（
so_follower） - 规模：1,518 个episode，671,081 帧，27 个任务（提示词），采样率 30 fps
- 数据划分：train
数据模式（TsFile 结构）
表名：so101_eval2_merged_25prompts
| 角色 | 列名 |
|---|---|
| 时间 | Time（INT64，毫秒） |
| 标签（TAG） | episode_index、task_index |
| 字段（FIELD） | frame_index、sample_index |
| 字段（FIELD） | action_0 至 action_5（FLOAT） |
| 字段（FIELD） | observation_state_0 至 observation_state_5（FLOAT） |
原始6元素 action 和 observation.state 向量被展开为标量FLOAT测量值，源 index 列保留为 sample_index。
转换说明
Time = round(timestamp * 1000)，精度为毫秒；每个episode内时间重新开始，而episode_index和task_index标识TsFile设备。- 原始
timestamp字段因能被Time / 1000精确表示而省略。 - 前置摄像头流（
observation.images.front）为视频数据，不包含在本仓库中，仍保留在源视频树（source videos tree）。 meta/目录从源数据集镜像（包括包含27条提示词词汇表的tasks.parquet）。除冗余的timestamp列和排除的视频外，未删除任何源行或数值字段。
读取示例
python from tsfile import TsFileReader
with TsFileReader("data/so101_eval2_merged_25prompts.tsfile") as reader: print(reader.get_all_table_schemas()["so101_eval2_merged_25prompts"])
来源与许可
- 原始数据集：https://huggingface.co/datasets/danilodjor/SO101-eval2-merged-25prompts
- 作者：danilodjor
- 许可证：Apache-2.0
