robointer-skill-annotations
收藏资源简介：
RoboInter原子技能片段标注数据集（AutoMark）是一个专门针对机器人操作视频的原子技能片段标注数据集，由AutoMark项目整理。该数据集基于InternRobotics/RoboInter-Data数据集派生，但仅包含标注信息，不包含原始视频文件。每个机器人操作片段被分割为原子原始技能区间（如拾取、放置、倾倒），并配有以秒为单位对齐的时间戳和动词(对象)风格的目标调用描述，覆盖15个标签的RoboInter原始技能分类法。数据集规模包含235,880个片段（主/外部摄像头）和758,397个原子技能片段标注，源帧率为10.0 FPS。技能分类法包括：转移、拾取、放置、按压、推、拉、扭转、倾倒、折叠、滑动、插入、摇晃、敲击、抛掷、操纵。数据集文件包括完整的文件夹标注文件（annotation.json）、用于技能/调用预测的文本评估行（qwen/text.jsonl）、包含视频路径的视觉烟雾测试子集（qwen/visual_smoke_1024.jsonl）以及构建报告（qwen/report.json）。该数据集适用于机器人技能分割、视频理解、技能识别等任务，采用CC BY-NC-SA 4.0许可，仅限非商业使用。
RoboInter Atomic Skill Segment Annotation Dataset (AutoMark) is a specialized annotation dataset for atomic skill segments in robot manipulation videos, curated by the AutoMark project. Derived from the InternRobotics/RoboInter-Data dataset, this dataset only contains annotation information and excludes the original video files. Each robot manipulation segment is divided into atomic raw skill intervals such as picking, placing, pouring, and paired with second-aligned timestamps and verb-(object) style goal invocation descriptions, covering the 15-label RoboInter raw skill taxonomy. The dataset includes 235,880 segments (main/external cameras) and 758,397 atomic skill segment annotations, with a source frame rate of 10.0 FPS. The skill taxonomy includes: transfer, pick, place, press, push, pull, twist, pour, fold, slide, insert, shake, tap, throw, manipulate. The dataset files consist of the complete folder annotation file (annotation.json), text evaluation lines for skill/goal prediction (qwen/text.jsonl), a visual smoke test subset containing video paths (qwen/visual_smoke_1024.jsonl), and a construction report (qwen/report.json). This dataset is applicable to tasks including robot skill segmentation, video understanding, and skill recognition, and is licensed under CC BY-NC-SA 4.0 for non-commercial use only.
数据集概述
RoboInter Atomic-Skill Segment Annotations (AutoMark) 是一个仅包含标注信息的数据集，由 AutoMark 项目整理，用于机器人操作视频的原子技能片段分割。
核心信息
- 数据集规模：包含 235,880 个视频片段（主摄像机/外部摄像机），共计 758,397 条原子技能片段标注。
- 技能标签：采用 RoboInter 原始技能分类体系，共 15 种标签：
transfer, pick, place, press, push, pull, twist, pour, fold, slide, insert, shake, strike, throw, manipulate。 - 时间精度：源视频帧率为 10.0 FPS，标注时间戳精确到秒级别。
文件结构
| 文件名 | 说明 |
|---|---|
annotation.json |
完整数据集标注文件，包含顶级元数据（技能分类、帧率、计数）和 videos[] 列表。每个视频包含 file_name、fps、source（droid / rh20t）、source_member_path 以及 annotations[] 列表。每条标注包含 start、end、frame_start、frame_end、skill、call（verb(args) 格式）和 text。 |
qwen/text.jsonl |
758,397 行纯文本评估数据，每行对应一个技能片段，包含 text、gt_skill、target_call、allowed_skills 和 prompt。 |
qwen/visual_smoke_1024.jsonl |
1,024 行的视觉烟雾测试子集，增加了相对路径 video_path（video/<video_id>.mp4），用于与单独获取的视频文件对应。 |
qwen/report.json |
构建报告，包含行数和技能分类计数。 |
数据来源与许可
- 来源：标注源自 RoboInter-Data（访问需接受其社区许可和隐私政策），该数据集基于 DROID 和 RH20T 构建。
- 许可协议：CC BY-NC-SA 4.0（非商业用途，衍生作品需采用相同许可，需注明 RoboInter、DROID 和 RH20T 出处）。
重要提示
- 本数据集仅包含标注信息，不包含原始视频。
file_name/video_path字段是 RoboInter 视频标识符，并非重新分发的媒体文件。若需获取实际.mp4视频，需单独申请访问 RoboInter-Data 并使用 AutoMark 导出的脚本重建。
