grounding-data
收藏资源简介：
grounding_data 是一个汇总的注释数据集，专为 grounding（定位）和分割（segmentation）训练堆栈而设计。它包含来自多个权威数据集的图像注释、视频帧注释以及相关的标签信息，包括掩码、边界框、指代表达式、标题和类别词汇表。数据集总量约为 9,331,994 个文件，总大小约 1.20 TiB，以 255 个 tar 分片的形式存储，分布在 34 个组中。这些组涵盖视频数据（如 ViCaS、SA-FARI、BOSTVG、VIPOSeg）和图像数据（如 Adobe EntitySeg、COCO 2014/2017、GoldG、RF100-VL、COCONut、SA-1B 注释缓存、PixMo 指向缓存、RefCLEF 等），以及多个小规模数据集。数据以文件树形式组织，每个组有对应的索引文件（parquet 格式），支持按路径查找分片以提高访问效率。使用说明包括如何解压所有分片重建原始文件树，以及如何仅下载特定数据集的索引和关联分片。注意：注释中的绝对路径在解压后需要根据实际安装路径进行前缀替换。该数据集是第三方数据集的再分发镜像，并非新数据集，用户必须遵守各上游数据集（如 Adobe 非商业许可等）的许可条款。
grounding_data is a consolidated annotation dataset designed for grounding and segmentation training stacks. It contains image annotations, video frame annotations, and associated label information from multiple authoritative datasets, including masks, bounding boxes, referring expressions, captions, and category vocabularies. The dataset totals approximately 9,331,994 files with a total size of about 1.20 TiB, stored as 255 tar shards distributed across 34 groups. These groups cover video data (e.g., ViCaS, SA-FARI, BOSTVG, VIPOSeg) and image data (e.g., Adobe EntitySeg, COCO 2014/2017, GoldG, RF100-VL, COCONut, SA-1B annotation cache, PixMo pointing cache, RefCLEF, etc.), along with several small-scale datasets. Data is organized in a file tree structure, with each group having corresponding index files (parquet format) that support finding shards by path to improve access efficiency. Usage instructions include how to decompress all shards to reconstruct the original file tree, and how to download only the indices and associated shards of specific datasets. Note: Absolute paths in annotations need to be prefix-replaced based on the actual installation path after decompression. This dataset is a redistribution mirror of third-party datasets, not a new dataset; users must comply with the license terms of each upstream dataset (e.g., Adobe non-commercial license, etc.).
grounding_data 数据集概述
基本信息
- 数据集地址：https://huggingface.co/datasets/royguw/grounding-data
- 名称：grounding_data - annotations and images
- 许可证：other（mixed-upstream-licenses）
- 许可证链接：https://huggingface.co/datasets/royguw/grounding-data#licensing-and-attribution
- 规模：1M < n < 10M
- 数据量：9,331,994 个文件 / 1.20 TiB
- 打包方式：255 个 tar 分片，分布于 34 个分组
任务类别
- image-segmentation
- object-detection
- mask-generation
- image-to-text
标签
- grounding
- referring-expression-segmentation
- video-object-segmentation
- panoptic-segmentation
- grounded-captioning
数据集内容
该数据集是 grounding/分割训练栈背后的标注树，同时包含与之共存的图像和视频帧。与仅含像素的配套数据集 royguw/mm-olmo-images 不同，本仓库包含标注：各数据集 cache/ 目录下的 parquet 缓存、JSON 标签文件和词表，掩码、边界框、指代表达、描述文本和类别词表均存于此。
目录结构
shards/<group>/<group>-00000.tar # 每个约 5 GiB；成员为相对于 grounding_data 根目录的路径 index/<group>.parquet # 路径 -> 分片、大小（用于选择性获取）
采用 tar 分片而非松散文件的原因：Hub 限制每个文件夹 1 万个条目、每个仓库不超过 10 万个文件，而 930 万个松散文件超出这两个限制两个数量级。由于有效载荷是文件树而非表格行，因此不适用数据集查看器。
分组
视频分组命名为 video_data__<dataset>，与树中的 video_data/<dataset>/ 对应。
| 分组 | 分片数 | 大小 | 内容 |
|---|---|---|---|
video_data__ViCaS |
78 | 388.2 GiB | ViCaS 接地视频描述 + 帧 |
video_data__SA-FARI |
37 | 242.2 GiB | SA-FARI 野生动物视频，帧 + masklets |
Adobe_EntitySeg |
38 | 193.9 GiB | EntitySeg 图像 + 标注 |
coco |
25 | 143.2 GiB | COCO 2014/2017 图像、标注、缓存 |
video_data__BOSTVG |
11 | 55.0 GiB | BOSTVG / OmniSTVG + SAM3 掩码 |
GoldG |
12 | 53.0 GiB | GoldG（Flickr30k entities + GQA） |
rf100 |
9 | 43.4 GiB | RF100-VL |
coconut |
10 | 41.7 GiB | COCONut 全景 PNG + 缓存 |
video_data__VIPOSeg |
4 | 17.7 GiB | VIPOSeg 帧 + panomasks |
SA-1B |
4 | 17.1 GiB | SA-1B 标注缓存（不含图像） |
pixno_points |
3 | 9.9 GiB | PixMo pointing 缓存 |
refclef |
2 | 5.6 GiB | RefCLEF / saiapr_tc-12 |
| 其余 22 个 | 各 1 | 约 14 GiB | reasonseg、lvis、manual_annotation、refcoco/+/g、grefcoco、panoptic-narrative-grounding、PhraseCutDataset、pixmo、VidSTG 及小型视频缓存 |
重建文件树
bash hf download royguw/grounding-data --repo-type dataset --local-dir ./dl GD=/your/path/to/grounding_data for t in ./dl/shards//.tar; do tar -xf "$t" -C "$GD"; done
仅拉取单个数据集时，读取其索引并只获取它引用的分片：
python import pyarrow.parquet as pq from huggingface_hub import hf_hub_download
idx = pq.read_table(hf_hub_download("royguw/grounding-data", "index/coco.parquet", repo_type="dataset")).to_pydict() for shard in dict.fromkeys(idx["shard"]): hf_hub_download("royguw/grounding-data", shard, repo_type="dataset")
索引也是在不下载全部内容的情况下查找单个文件的方式：查询其路径，即可获知需要获取的唯一分片。
路径说明
标注 parquet 在 image_path、png_path、frames_dir 等列中存储绝对源路径。解压后必须将这些前缀重写为数据实际存放位置。会出现两种前缀：
- grounding_data 根目录下的路径 ->
$GD mm-olmo/下的路径 -> 解压 royguw/mm-olmo-images 的位置
视频帧列表以无扩展名的词干存储在 frame_basenames_json 中，依据目录列表解析；当该列缺失时，帧为 f"{i:05d}"，其中 i in range(num_frames)。
许可与归属
这是为可复现性而组装的第三方数据集再分发镜像，并非新数据集，且不对底层图像、视频帧或上游标注主张任何新许可证。
各分组携带不同的上游许可证——部分仅限研究或非商业用途（例如 EntitySeg 为 Adobe 非商业许可），部分要求在使用前接受上游条款。使用任何分组前请检查其许可证并遵守。 若您是此处上游数据集的作者或权利人并希望移除某子集，请在本仓库开启讨论，相关内容将被下架。
