setground-kilogram-tasks

SetGround KiloGram 元数据是一个面向 KiloGram 自然 whole/part 标注的元数据数据集，README 元信息显示其语言为英语，任务类别为 other，仓库许可为 MIT。该数据集只包含 KiloGram 自然 whole/part 标注的无身份字段投影、来源校验和划分盘点；不包含图像、参与者 ID、时间或操作轨迹，也不包含本项目训练模型或交互收益结果。上游来源为 lil-lab/kilogram 仓库（版本 f2cd80201eedc5f4882bd88ba32de39195d9e9f3）及论文 arXiv:2211.16492。上游 README 明确：除 Tangram 图像外采用 MIT；版权及许可全文随 SOURCE_README.md 保留。图像来自书籍扫描件，另受教育科研用途说明约束，因此不能将本仓库 MIT 标签套用于图像。数据快照为 snapshots/2026-10-24-source-inventory-v1。annotations.jsonl.gz 逐行包含 source（full/dense）、shape、annotation_index、whole、part（七个 polygon ID 到自然部件名）等字段。full 和 dense 两个来源分别保留，重复标注不合并，不应简单相加当作独立样本。splits.json 保存官方旧 ID 划分与官方 documented_aliases，不提供重新划分。summary.json 保存来源 blob/SHA256、完整计数、冲突、成本与源码绑定；config.json 固定五个源文件。SOURCE_README.md 和 DATASET_README.md 为原版许可/数据说明。当前 full 为 1013 个形状、10173 条标注；dense 为 74 个形状、3971 条标注。旧 split 有 1016 个 ID，按官方别名合并后为 1013 个；跨 split 组件为 0 个，具体列表见 summary。README 指出计数不证明视觉独立性、候选组内歧义或追问收益。复现方面，代码位于 Git 仓库，inventory 源码版本为 83c8091，发布源码版本为 36db885c1e785733f43592d4a6eef81711e253b3。可使用 Python 3.10 标准库运行 python code/audit_kilogram_inventory.py --config code/configs/kilogram_inventory.json --output <persistent-output> --code-revision 83c8091。上游 JSON 只在内存中读取，输出是字段白名单投影；完整原始文件不在快照中。固定来源与新输出的 SHA256 见 summary，所有发布文件按此次不可变 HF revision 回下载校验。本轮无图像下载、VLM 调用、学习策略评测或 RL 训练。拟研究多个目标共享候选且受询问成本约束的匹配；本数据本身仍是静态标注，而不是反事实回答环境。SetGround KiloGram metadata is a metadata dataset for KiloGram natural whole/part annotations. According to the README metadata, its language is English, task category is other, and repository license is MIT. The dataset only contains identity-free field projections of KiloGram natural whole/part annotations, source verification, and split inventory; it does not include images, participant IDs, time or operation traces, nor trained models or interaction benefit results from this project. Its upstream source is the lil-lab/kilogram repository (version f2cd80201eedc5f4882bd88ba32de39195d9e9f3) and paper arXiv:2211.16492. The upstream README states that MIT applies except for Tangram images; the full copyright and license text is retained in SOURCE_README.md. Images come from book scans and are also constrained by an educational/scientific-use statement, so this repositorys MIT label must not be applied to images. The data snapshot is snapshots/2026-10-24-source-inventory-v1. annotations.jsonl.gz contains line-by-line fields including source (full/dense), shape, annotation_index, whole, part (seven polygon IDs to natural part names). The full and dense sources are retained separately; duplicate annotations are not merged and should not simply be added as independent samples. splits.json stores the official old ID splits and official documented_aliases, and does not provide re-splits. summary.json stores source blob/SHA256, complete counts, conflicts, cost, and source-code binding; config.json fixes five source files. SOURCE_README.md and DATASET_README.md are the original license/data documentation. Currently full has 1013 shapes and 10173 annotations; dense has 74 shapes and 3971 annotations. The old split has 1016 IDs, which become 1013 after merging by official aliases; cross-split components are 0, with details in summary. The README notes that counts do not prove visual independence, intra-candidate-group ambiguity, or follow-up benefit. For reproduction, code is in the Git repository, inventory source version is 83c8091, and release source version is 36db885c1e785733f43592d4a6eef81711e253b3. It can be run with Python 3.10 standard library using python code/audit_kilogram_inventory.py --config code/configs/kilogram_inventory.json --output <persistent-output> --code-revision 83c8091. Upstream JSON is read only in memory, and output is a field whitelist projection; the complete original files are not in the snapshot. SHA256 values of fixed sources and new outputs are in summary, and all released files are verified by downloading back at this immutable HF revision. This round has no image download, VLM calls, learning-strategy evaluation, or RL training. It is intended to study matching where multiple targets share candidates and are constrained by query costs; this data itself remains static annotations, not a counterfactual answer environment.

原始信息汇总

SetGround KiloGram元数据

基本信息

• 数据集页面：https://huggingface.co/datasets/gavinlaw/setground-kilogram-tasks
• 许可证：mit
• 语言：en
• 任务类别：other

范围说明

• 只包含KiloGram自然whole/part标注的无身份字段投影、来源校验和划分盘点。
• 不包含图像、参与者ID、时间或操作轨迹。
• 不包含本项目训练模型或交互收益结果。

来源与许可

• 上游：https://github.com/lil-lab/kilogram/tree/f2cd80201eedc5f4882bd88ba32de39195d9e9f3
• 论文：https://arxiv.org/abs/2211.16492
• 上游README明确：除Tangram图像外采用MIT；版权及许可全文随SOURCE_README.md保留。
• 图像来自书籍扫描件，另受教育科研用途说明约束，不能将本仓库MIT标签套用于图像。

文件与Schema

• 快照：snapshots/2026-10-24-source-inventory-v1
• annotations.jsonl.gz：逐行字段source(full/dense)、shape、annotation_index、whole、part(七个polygon ID到自然部件名)。
• 两个来源分别保留，full和dense内重复标注不合并，不应简单相加当独立样本。
• splits.json：保存官方旧ID划分与官方documented_aliases；不提供重新划分。
• summary.json：保存来源blob/SHA256、完整计数、冲突、成本与源码绑定。
• config.json：固定五个源文件。
• SOURCE_README.md和DATASET_README.md：原版许可／数据说明。

计数与划分

• 当前full：1013形状／10173标注。
• 当前dense：74形状／3971标注。
• 旧split：有1016 ID，按官方别名合并后1013个。
• 跨split组件：0个，具体列表见summary。
• 计数不证明视觉独立性、候选组内歧义或追问收益。

复现

• Git：https://github.com/luojiaxuan/cvpr-multimodal-evidence
• inventory源码：83c8091
• 发布源码：36db885c1e785733f43592d4a6eef81711e253b3
• Python3.10标准库：python code/audit_kilogram_inventory.py --config code/configs/kilogram_inventory.json --output <persistent-output> --code-revision 83c8091
• 上游JSON只在内存中读取，输出是字段白名单投影；完整原始文件不在快照。
• 固定来源与新输出的SHA256见summary，所有发布文件按此次不可变HF revision回下载校验。
• 本轮无图像下载、VLM调用、学习策略评测或RL训练。
• 拟研究多个目标共享候选且受询问成本约束的匹配；本数据本身仍是静态标注，而不是反事实回答环境。

搜集汇总

数据集介绍

构建方式

在视觉语言 grounding 与部件级语义解析领域，setground-kilogram-tasks 的构建立足于对上游 KiloGram 标注的不可变元数据投影。其从特定上游提交提取 whole/part 自然标注，经字段白名单筛选仅保留 source、shape、annotation_index、whole、part 等无身份字段，并形成 snapshots/2026-10-24-source-inventory-v1 快照。构建过程中 full 与 dense 两来源分别保留，重复标注不予合并；splits.json 固化官方旧 ID 划分与 documented_aliases，summary.json 记录来源 blob/SHA256、计数、冲突、成本及源码绑定，config.json 固定五个源文件。复现依赖 Python3.10 标准库脚本与固定代码修订，输出经 SHA256 回下载校验。

特点

作为面向自然 whole/part 标注的静态元数据集合，该数据集呈现出无图像、无参与者身份、无时间与操作轨迹的字段投影特征。当前 full 含 1013 个形状与 10173 条标注，dense 含 74 个形状与 3971 条标注；旧 split 的 1016 个 ID 经官方别名合并后为 1013 个，跨 split 组件为 0。part 字段以七个 polygon ID 映射自然部件名，splits.json 保留官方旧 ID 划分与 documented_aliases，不提供重新划分。summary.json 保存完整计数、冲突、成本与源码绑定，许可方面除 Tangram 图像外采用 MIT，但图像另受教育科研用途约束。

使用方法

对于受询问成本约束且涉及多个目标共享候选的匹配研究，该数据集可用于加载 annotations.jsonl.gz 并按 source 区分 full 与 dense，避免将两来源内重复标注简单相加为独立样本。splits.json 提供官方旧 ID 划分与 documented_aliases，应据此合并 ID，而不应自行重新划分。summary.json 用于校验来源 SHA256、计数与源码绑定，config.json 固定源文件。复现可运行 Python3.10 标准库命令 python code/audit_kilogram_inventory.py --config code/configs/kilogram_inventory.json --output <persistent-output> --code-revision 83c8091。需注意本数据仍为静态标注，而非反事实回答环境，且不涉及图像下载、VLM 调用或 RL 训练。

背景与挑战

背景概述

自然图像部件标注作为连接视觉感知与结构化推理的重要资源，长期服务于部件发现、组合泛化与多模态证据匹配等研究。SetGround KiloGram元数据源自lil-lab维护的KiloGram项目及论文arXiv:2211.16492，其快照标注为2026-10-24-source-inventory-v1，由公开仓库luojiaxuan/cvpr-multimodal-evidence发布。该资源以无身份字段投影方式保存自然whole/part标注、来源校验与官方划分盘点，核心关切在于多个目标共享候选且受询问成本约束的匹配问题。其价值在于为相关多模态与交互式学习研究提供可复现、可审计的静态标注元数据，同时严格区分图像版权边界，避免将MIT标签扩张至书籍扫描图像。

当前挑战

面向自然部件标注的领域难题在于whole/part语义粒度不一、候选部件共享与组内歧义并存，且full与dense两类来源的重复标注不可简单合并，官方旧ID经别名归并后仍存在划分一致性校验需求。构成本快照的过程亦受限于身份字段剥离、来源blob与SHA256校验、许可边界维护以及不可重分发图像等约束，数据仅含投影字段与静态标注，不提供反事实回答环境、VLM调用、学习策略评测或RL训练结果。因此，如何在不引入视觉独立性强假设的前提下评估候选共享与询问成本约束下的匹配，并保持跨来源、跨划分统计的透明性与可复现性，构成该数据集当前的核心挑战。

常用场景

经典使用场景

在视觉认知与多模态基准研究脉络中，KiloGram类资源常被视为探究整体—部件关系的经典素材。setground-kilogram-tasks以无身份字段投影保留自然whole/part标注，将七个polygon ID映射至自然部件名，并分列full与dense两源。其经典用法是在不加载参与者信息、时间与轨迹的前提下，结合上游图像进行部件语义识别、整体与部件一致性检验、候选组共享分析及标注别名盘点；研究者亦可据此构建部件级标签、复核跨来源重复标注，并为形状拼合与组合式视觉推理提供可审计的静态标注基础。

衍生相关工作

围绕该数据集形成的相关工作，以上游KiloGram基准论文arXiv:2211.16492及其Tangram视觉拼合传统为核心，后续研究多沿整体—部件标注、自然部件命名与多模态证据获取展开。setground-kilogram-tasks的inventory复现绑定cvpr-multimodal-evidence仓库与固定源码revision，推动来源校验、字段白名单投影和不可变发布实践。由此衍生的经典方向包括部件级视觉识别、组合式形状推理、多目标候选匹配与询问成本约束下的证据策略评测；这些工作共同强化了whole/part研究的可复现性与审计规范。

数据集最近研究

最新研究方向

在细粒度视觉语言理解与交互式指代消歧持续升温的背景下，setground-kilogram-tasks以KiloGram自然whole/part标注的无身份字段投影、来源校验与划分盘点，为相关研究提供了可复现的静态证据底座。其最新方向指向多个目标共享候选且受询问成本约束的匹配问题，试图将whole-part自然部件标注用于候选区分与证据组织，同时严格区分full与dense来源、避免重复标注简单相加，并借助官方别名合并和跨split组件核验评估潜在泄漏。该数据不包含图像、参与者轨迹或反事实回答环境，故前沿工作更侧重成本敏感匹配的基准设计、许可边界审计及多模态证据接口的可检验性，对细粒度grounding与交互式消歧研究具有基础支撑意义。