SpelkeBench

SpelkeBench是一个包含500张图像和相关分割注释的数据集，用于评估模型提取Spelke segments的能力。与传统的分割定义不同，Spelke segments提供了一种基于物理世界中物体运动方式的类别无关的分割概念。

SpelkeBench is a dataset containing 500 images and their associated segmentation annotations, designed to evaluate models' ability to extract Spelke segments. Unlike traditional segmentation definitions, Spelke segments provide a category-agnostic segmentation concept based on the movement patterns of objects in the physical world.

原始信息汇总

SpelkeNet 数据集概述

数据集基本信息

• 数据集名称: SpelkeBench
• 数据量: 500张图像
• 数据类型: 图像及分割标注
• 数据格式: .h5文件
• 下载方式: 运行sh scripts/download_spelke_bench.sh命令

数据集内容

• 图像数据: 输入图像
• 标注数据:
  • segments_gt: 地面真实Spelke分割
  • poke_location: 虚拟戳点的位置

数据集特点

• 分割类型: Spelke分割
• 分割特点: 基于物理世界中物体一起移动的概念，类别无关

评估指标

• 平均召回率(AR): 0.5411 (SpelkeNet)
• 平均交并比(mIoU): 0.6811 (SpelkeNet)

相关模型

• SpelkeNet: 用于发现Spelke分割的模型
  • 关键结构提取:
    • 运动可能性图
    • 预期位移图
  • 模型版本:
    • 1B参数模型 (model_1B.pt)
    • 7B参数模型 (model_7B.pt)

应用场景

• 3D编辑评估:
  • 使用3DEditBench数据集
  • 支持SAM、SpelkeNet和地面真实分割
  • 评估指标包括MSE、PSNR、LPIPS、SSIM和EA

引用信息

bibtex @misc{venkatesh2025discoveringusingspelkesegments, title={Discovering and using Spelke segments}, author={Rahul Venkatesh and Klemen Kotar and Lilian Naing Chen and Seungwoo Kim and Luca Thomas Wheeler and Jared Watrous and Ashley Xu and Gia Ancone and Wanhee Lee and Honglin Chen and Daniel Bear and Stefan Stojanov and Daniel Yamins}, year={2025}, eprint={2507.16038}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2507.16038}, }

搜集汇总

数据集介绍

构建方式

SpelkeBench数据集的构建基于500张图像及其对应的分割标注，旨在评估模型提取Spelke片段的能力。Spelke片段是一种基于物体在物理世界中协同运动的类别无关分割定义。数据集以.h5文件格式存储，每张图像包含输入图像、真实Spelke片段标注以及虚拟戳点的位置信息。构建过程中，研究人员通过统计反事实探测方法，结合运动相关性分析，确保标注的准确性和一致性。

特点

SpelkeBench数据集的核心特点在于其独特的Spelke片段定义，突破了传统分割任务的类别限制，专注于物体在物理世界中的运动一致性。数据集提供了丰富的标注信息，包括运动可能性图和预期位移图，为模型训练和评估提供了多维度的参考依据。此外，数据集的规模适中，覆盖了多样化的场景，确保了评估的全面性和可靠性。

使用方法

使用SpelkeBench数据集时，研究人员可通过提供的脚本直接下载数据集，并利用配套的评估工具进行模型测试。数据集支持单张图像或批量图像的推理，用户需实现特定的模型接口以兼容评估框架。对于大规模评估，数据集支持多节点并行计算，显著提高了效率。评估结果包括平均召回率和平均交并比等关键指标，为模型性能提供了量化依据。

背景与挑战

背景概述

SpelkeBench数据集由斯坦福大学神经人工智能实验室（NeuroAI Lab）联合OpenAI和Noetik, Inc.的研究团队于2025年创建，旨在为评估模型提取Spelke片段的能力提供基准。该数据集包含500张带有分割标注的图像，其核心创新在于提出了一种基于物理世界运动一致性的类别无关分割定义，突破了传统语义分割的范畴。研究团队通过构建SpelkeNet模型，首次将认知科学家Elizabeth Spelke提出的核心知识理论中的物体感知原则（即人类婴儿通过运动一致性识别物体的机制）转化为可计算的视觉表征，为计算机视觉与认知科学的交叉研究开辟了新范式。该数据集对理解机器如何模拟人类基础认知能力具有重要意义，已推动三维场景理解、物理推理等领域的算法革新。

当前挑战

SpelkeBench数据集面临双重挑战：在领域问题层面，传统分割方法难以捕捉物理运动一致性这一抽象特征，现有模型在运动相关性建模和跨场景泛化方面表现欠佳，其平均召回率（0.541）和交并比（0.681）仍存在提升空间；在构建层面，标注过程需模拟虚拟作用力下的物体运动响应，涉及复杂的光流估计与物理动力学仿真，标注一致性受限于作用力参数的选择。此外，数据规模受三维物理仿真成本制约，当前500张图像的覆盖度尚不足以全面反映真实世界的物理交互场景，这对模型的迁移学习能力提出了更高要求。

常用场景

经典使用场景

在计算机视觉领域，SpelkeBench数据集为研究者提供了一个独特的评估平台，专门用于测试模型在提取Spelke segments方面的能力。Spelke segments是一种基于物体在物理世界中协同运动的类别无关的分割概念，不同于传统的语义分割方法。该数据集通过500张带有分割标注的图像，使研究者能够系统地评估模型在理解物体物理运动特性方面的表现。经典使用场景包括模型在虚拟戳刺（virtual poke）条件下的分割性能测试，以及对比不同模型在运动相关性分割任务中的优劣。

衍生相关工作

SpelkeBench数据集的推出催生了一系列相关研究，尤其是围绕SpelkeNet模型的扩展工作。例如，研究者利用该数据集开发了更高效的虚拟戳刺算法，以优化运动相关性分割的精度。此外，一些工作将Spelke segments与传统的语义分割方法结合，提出了混合分割框架，以兼顾语义和运动信息。数据集的评估结果也激发了针对运动相关性分割的新型损失函数和网络架构的设计，进一步推动了这一领域的技术进步。

数据集最近研究

最新研究方向

SpelkeBench数据集作为计算机视觉领域的新型基准测试工具，其最新研究聚焦于物理启发的无类别物体分割范式。该数据集通过模拟现实世界中的物体运动关联性，为模型提供了超越传统语义分割的评估维度。当前前沿探索主要围绕SpelkeNet架构展开，该网络通过流场补全和虚拟探针技术，实现了对物理运动一致性区域的自动识别。在三维场景编辑任务中，基于Spelke分割的方法在MSE（0.009）、PSNR（21.64）等关键指标上显著优于传统SAM分割，这为机器人操作、增强现实等需要物理合理性判断的应用场景提供了新的技术路径。相关研究已与3DEditBench等三维编辑基准形成协同创新生态，推动着从静态识别到动态物理推理的范式转变。