PFP_datasets
收藏资源简介：
Paper Folding Puzzles（PFP）是一个全面的基准测试，旨在评估和增强多模态大语言模型在空间推理方面的能力。该数据集系统地涵盖了五种不同的任务类型，从基础的单步变换到复杂的3D空间可视化，为评估AI系统的空间智能提供了一个严格的框架。数据集包含153,000个精心挑选的样本，其中150,000个用于训练，3,000个用于测试。3D折叠和2D展开类别中还包括简单和困难的子级别，以便更精细地评估模型能力。数据集采用parquet格式，每个实例包含图像路径和正确答案选项。
Paper Folding Puzzles (PFP) is a comprehensive benchmark designed to evaluate and enhance the spatial reasoning capabilities of multimodal large language models. This dataset systematically covers five distinct task types, ranging from basic single-step transformations to complex 3D spatial visualization, providing a rigorous framework for assessing the spatial intelligence of AI systems. The dataset contains 153,000 carefully selected samples, of which 150,000 are allocated for training and 3,000 for testing. Categories of 3D folding and 2D unfolding also include simple and difficult sub-levels to enable more fine-grained evaluation of model capabilities. The dataset is stored in parquet format, with each instance containing an image path and the correct answer options.
Paper Folding Puzzles (PFP) 数据集概述
数据集基本信息
- 数据集名称：Paper Folding Puzzles (PFPdatasets)
- 任务类别：问答
- 主要语言：英语
- 标签：代码
- 许可证：Apache-2.0
- 数据规模：100K < n < 1M
数据集简介
Paper Folding Puzzles (PFP) 是一个用于评估多模态大语言模型空间推理能力的综合性基准。该基准旨在解决模型在理解几何变换和空间关系方面的局限性，特别是在纸张折叠场景中。它系统性地涵盖了五种不同的任务类型，从基本的单步变换到复杂的三维空间可视化，为评估人工智能系统的空间智能提供了一个严格的框架。
数据集亮点
- 多维度的空间推理基准：系统性地涵盖五种关键任务类型——单步折叠、逆向折叠、多步折叠、三维折叠和二维展开，以解决空间智能的不同方面。
- 规模全面：包含153,000个精心策划的样本，其中150,000个训练样本和3,000个测试样本，确保在所有任务类别上进行稳健的评估。
- 结构化难度等级：在三维折叠和二维展开类别中包含简单和困难的子级别，支持对模型能力进行细粒度评估。
- 标准化格式：数据集使用Parquet格式和一致的JSON结构，便于与现有的多模态大语言模型框架无缝集成。
数据集结构
数据集目录结构如下：
PFP_dataset/ ├── train/ │ ├── Single-Step.parquet │ ├── Inverse.parquet │ ├── Multi-Step.parquet │ ├── 3D-Folding/ │ │ ├── _2DTo3D_N.parquet │ │ └── _2DTo3D_Y.parquet │ └── 2D-Unfolding/ │ ├── _3DTo2D_N.parquet │ └── _3DTo2D_Y.parquet └── test/ ├── Single-Step.parquet ├── Inverse.parquet ├── Multi-Step.parquet ├── 3D-Folding.parquet └── 2D-Unfolding.parquet
数据实例与字段
每个数据实例包含以下字段： json { "image": "circle_001.png", "answer": "D" }
- image：一个字符串，包含纸张折叠谜题图像的相对路径（例如："circle_001.png"）。
- answer：一个字符串，表示正确答案选项（A、B、C或D）。
快速开始
加载数据集
python from datasets import load_dataset
加载整个数据集
dataset = load_dataset("hznuer/PFP_datasets")
或加载特定拆分
train_dataset = load_dataset("hznuer/PFP_datasets", split="train") test_dataset = load_dataset("hznuer/PFP_datasets", split="test")
加载特定任务类型
single_step_data = load_dataset("hznuer/PFP_datasets", "Single-Step")
基本使用示例
python
处理数据集的示例
dataset = load_dataset("hznuer/PFP_datasets", split="train")
for sample in dataset: image_path = sample["image"] correct_answer = sample["answer"] # 在此处理您的纸张折叠谜题
引用
如果觉得Paper Folding Puzzles有帮助，请考虑引用以下论文： latex @inproceedings{zhou2026paperfolding, title={Paper Folding Puzzles: A Benchmark for Evaluating Spatial Reasoning in Multimodal Large Language Models}, author={Zhou, Dibin and Xu, Yantao and Huang, Zongming and Yan, Zengwei and Liu, Wenhao and Miao, Yongwei and Ren, Jianfeng and Liu, Fuchang}, booktitle={Proceedings of the AAAI Conference on Artificial Intelligence}, year={2026} }
作者
Dibin Zhou, Yantao Xu, Zongming Huang, Zengwei Yan, Wenhao Liu, Yongwei Miao, Jianfeng Ren, Fuchang Liu
所属机构：杭州师范大学信息科学与技术学院 & 宁波诺丁汉大学计算机科学学院数字港口技术实验室
联系方式
有关此数据集的问题或疑问：
- 在GitHub仓库提交问题：https://github.com/hznuer/PFP_bench
- 通过论文通讯作者联系作者
