PhoPile

PhoPile是一个高质量的物理奥林匹克竞赛数据集，包含2019年至2021年的390个奥林匹克物理问题，以及作为外部检索数据库的2662个早期问题。数据集设计用于评估检索增强生成（RAG）在解决奥林匹克级别物理问题方面的性能。PhoPile包含了图表、图形和方程，捕捉了物理问题解决的固有多模态性质。该数据集旨在解决当前基础模型在解决复杂物理问题方面的局限性，通过检索增强来提高模型的性能。PhoPile is a high-quality physics Olympiad dataset. It contains 390 physics Olympiad problems spanning 2019 to 2021, as well as 2662 earlier problems serving as an external retrieval database. This dataset is designed to assess the performance of retrieval-augmented generation (RAG) in solving Olympiad-level physics problems. PhoPile incorporates diagrams, graphs and equations, capturing the inherent multimodal characteristics of physics problem-solving. It aims to mitigate the limitations of current foundation models when tackling complex physics problems, and enhance model performance through retrieval augmentation.

搜集汇总

数据集介绍

构建方式

PhoPile数据集的构建遵循严谨的多模态采集流程，涵盖国际物理奥林匹克竞赛等七大权威赛事的公开题目。通过文本清洗去除历史背景与评分标准等冗余信息，保留核心物理问题描述；数学公式采用LaTeX标准化编码，图像内容通过OCR技术转化为结构化文本，并标注###img_n###定位符。数据按时间划分为评估集（2019-2021年390题）与检索库（1967-2018年2662题），以JSON格式存储层次化问题结构与多解方案，确保数据的一致性与可扩展性。

特点

该数据集突出体现物理问题解决的多模态本质，32%的题目包含图像、图表与方程混合内容，完整还原真实竞赛场景。其题目难度覆盖从基础概念到奥赛高级推理，兼具文本与视觉信息的协同表达。独特之处在于构建了跨年份的知识关联网络，历年试题共享相似物理概念与解题策略，为检索增强生成模型提供丰富的语义关联基础。评估框架支持数值、符号与图解等多形式答案的自动化评分，突破传统文本基准的局限性。

使用方法

使用者可通过检索-生成框架调用该数据集，首先利用BM25或稠密检索器从历史题库中提取相似题目与参考答案，构建上下文示例。生成阶段将检索结果与目标问题共同输入大语言模型或视觉语言模型，采用反射机制对比有无检索的答案质量以提升鲁棒性。评估时采用LLM-as-Judge框架，依据标准答案对生成内容进行0-10分步进式评分，支持整体与分步推理的双重检验，适用于零样本学习、微调及多模态推理研究的全流程验证。

背景与挑战

背景概述

PhoPile数据集由悉尼科技大学、埃因霍温理工大学等机构的研究团队于2025年创建，旨在系统评估检索增强生成技术在奥林匹克级物理问题解决中的能力。该数据集聚焦于物理推理的核心挑战，通过整合国际物理奥林匹克竞赛等权威赛事的390道多模态问题，涵盖图表、公式与文本，填补了现有科学数据集在高级物理推理评估上的空白，为探索基础模型在复杂科学问题中的知识整合与逻辑推导能力提供了关键基准。

当前挑战

PhoPile需解决物理问题多模态表征与自动评分的双重挑战：其一，问题涉及图像、公式与文本的协同解析，要求模型具备跨模态语义对齐能力；其二，构建过程中需克服数据标准化难题，包括公式LaTeX化、图像语义标注及层次化问题结构的统一表示。此外，通用检索器在物理领域的语义匹配偏差易引入噪声，而答案形式的多样性（如数值解、符号推导）进一步增加了评估框架设计的复杂性。

常用场景

经典使用场景

在物理学竞赛研究领域，PhoPile数据集作为首个面向奥林匹克级别物理问题的多模态检索增强生成基准，其经典应用场景聚焦于评估基础模型在复杂物理推理任务中的表现。该数据集通过整合文本、图表与公式等多元信息，模拟真实物理问题求解环境，为研究者提供了系统分析检索机制对模型物理概念理解能力影响的实验平台。

衍生相关工作

该数据集催生了系列创新性研究，包括基于CLIP架构的多模态检索优化、面向物理领域的专用检索器开发，以及融合反射机制的噪声过滤框架。这些衍生工作不仅拓展了跨模态表示学习的技术边界，更推动了如物理概念图谱构建、解题路径自动生成等交叉研究方向的发展，形成持续演进的技术生态。

数据集最近研究

最新研究方向

在物理奥林匹克竞赛问题求解领域，PhoPile数据集推动了检索增强生成技术的前沿探索。该数据集通过整合多模态物理问题，系统评估了基础模型在复杂物理推理中的表现。当前研究聚焦于优化检索机制与生成模型的协同效率，针对噪声干扰和跨模态对齐等挑战提出创新解决方案。热点方向包括开发领域专用检索器以提升语义相关性，以及利用反射机制增强模型抗干扰能力。这些进展显著提升了人工智能在高级物理教育和技术应用中的实用价值，为科学推理系统的未来发展奠定了重要基础。

相关研究论文

• Benchmarking Foundation Models with Retrieval-Augmented Generation in Olympic-Level Physics Problem Solving

  悉尼科技大学、埃因霍温理工大学、利物浦大学、新南威尔士大学 · 2025年