miemiebabu/PhysCoT

# PhysCoT: Physics Chain-of-Thought Reasoning Dataset Large-scale dataset for training VLMs on physics reasoning with step-by-step solutions. ## Current Size - Train: 1,887 entries (v0.1 — ScienceQA + MMMU physics) - Val: 209 entries - Scaling to 100K with GPT-4o distillation ## Sources - ScienceQA physics (elementary level, with images) - MMMU Physics (university level, with images) - More sources coming: SciBench, OlympiadBench, GPT-4o generated ## Baseline Results (PhyX testmini) - Qwen2.5-VL-7B (zero-shot): **37.0%** - GPT-4o (reported): 32.5% - GPT-5 (reported): 65.2% ## Format JSONL with fields: - : path to image file - : [{from: human, value: question}, {from: gpt, value: CoT solution}] - : {source, difficulty, domain} ## License Apache 2.0# PhysCoT：物理思维链（Chain-of-Thought, CoT）推理数据集 面向视觉语言模型（Vision-Language Model, VLM）训练的大规模物理推理数据集，配套提供分步解题过程。 ## 当前规模 - 训练集（v0.1版本）：1887条数据，源自ScienceQA物理题子集与MMMU物理题子集 - 验证集：209条数据 - 计划通过GPT-4o蒸馏将数据规模扩展至10万条 ## 数据来源 - ScienceQA物理题子集：面向初等教育阶段，配套图像素材 - MMMU物理题子集：面向高等教育阶段，配套图像素材 - 后续将新增数据源：SciBench、OlympiadBench及GPT-4o生成的数据集内容 ## 基准测试结果（基于PhyX testmini测试集） - Qwen2.5-VL-7B（零样本（zero-shot））：**37.0%** - GPT-4o（公开报告值）：32.5% - GPT-5（公开报告值）：65.2% ## 数据格式 采用JSONL格式，各字段说明如下： - 图像路径字段：存储对应图像文件的路径 - 交互内容字段：格式为[{"from": "human", "value": "question"}, {"from": "gpt", "value": "CoT solution"}]，分别对应人类提问与GPT生成的思维链解题方案 - 元信息字段：包含数据集来源、难度级别与所属领域的结构化信息 ## 许可证 Apache 2.0