gsm8k-rendered-vlm
收藏资源简介：
Rendered GSM8K-VL是一个用于评估视觉语言模型的多模态数学推理数据集。它基于GSM8K数学文字问题的测试集构建，将每个问题渲染为包含纯文本的图像。每个数据样本包括四个关键部分：原始GSM8K问题文本（question）、提取的最终数字答案（answer）、经过清理的思维链式推理过程（reasoning），以及渲染图像的文件路径（image）。数据集共包含1319个样本，图像命名规则为q0000.png至q1318.png。该数据集专门设计用于控制实验，以比较纯文本模型与基于图像的模型在数学推理任务上的表现差异。主要评估指标为最终数字答案的精确匹配准确率，仅使用answer字段进行评分，reasoning字段仅供分析和可解释性研究使用。渲染过程采用受控的清洁数字渲染，无模糊、压缩、旋转或背景噪声等视觉干扰，确保图像仅包含问题文本本身，不提供额外的视觉推理线索。
Rendered GSM8K-VL is a multimodal mathematical reasoning dataset designed for evaluating vision-language models. Built upon the test split of the GSM8K mathematical word problem dataset, it renders each problem into an image containing only plain text. Each data sample includes four core components: the original GSM8K question text (question), the extracted final numerical answer (answer), the cleaned chain-of-thought reasoning process (reasoning), and the file path of the rendered image (image). The dataset contains a total of 1,319 samples, with images named following the rule from q0000.png to q1318.png. This dataset is specifically designed for controlled experiments to compare the performance differences between plain-text models and image-based models on mathematical reasoning tasks. The primary evaluation metric is the exact match accuracy of the final numerical answer, with scoring conducted solely using the answer field; the reasoning field is only intended for analysis and interpretability research. The rendering process adopts controlled clean digital rendering, free from visual distractions such as blurring, compression, rotation, or background noise, ensuring that the image only contains the question text itself without providing any additional visual reasoning cues.
数据集概述：GSM8K-VL（Rendered GSM8K-VL）
- 数据集名称：GSM8K-VL（Rendered GSM8K-VL）
- 许可协议：MIT
- 任务类别：问答、视觉问答
- 语言：英语
- 标签：视觉语言、数学推理、GSM8K、多模态
- 数据集大小：1,000 < 样本数 < 10,000
数据构成
- 来源：源自 openai/gsm8k 数据集的
test子集。 - 图像渲染：使用
render_config.json配置（宽度672 px、字号22、内边距40，无模糊、压缩、旋转或背景噪声），生成纯净的数字渲染图像。 - 文件结构：
rendered_images/：包含编号为q0000.png至q1318.png的渲染图像。gsm8k_metadata_clean.csv：官方推荐使用的规范元数据文件。gsm8k_metadata.csv：中间/原始风格元数据。gsm8k_metadata_fixed.csv：中间路径标准化元数据。render_config.json：渲染配置说明。README.md：数据集卡片。
数据字段（来自 gsm8k_metadata_clean.csv）
id（整型）：与GSM8K测试顺序对齐的索引。question（字符串）：原始GSM8K问题文本。answer（字符串/整型）：从#### ...中提取的最终数值答案。image（字符串）：图像相对路径，如rendered_images/q0000.png。reasoning（字符串）：原始GSM8K逐步推理过程，已移除<<...>>格式工件。
任务定义
- 输入：一张渲染后的GSM8K数学文字题图像（图像仅包含问题文本，无视觉推理线索）。
- 输出：预测最终数值答案。
评估协议
- 主要指标：最终数值答案的精确匹配准确率。
- 评分依据：使用
answer字段（最终答案），而非reasoning字段。 - 推理字段用途：
reasoning仅用于分析与可解释性研究，不参与官方评分。
使用示例（Pandas）
python import pandas as pd
df = pd.read_csv("gsm8k_metadata_clean.csv") print(df.columns.tolist()) print(df.iloc[0][["question", "answer", "image"]])
快速验证（检查图像完整性）
python import pandas as pd from pathlib import Path
df = pd.read_csv("gsm8k_metadata_clean.csv") missing = [img for img in df["image"] if not Path(img).exists()] print("Missing images:", len(missing)) print(missing[:10])
预期输出：Missing images: 0
引用建议
- 使用本数据集时，请引用：
- GSM8K（Cobbe 等人，2021）
- 本工作（GSM8K-VL 数据集及相关实验；Ghosh & Gupta，2025）
