sciegqa-grpo
收藏资源简介：
SciEGQA-GRPO是一个用于基于证据的问答和边界框定位任务的单页数据集，专为在SLIME框架上进行基于策略梯度的强化学习训练而构建。该数据集由SciEGQA-Train数据集转换而来，通过筛选仅保留证据完全位于单个页面内的样本，原始30,780个样本被过滤至19,180个样本。数据以JSON Lines格式存储，总体积约为22GB。每个样本包含六个核心字段：problem字段提供包含指令、图像占位符和问题模板的问答任务提示；problem_iou字段提供要求模型输出证据区域边界框的定位任务提示，格式为[x1, y1, x2, y2]；answer字段是包裹在oxed{}中的真实答案；images字段是一个包含单页图像base64数据URI的列表；prefix字段是一个保留给PrefixRL的空字符串；bbox字段是证据边界框的真实坐标，使用千分比进行归一化，范围在0到1000之间，表示左上角(x1, y1)和右下角(x2, y2)。该数据集适用于多模态问答和视觉证据定位的联合训练与评估。数据覆盖计算机科学、经济学、电气工程与系统科学、数学、物理学、定量生物学、定量金融、统计学等多个科学领域，所有证据类型均为图像（如图表、表格或文本区域）。数据集包含7,919个唯一的页面图像，平均每个图像对应2.4个问题。
SciEGQA-GRPO is a single-page dataset designed for evidence-grounded question answering (EGQA) and bounding box localization tasks, specifically built for GRPO (policy gradient-based reinforcement learning) training on the SLIME framework. It is converted from the SciEGQA-Train dataset, by filtering to retain only samples where the evidence is entirely contained within a single page, reducing the original 30,780 samples to 19,180. The dataset is stored in JSON Lines format, with a total size of approximately 22 GB. Each sample includes six core fields: 1. The `problem` field: provides the question answering task prompt containing instructions, image placeholders, and question templates; 2. The `problem_iou` field: provides the localization task prompt requiring the model to output the bounding box of the evidence region, formatted as `[x1, y1, x2, y2]`; 3. The `answer` field: the ground-truth answer wrapped in `oxed{}`; 4. The `images` field: a list containing base64 data URIs of single-page images; 5. The `prefix` field: an empty string reserved for PrefixRL; 6. The `bbox` field: the ground-truth coordinates of the evidence bounding box, normalized using permille (ranging from 0 to 1000), representing the top-left (x1, y1) and bottom-right (x2, y2) corners. This dataset is suitable for joint training and evaluation of multimodal question answering and visual evidence localization. The data covers multiple scientific domains including computer science (cs), economics (econ), electrical engineering and systems science (eess), mathematics (math), physics (physics), quantitative biology (q-bio), quantitative finance (q-fin), statistics (stat), and more. All evidence types are images such as charts, tables, or text regions. The dataset contains 7,919 unique page images, with an average of 2.4 questions per image.
数据集概述
数据集名称: SciEGQA-GRPO
描述: 基于 SciEGQA-Train 转换而来，专为 SLIME 框架上的 GRPO 强化学习训练设计。仅保留证据位于单一页面上的样本。
数据筛选
- 原始样本数：30,780 条
- 筛选后样本数：19,180 条
- 筛选条件：移除证据分布于多页面的样本，仅保留单页面证据样本
数据格式
文件: train.jsonl（大小：22 GB）
每行为一个 JSON 对象，包含以下字段：
| 字段 | 类型 | 描述 |
|---|---|---|
problem |
str |
QA 任务的提示词：包含指令、<image>、问题文本和 Answer: |
problem_iou |
str |
Bbox 定位任务的提示词：要求模型输出证据边界框，格式为 [x1, y1, x2, y2]（0-1000） |
answer |
str |
真实答案，包裹在 oxed{} 中。用于配置 --rm-type boxed_em |
images |
list[str] |
单元素列表，包含页面图像的 base64 data URI，例如 "data:image/png;base64,..." |
prefix |
str |
空字符串 ""。为 PrefixRL 预留，不使用 --partial-rollout 时忽略 |
bbox |
list[float] |
证据边界框，采用千分比坐标（0-1000）：[x1, y1, x2, y2]。对应 problem_iou 的真实值 |
边界框坐标说明
bbox 使用千分比坐标，归一化范围为 0-1000：
x1, y1：左上角坐标x2, y2：右下角坐标
像素转换公式：
px_x1 = bbox[0] / 1000 * image_width px_y1 = bbox[1] / 1000 * image_height px_x2 = bbox[2] / 1000 * image_width px_y2 = bbox[3] / 1000 * image_height
与 SLIME 框架的配合使用
bash --prompt-data /path/to/train.jsonl --input-key problem --label-key answer --apply-chat-template --multimodal-keys {"image": "images"} --rm-type boxed_em
对于 bbox 定位奖励，需要自定义奖励模块，同时评估答案精确匹配（EM）和边界框交并比（IoU）。
数据统计
- 样本总数: 19,180 条
- 唯一页面图像数: 7,919 张
- 平均每张页面图像的问题数: 约 2.4 个
- 学科类别: cs, econ, eess, math, physics, q-bio, q-fin, stat
- 证据类型:
image（源自原始数据集标注）
数据来源
