CoffeeGitta/difficulty-gsm8k-generations

这是一个针对gsm8k数学问题数据集的生成数据集，包含多个大型语言模型（如Qwen、DeepSeek、OpenAI的模型）在训练、验证和测试集上生成的解决方案。数据集记录了每个数学问题的陈述、模型生成的解决方案（包括文本、评分、令牌使用量和成本）、成功率、多数投票正确性等元数据，用于评估和分析模型在数学问题解决上的表现。

数据集信息：
包含7个模型配置，每个配置对应一款用于生成解题结果的大语言模型（Large Language Model，LLM）：
1. **配置名称：Qwen--Qwen2.5-Math-1.5B-Instruct**
特征字段如下：
- `formatted_prompt`：格式化提示（formatted_prompt），数据类型为字符串
- `generated_solutions`：生成解列表（generated_solutions），列表内每个元素包含以下字段：
- `input_cost_usd_once`：单次输入成本（美元）（input_cost_usd_once），64位浮点型
- `input_tokens`：输入Token（Token）数（input_tokens），64位整型
- `output_cost_usd`：输出成本（美元）（output_cost_usd），64位浮点型
- `output_tokens`：输出Token（Token）数（output_tokens），64位整型
- `rollout_cost_usd`：推演成本（美元）（rollout_cost_usd），64位浮点型
- `score`：评分（score），64位浮点型
- `text`：生成文本（text），字符串类型
- `ground_truth`：标准答案（ground_truth），字符串类型
- `input_cost_usd_once`：单次输入成本（美元）（input_cost_usd_once），64位浮点型
- `k`：生成样本数（k），64位整型
- `majority_vote_extracted_answer`：多数投票提取的答案（majority_vote_extracted_answer），字符串类型
- `majority_vote_is_correct`：多数投票是否正确（majority_vote_is_correct），8位整型
- `max_len`：最大生成长度（max_len），64位整型
- `model_name`：模型名称（model_name），字符串类型
- `pass_at_k`：k次采样通过率（pass_at_k），64位浮点型
- `problem`：题目题干（problem），字符串类型
- `problem_id`：题目ID（problem_id），字符串类型
- `rating`：题目难度评分（rating），64位浮点型
- `split`：数据集分割（split），字符串类型
- `success_rate`：生成成功率（success_rate），64位浮点型
- `task`：任务类型（task），字符串类型
- `temperature`：采样温度（temperature），64位浮点型
- `total_cost_usd`：总成本（美元）（total_cost_usd），64位浮点型
- `total_input_tokens`：总输入Token（Token）数（total_input_tokens），64位整型
- `total_output_cost_usd`：总输出成本（美元）（total_output_cost_usd），64位浮点型
- `total_output_tokens`：总输出Token（Token）数（total_output_tokens），64位整型
数据集分割信息：
- 训练集（train）：占用字节数38548868，样本量5979
- 验证集（validation）：占用字节数9651609，样本量1494
- 测试集（test）：占用字节数8980863，样本量1319
下载大小：14613206字节，总数据集大小：57181340字节

其余6个模型配置（Qwen--Qwen2.5-Math-7B-Instruct、Qwen--Qwen3-8B、deepseek-ai--DeepSeek-R1-Distill-Qwen-7B、openai--gpt-oss-20b_high、openai--gpt-oss-20b_low、openai--gpt-oss-20b_medium）的字段结构与上述配置一致，仅数据集字节数、样本量、下载大小及总数据集大小存在差异。

数据集配置信息：每个模型配置对应的数据文件均按训练、验证、测试集划分，路径格式为`配置名称/分割前缀-*`。

# 生成数据集：GSM8K
涵盖多个大语言模型在训练集、验证集、测试集上生成的数学解题结果。

## 字段说明
| 列名 | 数据类型 | 描述 |
|------|----------|------|
| `problem` | 字符串 | 数学题题干 |
| `generated_solutions` | 列表 | 带评分的生成解题结果列表 |
| `success_rate` | 浮点型 | 正确生成结果的占比 |
| `majority_vote_is_correct` | 整型（0/1） | 多数投票得到的答案是否正确 |
| `k` | 整型 | 单次生成的采样样本数量 |
| `temperature` | 浮点型 | 采样温度，用于控制生成文本的随机性 |
| `max_len` | 整型 | 生成文本的最大长度限制 |
| `model_name` | 字符串 | 用于生成解题结果的模型名称 |

## 使用方法
python
from datasets import load_dataset

# 通过指定配置名称加载对应模型的数据集
dataset = load_dataset("CoffeeGitta/difficulty-gsm8k-generations", name="<org--model>")
# 获取训练集
train = dataset["train"]

## 引用文献
bibtex
@article{lugoloobi_llms_2026,
title = {LLMs Encode Their Failures: Predicting Success from Pre-Generation Activations},
url = {http://arxiv.org/abs/2602.09924},
author = {Lugoloobi, William and Foster, Thomas and Bankes, William and Russell, Chris},
year = {2026},
}