Skywork-OR1-RL-Data-v1-math-prime-rl-format
收藏魔搭社区2025-06-27 更新2025-06-14 收录
下载链接:
https://modelscope.cn/datasets/PrimeIntellect/Skywork-OR1-RL-Data-v1-math-prime-rl-format
下载链接
链接失效反馈官方服务:
资源简介:
code to generate
```bash
from datasets import load_dataset, DatasetDict
import json
def verification_process(x):
data = json.loads(x["reward_model"]["ground_truth"])
a = {"ground_truth": data[0]}
return json.dumps(a)
if __name__ == "__main__":
dataset = load_dataset("Skywork/Skywork-OR1-RL-Data", split="math")
dataset = dataset.map(lambda x, i: {
"verification_info": verification_process(x),
"task_type": "verifiable_math",
"problem_id": f"sky_work_math_{i}",
"prompt": x["prompt"][0]["content"],
"solve_rate_qwen_r1_distill_1b": x["extra_info"]["model_difficulty"]["DeepSeek-R1-Distill-Qwen-1.5B"] / 16,
"solve_rate_qwen_r1_distill_7b": x["extra_info"]["model_difficulty"]["DeepSeek-R1-Distill-Qwen-7B"] / 16,
"solve_rate_qwen_r1_distill_32b": x["extra_info"]["model_difficulty"]["DeepSeek-R1-Distill-Qwen-32B"] / 16,
}, with_indices=True)
dataset_train = DatasetDict({
"train": dataset
})
dataset_train.push_to_hub("PrimeIntellect/Skywork-OR1-RL-Data-v1-math-prime-rl-format")
```
生成所用代码如下:
定义验证处理函数`verification_process(x)`,该函数将输入样本`x`中`reward_model`字段下的`ground_truth`内容以JSON格式加载,提取首个元素作为新的`ground_truth`字段,最终将结果序列化为JSON字符串后返回。
若当前为程序主入口:
1. 加载`Skywork/Skywork-OR1-RL-Data`数据集的`math`划分子集,存储至`dataset`变量。
2. 对`dataset`应用带索引的映射处理:
- 为每个样本新增`verification_info`字段,其值为调用`verification_process(x)`的返回结果
- 设置`task_type`字段为`verifiable_math`(可验证数学任务)
- 生成格式为`sky_work_math_{i}`的`problem_id`(其中`i`为样本索引)
- 提取`x["prompt"][0]["content"]`作为`prompt`字段内容
- 计算并新增各模型的解题正确率字段:
- `solve_rate_qwen_r1_distill_1b`:`DeepSeek-R1-Distill-Qwen-1.5B`模型的得分除以16
- `solve_rate_qwen_r1_distill_7b`:`DeepSeek-R1-Distill-Qwen-7B`模型的得分除以16
- `solve_rate_qwen_r1_distill_32b`:`DeepSeek-R1-Distill-Qwen-32B`模型的得分除以16
3. 将处理后的数据集封装为`DatasetDict`格式的训练集字典`dataset_train`,其中键为`train`。
4. 将`dataset_train`上传至Hugging Face Hub,对应仓库为`PrimeIntellect/Skywork-OR1-RL-Data-v1-math-prime-rl-format`。
提供机构:
maas
创建时间:
2025-06-11



