five

Skywork-OR1-RL-Data-v1-math-prime-rl-format

收藏
魔搭社区2025-06-27 更新2025-06-14 收录
下载链接:
https://modelscope.cn/datasets/PrimeIntellect/Skywork-OR1-RL-Data-v1-math-prime-rl-format
下载链接
链接失效反馈
官方服务:
资源简介:
code to generate ```bash from datasets import load_dataset, DatasetDict import json def verification_process(x): data = json.loads(x["reward_model"]["ground_truth"]) a = {"ground_truth": data[0]} return json.dumps(a) if __name__ == "__main__": dataset = load_dataset("Skywork/Skywork-OR1-RL-Data", split="math") dataset = dataset.map(lambda x, i: { "verification_info": verification_process(x), "task_type": "verifiable_math", "problem_id": f"sky_work_math_{i}", "prompt": x["prompt"][0]["content"], "solve_rate_qwen_r1_distill_1b": x["extra_info"]["model_difficulty"]["DeepSeek-R1-Distill-Qwen-1.5B"] / 16, "solve_rate_qwen_r1_distill_7b": x["extra_info"]["model_difficulty"]["DeepSeek-R1-Distill-Qwen-7B"] / 16, "solve_rate_qwen_r1_distill_32b": x["extra_info"]["model_difficulty"]["DeepSeek-R1-Distill-Qwen-32B"] / 16, }, with_indices=True) dataset_train = DatasetDict({ "train": dataset }) dataset_train.push_to_hub("PrimeIntellect/Skywork-OR1-RL-Data-v1-math-prime-rl-format") ```

生成所用代码如下: 定义验证处理函数`verification_process(x)`,该函数将输入样本`x`中`reward_model`字段下的`ground_truth`内容以JSON格式加载,提取首个元素作为新的`ground_truth`字段,最终将结果序列化为JSON字符串后返回。 若当前为程序主入口: 1. 加载`Skywork/Skywork-OR1-RL-Data`数据集的`math`划分子集,存储至`dataset`变量。 2. 对`dataset`应用带索引的映射处理: - 为每个样本新增`verification_info`字段,其值为调用`verification_process(x)`的返回结果 - 设置`task_type`字段为`verifiable_math`(可验证数学任务) - 生成格式为`sky_work_math_{i}`的`problem_id`(其中`i`为样本索引) - 提取`x["prompt"][0]["content"]`作为`prompt`字段内容 - 计算并新增各模型的解题正确率字段: - `solve_rate_qwen_r1_distill_1b`:`DeepSeek-R1-Distill-Qwen-1.5B`模型的得分除以16 - `solve_rate_qwen_r1_distill_7b`:`DeepSeek-R1-Distill-Qwen-7B`模型的得分除以16 - `solve_rate_qwen_r1_distill_32b`:`DeepSeek-R1-Distill-Qwen-32B`模型的得分除以16 3. 将处理后的数据集封装为`DatasetDict`格式的训练集字典`dataset_train`,其中键为`train`。 4. 将`dataset_train`上传至Hugging Face Hub,对应仓库为`PrimeIntellect/Skywork-OR1-RL-Data-v1-math-prime-rl-format`。
提供机构:
maas
创建时间:
2025-06-11
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作