wizardlm-orca-v2

该数据集为laion/wizardlm-orca-v2，是基于DCAgent/wizardlm-orca-sandboxes经过LLM评判员验证的版本。每个任务遵循nemotron_gym LLM评判员验证合约，包含任务指令（instruction.md）、评判员测试脚本（tests/test_state.py）、测试启动脚本（tests/test.sh）、评判员数据（tests/verifier_data.json）、Docker环境（environment/Dockerfile）以及任务配置（task.toml）。任务为通用指令遵循类型，包含系统提示和用户指令，数据来源于WizardLM_Orca。评判员根据正确性、完整性和相关性对模型的回答进行评分。数据集总共包含10000个任务，适用于训练和评估大语言模型的指令遵循能力。This dataset is laion/wizardlm-orca-v2, a version validated by LLM judges based on DCAgent/wizardlm-orca-sandboxes. Each task follows the nemotron_gym LLM judge verification contract, including task instructions (instruction.md), judge test scripts (tests/test_state.py), test launch scripts (tests/test.sh), judge data (tests/verifier_data.json), Docker environment (environment/Dockerfile), and task configuration (task.toml). The tasks are of general instruction following type, containing system prompts and user instructions, with data sourced from WizardLM_Orca. The judge scores model responses based on correctness, completeness, and relevance. The dataset contains 10,000 tasks in total, suitable for training and evaluating the instruction following ability of large language models.

原始信息汇总

laion/wizardlm-orca-v2 数据集详情

数据集概述

该数据集是 DCAgent/wizardlm-orca-sandboxes 的 LLM-judge 验证版本，包含 10,000 个任务，用于评估通用指令遵循能力。每个任务均遵循 nemotron_gym LLM-judge 验证器契约。

数据集内容

任务结构

每个任务由以下文件组成：

文件	用途
instruction.md	原始任务指令，附有提交指南，指示代理将答案写入 /app/response.txt
tests/test_state.py	可运行 pytest 的 LLM 评判器，读取响应文件及验证数据，调用语言模型进行评分
tests/test.sh	默认奖励为 0，然后运行 pytest 测试
tests/verifier_data.json	任务指令及数据集专属评分标准（rubric）
environment/Dockerfile	基于 ubuntu:24.04，包含 python3、pip、openai、pytest、litellm
task.toml	LLM 评判任务配置，使 OPENAI_API_KEY 和 JUDGE_MODEL 环境变量传入验证容器

评分机制

• 评判模型：默认使用 openai/gpt-4o-mini，温度为 0
• 评分标准：正确性（correctness）/ 完整性（completeness）/ 相关性（relevance）
• 输出方式：评判器解析 oxed{<score>} 格式的得分，并将浮点分数写入 /logs/verifier/reward.txt
• 兼容性：支持 /app/response.txt 为主路径，/app/answer.txt 为回退路径

任务类型

属于通用指令遵循任务，任务来源为 WizardLM_Orca 数据集，包含系统提示和指令两部分内容，由 LLM 评判器根据正确性、完整性、相关性三个维度进行评分。