atreydesai/augmented-mcqa-gpt-choices-only

--- dataset_info: - config_name: vllm_Qwen_Qwen3-4B-Instruct-2507 features: - name: id dtype: string - name: question_id dtype: int64 - name: dataset_type dtype: string - name: row_index dtype: int64 - name: sample_id dtype: string - name: question dtype: string - name: answer dtype: string - name: category dtype: string - name: options list: string - name: answer_index dtype: int64 - name: choices_human list: string - name: setting dtype: string - name: generation_strategy dtype: string - name: status dtype: string - name: num_human dtype: int64 - name: num_model dtype: int64 - name: num_choices dtype: int64 - name: human_distractors list: string - name: model_distractors list: string - name: distractors list: string - name: options_randomized list: string - name: correct_answer_letter dtype: string - name: evaluation_is_correct dtype: bool - name: evaluation_score dtype: float64 - name: evaluation_prediction dtype: string - name: evaluation_prediction_type dtype: string - name: evaluation_raw_output dtype: string - name: evaluation_prompt dtype: string - name: evaluation_status dtype: string - name: evaluation_question_idx dtype: int64 - name: evaluation_log_path dtype: string - name: traces dtype: string splits: - name: human_from_scratch num_bytes: 6055777 num_examples: 2443 - name: model_from_scratch num_bytes: 6971184 num_examples: 2443 - name: augment_human num_bytes: 10397432 num_examples: 2443 - name: augment_model num_bytes: 11760414 num_examples: 2443 - name: augment_ablation num_bytes: 10844513 num_examples: 2443 download_size: 32588958 dataset_size: 46029320 - config_name: vllm_allenai_Olmo-3-7B-Instruct features: - name: id dtype: string - name: question_id dtype: int64 - name: dataset_type dtype: string - name: row_index dtype: int64 - name: sample_id dtype: string - name: question dtype: string - name: answer dtype: string - name: category dtype: string - name: options list: string - name: answer_index dtype: int64 - name: choices_human list: string - name: setting dtype: string - name: generation_strategy dtype: string - name: status dtype: string - name: num_human dtype: int64 - name: num_model dtype: int64 - name: num_choices dtype: int64 - name: human_distractors list: string - name: model_distractors list: string - name: distractors list: string - name: options_randomized list: string - name: correct_answer_letter dtype: string - name: evaluation_is_correct dtype: bool - name: evaluation_score dtype: float64 - name: evaluation_prediction dtype: string - name: evaluation_prediction_type dtype: string - name: evaluation_raw_output dtype: string - name: evaluation_prompt dtype: string - name: evaluation_status dtype: string - name: evaluation_question_idx dtype: int64 - name: evaluation_log_path dtype: string - name: traces dtype: string splits: - name: human_from_scratch num_bytes: 6051208 num_examples: 2443 - name: model_from_scratch num_bytes: 6966429 num_examples: 2443 - name: augment_human num_bytes: 10392335 num_examples: 2443 - name: augment_model num_bytes: 11755347 num_examples: 2443 - name: augment_ablation num_bytes: 10839605 num_examples: 2443 download_size: 32590906 dataset_size: 46004924 - config_name: vllm_meta-llama_Llama-3.1-8B-Instruct features: - name: id dtype: string - name: question_id dtype: int64 - name: dataset_type dtype: string - name: row_index dtype: int64 - name: sample_id dtype: string - name: question dtype: string - name: answer dtype: string - name: category dtype: string - name: options list: string - name: answer_index dtype: int64 - name: choices_human list: string - name: setting dtype: string - name: generation_strategy dtype: string - name: status dtype: string - name: num_human dtype: int64 - name: num_model dtype: int64 - name: num_choices dtype: int64 - name: human_distractors list: string - name: model_distractors list: string - name: distractors list: string - name: options_randomized list: string - name: correct_answer_letter dtype: string - name: evaluation_is_correct dtype: bool - name: evaluation_score dtype: float64 - name: evaluation_prediction dtype: string - name: evaluation_prediction_type dtype: string - name: evaluation_raw_output dtype: string - name: evaluation_prompt dtype: string - name: evaluation_status dtype: string - name: evaluation_question_idx dtype: int64 - name: evaluation_log_path dtype: string - name: traces dtype: string splits: - name: human_from_scratch num_bytes: 6067968 num_examples: 2443 - name: model_from_scratch num_bytes: 6983339 num_examples: 2443 - name: augment_human num_bytes: 10409635 num_examples: 2443 - name: augment_model num_bytes: 11772629 num_examples: 2443 - name: augment_ablation num_bytes: 10856723 num_examples: 2443 download_size: 32588501 dataset_size: 46090294 - config_name: vllm_nvidia_NVIDIA-Nemotron-Nano-9B-v2 features: - name: id dtype: string - name: question_id dtype: int64 - name: dataset_type dtype: string - name: row_index dtype: int64 - name: sample_id dtype: string - name: question dtype: string - name: answer dtype: string - name: category dtype: string - name: options list: string - name: answer_index dtype: int64 - name: choices_human list: string - name: setting dtype: string - name: generation_strategy dtype: string - name: status dtype: string - name: num_human dtype: int64 - name: num_model dtype: int64 - name: num_choices dtype: int64 - name: human_distractors list: string - name: model_distractors list: string - name: distractors list: string - name: options_randomized list: string - name: correct_answer_letter dtype: string - name: evaluation_is_correct dtype: bool - name: evaluation_score dtype: float64 - name: evaluation_prediction dtype: string - name: evaluation_prediction_type dtype: string - name: evaluation_raw_output dtype: string - name: evaluation_prompt dtype: string - name: evaluation_status dtype: string - name: evaluation_question_idx dtype: int64 - name: evaluation_log_path dtype: string - name: traces dtype: string splits: - name: human_from_scratch num_bytes: 6075162 num_examples: 2443 - name: model_from_scratch num_bytes: 6990809 num_examples: 2443 - name: augment_human num_bytes: 10415972 num_examples: 2443 - name: augment_model num_bytes: 11778899 num_examples: 2443 - name: augment_ablation num_bytes: 10862913 num_examples: 2443 download_size: 32592925 dataset_size: 46123755 configs: - config_name: vllm_Qwen_Qwen3-4B-Instruct-2507 data_files: - split: human_from_scratch path: vllm_Qwen_Qwen3-4B-Instruct-2507/human_from_scratch-* - split: model_from_scratch path: vllm_Qwen_Qwen3-4B-Instruct-2507/model_from_scratch-* - split: augment_human path: vllm_Qwen_Qwen3-4B-Instruct-2507/augment_human-* - split: augment_model path: vllm_Qwen_Qwen3-4B-Instruct-2507/augment_model-* - split: augment_ablation path: vllm_Qwen_Qwen3-4B-Instruct-2507/augment_ablation-* - config_name: vllm_allenai_Olmo-3-7B-Instruct data_files: - split: human_from_scratch path: vllm_allenai_Olmo-3-7B-Instruct/human_from_scratch-* - split: model_from_scratch path: vllm_allenai_Olmo-3-7B-Instruct/model_from_scratch-* - split: augment_human path: vllm_allenai_Olmo-3-7B-Instruct/augment_human-* - split: augment_model path: vllm_allenai_Olmo-3-7B-Instruct/augment_model-* - split: augment_ablation path: vllm_allenai_Olmo-3-7B-Instruct/augment_ablation-* - config_name: vllm_meta-llama_Llama-3.1-8B-Instruct data_files: - split: human_from_scratch path: vllm_meta-llama_Llama-3.1-8B-Instruct/human_from_scratch-* - split: model_from_scratch path: vllm_meta-llama_Llama-3.1-8B-Instruct/model_from_scratch-* - split: augment_human path: vllm_meta-llama_Llama-3.1-8B-Instruct/augment_human-* - split: augment_model path: vllm_meta-llama_Llama-3.1-8B-Instruct/augment_model-* - split: augment_ablation path: vllm_meta-llama_Llama-3.1-8B-Instruct/augment_ablation-* - config_name: vllm_nvidia_NVIDIA-Nemotron-Nano-9B-v2 data_files: - split: human_from_scratch path: vllm_nvidia_NVIDIA-Nemotron-Nano-9B-v2/human_from_scratch-* - split: model_from_scratch path: vllm_nvidia_NVIDIA-Nemotron-Nano-9B-v2/model_from_scratch-* - split: augment_human path: vllm_nvidia_NVIDIA-Nemotron-Nano-9B-v2/augment_human-* - split: augment_model path: vllm_nvidia_NVIDIA-Nemotron-Nano-9B-v2/augment_model-* - split: augment_ablation path: vllm_nvidia_NVIDIA-Nemotron-Nano-9B-v2/augment_ablation-* ---数据集信息： - 配置名称：vllm_Qwen_Qwen3-4B-Instruct-2507 特征字段： - 字段名：id，数据类型：字符串 - 字段名：question_id，数据类型：64位整数 - 字段名：dataset_type，数据类型：字符串 - 字段名：row_index，数据类型：64位整数 - 字段名：sample_id，数据类型：字符串 - 字段名：question，数据类型：字符串 - 字段名：answer，数据类型：字符串 - 字段名：category，数据类型：字符串 - 字段名：options，数据类型：字符串列表 - 字段名：answer_index，数据类型：64位整数 - 字段名：choices_human，数据类型：字符串列表 - 字段名：setting，数据类型：字符串 - 字段名：generation_strategy，数据类型：字符串 - 字段名：status，数据类型：字符串 - 字段名：num_human，数据类型：64位整数 - 字段名：num_model，数据类型：64位整数 - 字段名：num_choices，数据类型：64位整数 - 字段名：human_distractors，数据类型：字符串列表 - 字段名：model_distractors，数据类型：字符串列表 - 字段名：distractors，数据类型：字符串列表 - 字段名：options_randomized，数据类型：字符串列表 - 字段名：correct_answer_letter，数据类型：字符串 - 字段名：evaluation_is_correct，数据类型：布尔值 - 字段名：evaluation_score，数据类型：64位浮点数 - 字段名：evaluation_prediction，数据类型：字符串 - 字段名：evaluation_prediction_type，数据类型：字符串 - 字段名：evaluation_raw_output，数据类型：字符串 - 字段名：evaluation_prompt，数据类型：字符串 - 字段名：evaluation_status，数据类型：字符串 - 字段名：evaluation_question_idx，数据类型：64位整数 - 字段名：evaluation_log_path，数据类型：字符串 - 字段名：traces，数据类型：字符串 数据划分： - 划分名称：人工从头构建集，字节数：6055777，样本数量：2443 - 划分名称：模型从头构建集，字节数：6971184，样本数量：2443 - 划分名称：人工增强集，字节数：10397432，样本数量：2443 - 划分名称：模型增强集，字节数：11760414，样本数量：2443 - 划分名称：消融实验增强集，字节数：10844513，样本数量：2443 下载总大小：32588958，数据集总占用大小：46029320 - 配置名称：vllm_allenai_Olmo-3-7B-Instruct 特征字段： - 字段名：id，数据类型：字符串 - 字段名：question_id，数据类型：64位整数 - 字段名：dataset_type，数据类型：字符串 - 字段名：row_index，数据类型：64位整数 - 字段名：sample_id，数据类型：字符串 - 字段名：question，数据类型：字符串 - 字段名：answer，数据类型：字符串 - 字段名：category，数据类型：字符串 - 字段名：options，数据类型：字符串列表 - 字段名：answer_index，数据类型：64位整数 - 字段名：choices_human，数据类型：字符串列表 - 字段名：setting，数据类型：字符串 - 字段名：generation_strategy，数据类型：字符串 - 字段名：status，数据类型：字符串 - 字段名：num_human，数据类型：64位整数 - 字段名：num_model，数据类型：64位整数 - 字段名：num_choices，数据类型：64位整数 - 字段名：human_distractors，数据类型：字符串列表 - 字段名：model_distractors，数据类型：字符串列表 - 字段名：distractors，数据类型：字符串列表 - 字段名：options_randomized，数据类型：字符串列表 - 字段名：correct_answer_letter，数据类型：字符串 - 字段名：evaluation_is_correct，数据类型：布尔值 - 字段名：evaluation_score，数据类型：64位浮点数 - 字段名：evaluation_prediction，数据类型：字符串 - 字段名：evaluation_prediction_type，数据类型：字符串 - 字段名：evaluation_raw_output，数据类型：字符串 - 字段名：evaluation_prompt，数据类型：字符串 - 字段名：evaluation_status，数据类型：字符串 - 字段名：evaluation_question_idx，数据类型：64位整数 - 字段名：evaluation_log_path，数据类型：字符串 - 字段名：traces，数据类型：字符串 数据划分： - 划分名称：人工从头构建集，字节数：6051208，样本数量：2443 - 划分名称：模型从头构建集，字节数：6966429，样本数量：2443 - 划分名称：人工增强集，字节数：10392335，样本数量：2443 - 划分名称：模型增强集，字节数：11755347，样本数量：2443 - 划分名称：消融实验增强集，字节数：10839605，样本数量：2443 下载总大小：32590906，数据集总占用大小：46004924 - 配置名称：vllm_meta-llama_Llama-3.1-8B-Instruct 特征字段： - 字段名：id，数据类型：字符串 - 字段名：question_id，数据类型：64位整数 - 字段名：dataset_type，数据类型：字符串 - 字段名：row_index，数据类型：64位整数 - 字段名：sample_id，数据类型：字符串 - 字段名：question，数据类型：字符串 - 字段名：answer，数据类型：字符串 - 字段名：category，数据类型：字符串 - 字段名：options，数据类型：字符串列表 - 字段名：answer_index，数据类型：64位整数 - 字段名：choices_human，数据类型：字符串列表 - 字段名：setting，数据类型：字符串 - 字段名：generation_strategy，数据类型：字符串 - 字段名：status，数据类型：字符串 - 字段名：num_human，数据类型：64位整数 - 字段名：num_model，数据类型：64位整数 - 字段名：num_choices，数据类型：64位整数 - 字段名：human_distractors，数据类型：字符串列表 - 字段名：model_distractors，数据类型：字符串列表 - 字段名：distractors，数据类型：字符串列表 - 字段名：options_randomized，数据类型：字符串列表 - 字段名：correct_answer_letter，数据类型：字符串 - 字段名：evaluation_is_correct，数据类型：布尔值 - 字段名：evaluation_score，数据类型：64位浮点数 - 字段名：evaluation_prediction，数据类型：字符串 - 字段名：evaluation_prediction_type，数据类型：字符串 - 字段名：evaluation_raw_output，数据类型：字符串 - 字段名：evaluation_prompt，数据类型：字符串 - 字段名：evaluation_status，数据类型：字符串 - 字段名：evaluation_question_idx，数据类型：64位整数 - 字段名：evaluation_log_path，数据类型：字符串 - 字段名：traces，数据类型：字符串 数据划分： - 划分名称：人工从头构建集，字节数：6067968，样本数量：2443 - 划分名称：模型从头构建集，字节数：6983339，样本数量：2443 - 划分名称：人工增强集，字节数：10409635，样本数量：2443 - 划分名称：模型增强集，字节数：11772629，样本数量：2443 - 划分名称：消融实验增强集，字节数：10856723，样本数量：2443 下载总大小：32588501，数据集总占用大小：46090294 - 配置名称：vllm_nvidia_NVIDIA-Nemotron-Nano-9B-v2 特征字段： - 字段名：id，数据类型：字符串 - 字段名：question_id，数据类型：64位整数 - 字段名：dataset_type，数据类型：字符串 - 字段名：row_index，数据类型：64位整数 - 字段名：sample_id，数据类型：字符串 - 字段名：question，数据类型：字符串 - 字段名：answer，数据类型：字符串 - 字段名：category，数据类型：字符串 - 字段名：options，数据类型：字符串列表 - 字段名：answer_index，数据类型：64位整数 - 字段名：choices_human，数据类型：字符串列表 - 字段名：setting，数据类型：字符串 - 字段名：generation_strategy，数据类型：字符串 - 字段名：status，数据类型：字符串 - 字段名：num_human，数据类型：64位整数 - 字段名：num_model，数据类型：64位整数 - 字段名：num_choices，数据类型：64位整数 - 字段名：human_distractors，数据类型：字符串列表 - 字段名：model_distractors，数据类型：字符串列表 - 字段名：distractors，数据类型：字符串列表 - 字段名：options_randomized，数据类型：字符串列表 - 字段名：correct_answer_letter，数据类型：字符串 - 字段名：evaluation_is_correct，数据类型：布尔值 - 字段名：evaluation_score，数据类型：64位浮点数 - 字段名：evaluation_prediction，数据类型：字符串 - 字段名：evaluation_prediction_type，数据类型：字符串 - 字段名：evaluation_raw_output，数据类型：字符串 - 字段名：evaluation_prompt，数据类型：字符串 - 字段名：evaluation_status，数据类型：字符串 - 字段名：evaluation_question_idx，数据类型：64位整数 - 字段名：evaluation_log_path，数据类型：字符串 - 字段名：traces，数据类型：字符串 数据划分： - 划分名称：人工从头构建集，字节数：6075162，样本数量：2443 - 划分名称：模型从头构建集，字节数：6990809，样本数量：2443 - 划分名称：人工增强集，字节数：10415972，样本数量：2443 - 划分名称：模型增强集，字节数：11778899，样本数量：2443 - 划分名称：消融实验增强集，字节数：10862913，样本数量：2443 下载总大小：32592925，数据集总占用大小：46123755 配置项： - 配置名称：vllm_Qwen_Qwen3-4B-Instruct-2507 数据文件： - 划分：人工从头构建集，路径：vllm_Qwen_Qwen3-4B-Instruct-2507/human_from_scratch-* - 划分：模型从头构建集，路径：vllm_Qwen_Qwen3-4B-Instruct-2507/model_from_scratch-* - 划分：人工增强集，路径：vllm_Qwen_Qwen3-4B-Instruct-2507/augment_human-* - 划分：模型增强集，路径：vllm_Qwen_Qwen3-4B-Instruct-2507/augment_model-* - 划分：消融实验增强集，路径：vllm_Qwen_Qwen3-4B-Instruct-2507/augment_ablation-* - 配置名称：vllm_allenai_Olmo-3-7B-Instruct 数据文件： - 划分：人工从头构建集，路径：vllm_allenai_Olmo-3-7B-Instruct/human_from_scratch-* - 划分：模型从头构建集，路径：vllm_allenai_Olmo-3-7B-Instruct/model_from_scratch-* - 划分：人工增强集，路径：vllm_allenai_Olmo-3-7B-Instruct/augment_human-* - 划分：模型增强集，路径：vllm_allenai_Olmo-3-7B-Instruct/augment_model-* - 划分：消融实验增强集，路径：vllm_allenai_Olmo-3-7B-Instruct/augment_ablation-* - 配置名称：vllm_meta-llama_Llama-3.1-8B-Instruct 数据文件： - 划分：人工从头构建集，路径：vllm_meta-llama_Llama-3.1-8B-Instruct/human_from_scratch-* - 划分：模型从头构建集，路径：vllm_meta-llama_Llama-3.1-8B-Instruct/model_from_scratch-* - 划分：人工增强集，路径：vllm_meta-llama_Llama-3.1-8B-Instruct/augment_human-* - 划分：模型增强集，路径：vllm_meta-llama_Llama-3.1-8B-Instruct/augment_model-* - 划分：消融实验增强集，路径：vllm_meta-llama_Llama-3.1-8B-Instruct/augment_ablation-* - 配置名称：vllm_nvidia_NVIDIA-Nemotron-Nano-9B-v2 数据文件： - 划分：人工从头构建集，路径：vllm_nvidia_NVIDIA-Nemotron-Nano-9B-v2/human_from_scratch-* - 划分：模型从头构建集，路径：vllm_nvidia_NVIDIA-Nemotron-Nano-9B-v2/model_from_scratch-* - 划分：人工增强集，路径：vllm_nvidia_NVIDIA-Nemotron-Nano-9B-v2/augment_human-* - 划分：模型增强集，路径：vllm_nvidia_NVIDIA-Nemotron-Nano-9B-v2/augment_model-* - 划分：消融实验增强集，路径：vllm_nvidia_NVIDIA-Nemotron-Nano-9B-v2/augment_ablation-*