tytodd/qwen3.5-2b-thinking-budget-testbudget-8192

--- dataset_info: config_name: mmlu_pro features: - name: input struct: - name: choices dtype: string - name: question dtype: string - name: prediction struct: - name: choice dtype: string - name: reasoning dtype: string - name: messages struct: - name: messages list: - name: content dtype: string - name: role dtype: string - name: outputs struct: - name: reasoning_content dtype: string - name: text dtype: string - name: correct dtype: bool splits: - name: ood num_bytes: 36349 num_examples: 1 download_size: 57713 dataset_size: 36349 configs: - config_name: mmlu_pro data_files: - split: ood path: mmlu_pro/ood-* --- # qwen3.5-2b-thinking-budget-testbudget-8192 - Repo: `tytodd/qwen3.5-2b-thinking-budget-testbudget-8192` - Model: `Qwen/Qwen3.5-2B` - Config: `/tmp/thinking-budget-test.yaml` | benchmark | train | val | ood | all | | --- | --- | --- | --- | --- | | mmlu_pro | | | 100.00% | 100.00% | | all | | | 100.00% | 100.00% |数据集信息（dataset_info）： 配置名称（config_name）：mmlu_pro 特征字段（features）： - 名称：input，结构体（struct）包含： - 选项（choices）：数据类型（dtype）为字符串 - 问题（question）：数据类型（dtype）为字符串 - 名称：prediction，结构体（struct）包含： - 所选选项（choice）：数据类型（dtype）为字符串 - 名称：推理过程（reasoning）：数据类型（dtype）为字符串 - 名称：对话消息（messages），结构体（struct）包含： - messages：为列表（list），列表内每个元素包含： - 内容（content）：数据类型（dtype）为字符串 - 角色（role）：数据类型（dtype）为字符串 - 输出（outputs）：结构体（struct）包含： - 推理内容（reasoning_content）：数据类型（dtype）为字符串 - 生成文本（text）：数据类型（dtype）为字符串 - 名称：正确性标记（correct）：数据类型（dtype）为布尔值 数据集划分（splits）： - 划分名称：ood（分布外，out-of-distribution），字节数：36349，样本数：1 下载大小（download_size）：57713字节 数据集占用大小（dataset_size）：36349字节 配置项（configs）： - 配置名称（config_name）：mmlu_pro 数据文件（data_files）： - 划分：ood，路径：mmlu_pro/ood-* # qwen3.5-2b-thinking-budget-testbudget-8192 - 代码仓库（Repo）：`tytodd/qwen3.5-2b-thinking-budget-testbudget-8192` - 模型（Model）：`Qwen/Qwen3.5-2B` - 配置文件（Config）：`/tmp/thinking-budget-test.yaml` | 基准测试任务（benchmark） | 训练集（train） | 验证集（val） | ood（分布外）集 | 全量集（all） | | --- | --- | --- | --- | --- | | mmlu_pro | | | 100.00% | 100.00% | | all | | | 100.00% | 100.00% |