raca-workspace-v1/algo-sft-eval-traces-long-arithmetic-distill-qwq-v4

--- license: mit tags: - algo-sft-eval-redo - long_arithmetic - distill --- # algo-sft-eval-traces-long-arithmetic-distill-qwq-v4 Full eval traces for algo-sft-long-arithmetic-distill-qwq across test/harder/ood splits ## Dataset Info - **Rows**: 2000 - **Columns**: 11 ## Columns | Column | Type | Description | |--------|------|-------------| | question_id | Value('string') | Unique question identifier from eval set | | split | Value('string') | Evaluation split: test (in-distribution), harder (scaled up), ood (structural out-of-distribution) | | domain | Value('string') | Task domain: formal_logic, conlang_morphology, cellular_automata, long_arithmetic | | task | Value('string') | Specific task variant (e.g., formal_logic_bottom_up) | | prompt | Value('string') | Full prompt sent to the model | | model_response | Value('string') | Complete untruncated model output | | extracted_answer | Value('string') | Answer extracted by domain-specific parser | | ground_truth | Value('string') | Expected correct answer | | correct | Value('bool') | Whether extracted_answer matched ground_truth | | finish_reason | Value('string') | vLLM finish reason: stop (natural end) or length (hit max_tokens) | | token_count | Value('int64') | Number of tokens in model_response | ## Generation Parameters ```json { "script_name": "eval_model.py", "model": "reasoning-degeneration-dev/algo-sft-long-arithmetic-distill-qwq", "description": "Full eval traces for algo-sft-long-arithmetic-distill-qwq across test/harder/ood splits", "hyperparameters": { "max_tokens": 32768, "max_model_len": 32768, "temperature": 0.0, "base_model": "Qwen/Qwen2.5-1.5B-Instruct" }, "input_datasets": [] } ``` ## Usage ```python from datasets import load_dataset dataset = load_dataset("raca-workspace-v1/algo-sft-eval-traces-long-arithmetic-distill-qwq-v4", split="train") print(f"Loaded {len(dataset)} rows") ``` --- *Uploaded via [RACA](https://github.com/Zayne-sprague/Dr-Claude-Code) hf_utility.*许可证：MIT许可证 标签： - algo-sft-eval-redo - 长算术（long_arithmetic） - 蒸馏（distill） # algo-sft-eval-traces-long-arithmetic-distill-qwq-v4 针对algo-sft-long-arithmetic-distill-qwq模型在测试集、困难集、分布外拆分集上的完整评估追踪数据。 ## 数据集信息 - **数据行数**：2000 - **列数**：11 ## 列信息 | 列名 | 数据类型 | 描述 | |--------|------|-------------| | question_id | 字符串类型 | 评估集中唯一的问题标识符 | | split | 字符串类型 | 评估拆分类型：test（分布内测试集）、harder（缩放复杂度困难集）、ood（结构性分布外集） | | domain | 字符串类型 | 任务领域：形式逻辑、人工语言形态学、元胞自动机、长算术（long_arithmetic） | | task | 字符串类型 | 具体任务变体（例如：formal_logic_bottom_up） | | prompt | 字符串类型 | 发送至模型的完整提示词 | | model_response | 字符串类型 | 模型完整未截断的输出结果 | | extracted_answer | 字符串类型 | 由领域专用解析器提取的答案 | | ground_truth | 字符串类型 | 预期正确答案 | | correct | 布尔类型 | 提取的答案是否与预期正确答案匹配 | | finish_reason | 字符串类型 | vLLM 生成终止原因：stop（自然结束）或 length（达到最大令牌数限制） | | token_count | 64位整数类型 | 模型输出中的令牌（Token）总数 | ## 生成参数 json { "脚本名称": "eval_model.py", "模型": "reasoning-degeneration-dev/algo-sft-long-arithmetic-distill-qwq", "描述": "针对algo-sft-long-arithmetic-distill-qwq模型在测试集、困难集、分布外拆分集上的完整评估追踪数据", "超参数": { "最大令牌数": 32768, "模型最大上下文长度": 32768, "温度系数": 0.0, "基础模型": "Qwen/Qwen2.5-1.5B-Instruct" }, "输入数据集": [] } ## 使用方法 python from datasets import load_dataset dataset = load_dataset("raca-workspace-v1/algo-sft-eval-traces-long-arithmetic-distill-qwq-v4", split="train") print(f"加载了 {len(dataset)} 行数据") *通过 [RACA](https://github.com/Zayne-sprague/Dr-Claude-Code) 的hf_utility工具上传。