temperature-sweep-data
收藏资源简介：
该数据集是“温度扫描”项目的原始模型输出集合，主要用于代码生成和其他领域（如分子合成、目标推断和Spider）的模型行为分析。数据集包含多个配置，覆盖不同领域：DS-1000（1000个代码生成问题，使用官方提示）、分子合成（smiles）、目标推断（goal）、Spider和LiveCodeBench。数据内容包括模型输出（rollouts）、失败案例（failures）和主题分析（themes）。对于DS-1000，数据来自6个Llama模型（如Meta-Llama-3-8B-Instruct等），温度范围从0.0到1.4，每个问题有100个样本（温度0.0时1个样本），其中温度≤1.0的输出经过评分（passed字段表示确定性评分器的裁决），温度1.2和1.4的输出未评分（passed为NULL）。此外，还包括外部模型（如Qwen/Qwen2.5-Coder-7B和deepseek-ai/deepseek-coder-6.7b-base）在DS-1000子集上的运行结果。对于其他领域（如smiles、goal、spider），所有实例均经过完整评分。数据以Hive分区Parquet格式存储，分区路径包括domain、model和temp字段，便于直接查询。每个数据文件包含字段如instance_id、sample、library、text、finish、n_tokens、passed、score、valid等，其中passed表示评分结果（DS-1000为二进制，其他领域有相应评分逻辑）。数据集适用于代码生成模型评估、温度对模型输出影响的研究以及多领域任务分析。用户可通过DuckDB直接查询数据或下载特定部分，无需完全下载。
This dataset is a collection of raw model outputs from the temperature sweep project, primarily used for code generation and model behavior analysis in other domains such as molecular synthesis, goal inference, and Spider. The dataset includes multiple configurations covering different domains: DS-1000 (1000 code generation problems with official prompts), molecular synthesis (smiles), goal inference (goal), Spider, and LiveCodeBench. Data content includes model outputs (rollouts), failure cases (failures), and thematic analysis (themes). For DS-1000, data comes from six Llama models (e.g., Meta-Llama-3-8B-Instruct, etc.), with temperature ranges from 0.0 to 1.4, each problem having 100 samples (1 sample at temperature 0.0). Outputs with temperature ≤1.0 are scored (the passed field indicates the deterministic scorers judgment), while outputs at temperatures 1.2 and 1.4 are not scored (passed is NULL). Additionally, it includes results from external models (e.g., Qwen/Qwen2.5-Coder-7B and deepseek-ai/deepseek-coder-6.7b-base) on subsets of DS-1000. For other domains (e.g., smiles, goal, spider), all instances are fully scored. The data is stored in Hive-partitioned Parquet format, with partition paths including domain, model, and temp fields for easy querying. Each data file contains fields such as instance_id, sample, library, text, finish, n_tokens, passed, score, valid, etc., where passed indicates scoring results (binary for DS-1000, with corresponding logic for other domains). The dataset is suitable for code generation model evaluation, research on the impact of temperature on model outputs, and multi-domain task analysis. Users can query the data directly via DuckDB or download specific parts without needing to download the entire dataset.
数据集概述
名称: Temperature-sweep rollouts
许可证: 其他（other）
标签: code-generation, temperature-sweep, ds1000
该数据集包含多个配置（config），每个配置对应一个或多个域的 Parquet 文件，存储于不同的 hive 分区路径下。
配置列表
| 配置名 | 数据文件路径 |
|---|---|
| rollouts-ds1000 | rollouts/domain=ds1000/**/*.parquet |
| rollouts-smiles | rollouts/domain=smiles/**/*.parquet |
| rollouts-goal | rollouts/domain=goal/**/*.parquet |
| rollouts-spider | rollouts/domain=spider/**/*.parquet |
| rollouts-livecodebench | rollouts/domain=livecodebench/**/*.parquet |
| failures-ds1000 | failures/domain=ds1000/**/*.parquet |
| failures-livecodebench | failures/domain=livecodebench/**/*.parquet |
| themes-ds1000 | themes/domain=ds1000/**/*.parquet |
| themes-livecodebench | themes/domain=livecodebench/**/*.parquet |
每个配置仅包含一个 train 分割。
数据集内容
1. DS-1000 域
- 问题数量: 1000 个问题，使用官方提示词。
- 模型: 6 个 Llama 模型（Meta-Llama-3-8B、Meta-Llama-3-8B-Instruct、Llama-3.1-8B、Llama-3.1-8B-Instruct、Llama-3.2-1B、Llama-3.2-1B-Instruct）。
- 温度范围: 0.0 至 1.4。
- 采样数量: 每个问题在每个温度下 100 个样本（温度 0.0 时 1 个样本）。
- 评分说明: 温度 ≤ 1.0 的样本已评分；温度 1.2 和 1.4 的样本未评分（
passed为 NULL）。
2. DS-1000 外部运行
- 模型: Qwen/Qwen2.5-Coder-7B（qwen25-coder-7b）、deepseek-ai/deepseek-coder-6.7b-base（dscoder-6.7b-base）。
- 问题子集: 固定 701 个问题。
- 提示词约定: 使用
# SOLUTION START/END格式（非官方插入格式）。 - 温度范围: 0.0 至 1.4（dscoder 缺失温度 0.2）。
- 评分说明: 温度 ≤ 1.0 已评分，更高温度未评分。
3. 分子合成 / 目标推理 / Spider 域
- 实例数量: 每个域 100 个实例。
- 模型: 6 个 Llama 模型。
- 温度范围: 0.0 至 1.4。
- 评分说明: 全部已评分，每个域组共 144 个单元。
数据布局（Hive 分区 Parquet）
所有数据以 Hive 分区格式存储，model 和 temp 同时存在于分区路径和列中，便于过滤和查询。
主要目录结构
-
rollouts/（主 rollout 数据）
- 分区:
domain=<d>/model=<tag>/temp=<t>/data.parquet - 列: instance_id, sample, library, text, finish, n_tokens, passed, score, valid
- 分区:
-
failures/（失败数据，仅 DS-1000 域，温度 0.0 和 0.8）
- 分区: 同上
- 列: instance_id, sample, library, category, exc_type, exc_msg, tb, solution
-
themes/（主题数据，仅 DS-1000 域，温度 0.0 和 0.8）
- 分区: 同上
- 列: instance_id, sample, library, themes[], primary, rationale
-
prompts/（提示词数据）
- 分区:
domain=<d>/model=<tag>/data.parquet - 列: instance_id, prompt
- 分区:
-
metrics/（指标 JSON 文件）
metrics/<d>/sweep_<model>_t<temp>_metrics.json: 每个单元的 pass@k 指标。metrics/ds1000/code_contexts.json: 官方测试框架。metrics/domains/failure_classification.json: green/amber/red 分类。
列语义说明
| 列名 | 说明 |
|---|---|
| passed | 确定性评分器的判定结果（NULL 表示未评分单元）。对于已评分单元，sum(passed) 等于对应指标 JSON 中的正确计数。 |
| library | DS-1000 库名称（其他域为 NULL）。 |
| score / valid | 对于 DS-1000，为 NULL（二值评分）。对于 smiles，score = RDKit QED，valid = 可解析分子（passed == valid）。对于 goal/spider，score 为评估器得分，passed == (score >= 1)。 |
DS-1000 评分详情
- 使用官方
test_execution（部分使用test_string）在独立子进程中执行。 - 超时时间：120 秒进程组超时。
- 每次调用使用独立工作目录。
- 无
.strip()后处理。 - 评分完全确定。
本地查询示例（无需完整下载）
可使用 DuckDB 直接查询 Hugging Face 上的数据，例如：
python import duckdb con = duckdb.connect() con.sql("CREATE SECRET (TYPE HUGGINGFACE, PROVIDER credential_chain)") df = con.sql(""" SELECT model, temp, avg(passed::INT) AS pass_rate FROM read_parquet(hf://datasets/samukie/temperature-sweep-data/rollouts/**/*.parquet, hive_partitioning=1) WHERE domain=ds1000 AND passed IS NOT NULL GROUP BY model, temp ORDER BY model, temp """).df()
注意:
- 必须设置
hive_partitioning=1。 - themes 表中的
primary列需加引号。 - 过滤
passed IS NOT NULL以排除未评分单元。 - 温度值（temp）为字符串类型。
也可使用 hf download 下载部分切片：
hf download samukie/temperature-sweep-data --repo-type dataset --include "rollouts/domain=ds1000/model=llama3-8b/*"
