codelewm-execution-pack
收藏资源简介：
该数据集是CodeLeWM项目的执行基板包，包含通过沙盒确定性执行器运行Python代码生成的(tokenized code, input, output)三元组。数据集共包含2188条记录，其中1882条来源于HumanEval数据集，306条来源于MBPP-Plus数据集。数据按source_problem_id进行分割，包含训练集(1928条)、验证集(57条)和测试集(203条)，确保问题在不同分割间无泄漏。输出类型分布包括布尔值(620条)、异常(161条)、浮点数(128条)、整数(717条)、列表(354条)、字符串(159条)和元组(49条)。执行状态显示2027条记录正常执行，161条记录引发异常。数据集在严格沙盒策略下生成，包括10秒CPU时间限制、256MB内存限制、禁止网络访问和子进程创建、仅允许标准库导入等约束。数据集采用Apache-2.0和MIT许可证，主要作为研究证据发布，支持代码执行验证相关任务。
This dataset is the execution substrate package for the CodeLeWM project, containing (tokenized code, input, output) triplets generated by running Python code through a sandbox deterministic executor. It consists of 2188 records, with 1882 sourced from the HumanEval dataset and 306 from the MBPP-Plus dataset. The data is split by source_problem_id into training set (1928 records), validation set (57 records), and test set (203 records), ensuring no leakage of problems across splits. Output type distribution includes boolean (620 records), exception (161 records), float (128 records), integer (717 records), list (354 records), string (159 records), and tuple (49 records). Execution status shows 2027 records executed normally, while 161 records raised exceptions. The dataset is generated under strict sandbox policies, including a 10-second CPU time limit, 256MB memory limit, prohibition of network access and subprocess creation, and allowance of only standard library imports. It is licensed under Apache-2.0 and MIT, primarily released as research evidence to support tasks related to code execution verification.
数据集概述
- 数据集名称: abdelstark/codelewm-execution-pack
- 包标识符:
codelewm-passfail-execution-pack-20260606T122240Z - 修订版本:
v0.9.0-rc1 - 模式版本:
codelewm.execution_pack_manifest.v1 - 总记录数: 2188
- 持出记录（MBPP-Plus/HumanEval）：0
- pack.jsonl SHA-256:
a2f994404c00c9129f4265c631e1cfa34d53b39e3b5d5c87959ca9497f1fdbaa - 声明边界 SHA-256:
62c4d29c0eaff1b80c22d4a2b25aee00b205bab342bb50add3436db6e524973e
摘要
该数据集是 CodeLeWM 的执行基底包（Execution-substrate pack）。pack.jsonl 中每一行包含一个经过标记化的 (code, input, output) 三元组，这些三元组通过在沙箱化确定性执行器中运行获得许可的公开 Python 提交代码而生成。该数据集以研究证据形式发布，其支持的声明范围由声明边界文件定义。
来源与许可
| 来源 | 记录数 | 许可 |
|---|---|---|
humaneval |
1882 | MIT |
mbpp_plus |
306 | Apache-2.0 |
归属
humaneval: https://huggingface.co/datasets/openai_humanevalmbpp_plus: https://huggingface.co/datasets/evalplus/mbppplus
沙箱策略
- CPU 时间限制: 10 秒
- 禁止文件系统写入（scratch 目录以外）: 是
- 禁止网络访问: 是
- 禁止子进程: 是
- 确定性检查: 是
- 导入白名单: 仅限标准库（stdlib_only）
- 内存限制: 256 MB
- 输出截断字节数: 4096
- 策略版本:
codelewm.sandbox_policy.v1 - Python 哈希种子: 0
- 标准输出截断字节数: 4096
- 超时时间: 5000 毫秒
确定性及拒绝记录
被拒原因：sandbox_timeout，共计 26 条记录。
数据划分策略
记录按 source_problem_id 分区，确保问题不会在划分之间泄漏。各划分记录数如下：
| 划分 | 记录数 |
|---|---|
test |
203 |
train |
1928 |
val |
57 |
输出分布
按输出类型（output_type）
| output_type | 记录数 |
|---|---|
bool |
620 |
exception |
161 |
float |
128 |
int |
717 |
list |
354 |
str |
159 |
tuple |
49 |
按输出种类（output_kind）
| output_kind | 记录数 |
|---|---|
value |
2188 |
按执行状态（execution_status）
| execution_status | 记录数 |
|---|---|
ok |
2027 |
raised |
161 |
父级工件
| 路径 | SHA-256 |
|---|---|
data/raw/humaneval.jsonl |
b19293e42932e70278b8e5ed83f8c82879cf34e0d3a44cc580f060b7cdaba4f8 |
.artifacts/wsd/humaneval/humaneval_completion_labels.jsonl |
62e1015af33f891938842ab48e983d6501e49919c27a3c855162d9f7b5dfa107 |
data/raw/mbpp_plus.jsonl |
43dd5c25c4f976d6ca98f4475b08fcc2add43b6e480348a22a25d1a020fe5866 |
.artifacts/wsd/mbpp_plus/mbpp_plus_completion_labels.jsonl |
e9dd8d4762616c47fb3468a871cd3f900b6132fbe8c596f4bce3b0ffb00cce02 |
声明边界
该包受执行基底声明边界（execution_substrate.v1）约束，具体条款见 claim_boundary.md 文件。请参照该文件了解本包支持及禁止的声明。
验证方法
bash hf download abdelstark/codelewm-execution-pack --revision v0.9.0-rc1 --local-dir <download-dir> uv run codelewm manifest verify --manifest <download-dir>/manifest.json --json uv run codelewm secret-scan <download-dir> --json
