ParaGen-Bench
收藏资源简介：
PGen Benchmark是一个用于参数/权重生成方法的基准数据集，这些方法直接生成目标神经网络的权重，而非通过传统训练方式。数据集围绕cell（即<架构>__<数据集>对）进行组织，每个cell代表一个特定的神经网络架构和数据集组合，生成器基于该cell的检查点池进行训练，并通过将生成权重加载到目标架构中并测量任务性能来评估。数据集包含三个核心部分：metadata/（元数据目录），已填充每个cell的注册信息，包括架构、数据集、配置、参数、基础准确率和检查点路径，当前覆盖281次运行、56个cell，涵盖四个任务：图像分类（16个cell）、文本分类（27个cell）、图像分割（9个cell）和强化学习（4个cell）；ckpt/（检查点池目录），目前为占位符，计划存储用于生成器学习的权重文件；prompt/（提示目录），已填充每个cell的文本条件，包含30个自然语言描述（20个用于训练，10个用于测试），总计56个cell × 30个提示 = 1680个提示（1120个训练提示，560个测试提示）。数据规模为56个唯一cell，每个cell关联30个提示，适用于参数生成、权重生成和模型基准测试任务。数据集状态为框架脚手架，metadata/和prompt/已填充，ckpt/待后续填充。
PGen Benchmark is a benchmark dataset for parameter/weight generation methods that directly generate the weights of target neural networks, instead of using traditional training workflows. The dataset is organized around 'cell', which refers to the <architecture>__<dataset> pair. Each cell represents a specific combination of neural network architecture and dataset. The generator is trained on the checkpoint pool of the corresponding cell, and evaluated by loading the generated weights into the target architecture and measuring the task performance. The dataset contains three core components: 1. metadata/ (metadata directory): This directory is populated with registration information for each cell, including architecture, dataset, configuration, parameters, baseline accuracy and checkpoint path. Currently, it covers 281 runs, 56 cells, and four tasks: image classification (16 cells), text classification (27 cells), image segmentation (9 cells) and reinforcement learning (4 cells). 2. ckpt/ (checkpoint pool directory): Currently a placeholder, it is planned to store weight files for generator learning. 3. prompt/ (prompt directory): This directory is populated with text conditions for each cell, containing 30 natural language descriptions (20 for training, 10 for testing). In total, there are 56 cells × 30 prompts = 1680 prompts (1120 training prompts, 560 test prompts). The dataset has a scale of 56 unique cells, each associated with 30 prompts, and is applicable to parameter generation, weight generation and model benchmarking tasks. The dataset is currently in a framework scaffold state: the metadata/ and prompt/ directories have been fully populated, while the ckpt/ directory awaits future population.
数据集概述
数据集名称： PGen Benchmark（ParaGen-Bench）
许可证： MIT
任务类别： 其他（参数/权重生成）
适用场景： 评估参数/权重生成方法，即直接生成目标神经网络的权重，而非通过训练获得。
数据集结构与内容
数据集按 cell 组织，每个 cell 对应一个 <架构>__<数据集> 组合。生成器在该 cell 的检查点池上训练，并通过将生成的权重加载到目标架构中评估性能。
数据集包含三个主要部分，均通过 cell 键（<arch>__<dataset>）对齐：
| 部分 | 内容 | 状态 |
|---|---|---|
metadata/ |
每个 cell 的注册信息：架构、数据集、配置、参数量、基准准确率、检查点路径 | 已填充 |
ckpt/ |
生成器学习的检查点池（权重文件，通过 git-LFS 管理） | 占位符 |
prompt/ |
每个 cell 的文本条件/任务描述，用于条件式权重生成 | 已填充 |
1. metadata/ 目录
registry/<任务>.json：四个任务注册表（image_classification、text_classification、image_segmentation、reinforcement_learning），包含models[].runs[]及其完整训练信息和ckpt_path。index.json：扁平列表，每行对应一个运行，字段包括cell、task、arch、dataset、model_id、base_val_acc、total_params、ckpt_path、config_path。cells.json：唯一 cell 列表，包含运行次数和验证准确率范围。
当前覆盖范围： 281 次运行，覆盖 56 个 cell，4 个任务（图像分类 16、文本分类 27、图像分割 9、强化学习 4）。
2. prompt/ 目录
每个 cell 包含 30 条自然语言描述，用于条件式权重生成，按 20 条训练 / 10 条测试 划分。
prompt/<cell>.json：{"cell": ..., "train": [20], "test": [10]}prompt/prompts.json：索引文件{cell: {"train": [...], "test": [...]}}
覆盖范围： 所有 56 个 cell x 30 条提示（共 1120 条训练、560 条测试）。
使用示例（代码片段）
python import json idx = json.load(open("metadata/index.json")) for run in idx["runs"]: key = run["cell"] # 例如 "image_cnn__cifar10" arch = run["arch"] ckpt = run["ckpt_path"] # -> ckpt/... acc = run["best_val_acc"] # 基准（训练后）参考准确率
当前状态
框架已搭建完成。metadata/ 已从原始注册表填充；ckpt/ 和 prompt/ 目前为占位符，待后续填充。
