wangzhang/prometheus-datasets

---
license: agpl-3.0
task_categories:
- text-classification
language:
- en
tags:
- abliteration
- safety
- alignment
- prometheus
size_categories:
- 1K<n<10K
---

# Prometheus Evaluation Datasets

Curated prompt datasets used by [Prometheus](https://github.com/wuwangzhang1216/prometheus) for automated LLM abliteration optimization.

## Dataset Structure

| File | Count | Description |
|------|-------|-------------|
| `good_500/good_prompts_500.json` | 500 | Harmless prompts (iteration set) |
| `good_1000/good_prompts_1000.json` | 1000 | Harmless prompts (full set) |
| `harmful_500/harmful_prompts_500.json` | 500 | Harmful prompts (iteration set) |
| `harmful_1000/harmful_prompts_1000.json` | 1000 | Harmful prompts (full set) |

The 500-example sets are recommended for faster iteration (~2x speedup vs 1000 with no clear quality loss).

## Schema

Each entry contains:

| Field | Description |
|-------|-------------|
| `id` | Unique identifier |
| `prompt` | The prompt text |
| `source` | Generation source |
| `category` | Topic category |
| `language` | Language code |
| `policy_label` | Safety policy classification |
| `risk_level` | Risk level assessment |
| `topic_tag` | Topic tag |
| `sophistication` | Prompt sophistication level |
| `format` | Prompt format |
| `style_family` | Style classification |
| `design_goal` | Design intent |

## Usage

These datasets are used by Prometheus to compute refusal directions and evaluate abliteration effectiveness. See the [Prometheus README](https://github.com/wuwangzhang1216/prometheus) for details.

## License

[AGPL-3.0](https://www.gnu.org/licenses/agpl-3.0)

---
许可证: AGPL-3.0
任务类别:
- 文本分类
语言:
- 英语
标签:
- 模型消融（abliteration）
- 安全
- 对齐
- Prometheus
样本规模:
- 1K<n<10K
---

# 普罗米修斯（Prometheus）评测数据集

本数据集为经筛选的提示词数据集，供[普罗米修斯（Prometheus）](https://github.com/wuwangzhang1216/prometheus)项目用于大语言模型（Large Language Model，LLM）自动化模型消融优化任务。

## 数据集结构

| 文件路径 | 样本数量 | 描述 |
|---------|---------|------|
| `good_500/good_prompts_500.json` | 500 | 无害提示词（迭代集） |
| `good_1000/good_prompts_1000.json` | 1000 | 无害提示词（全集） |
| `harmful_500/harmful_prompts_500.json` | 500 | 有害提示词（迭代集） |
| `harmful_1000/harmful_prompts_1000.json` | 1000 | 有害提示词（全集） |

推荐使用500条样本的迭代集以加速迭代（相较于1000条样本集，速度提升约2倍且无明显质量损失）。

## 数据结构规范

每条数据条目包含以下字段：

| 字段名 | 字段说明 |
|-------|---------|
| `id` | 唯一标识符 |
| `prompt` | 提示词文本 |
| `source` | 生成来源 |
| `category` | 主题类别 |
| `language` | 语言代码 |
| `policy_label` | 安全策略分类标签 |
| `risk_level` | 风险等级评估 |
| `topic_tag` | 主题标签 |
| `sophistication` | 提示词复杂度等级 |
| `format` | 提示词格式 |
| `style_family` | 风格分类 |
| `design_goal` | 设计意图 |

## 使用方式

本数据集供普罗米修斯项目用于计算拒答方向与评估模型消融效果。详细使用说明请参阅[普罗米修斯项目README文档](https://github.com/wuwangzhang1216/prometheus)。

## 许可证

[AGPL-3.0](https://www.gnu.org/licenses/agpl-3.0)