AlgorithmicResearchGroup/s2orc-safety

---
license: other
task_categories:
- text-classification
- text-retrieval
language:
- en
pretty_name: S2ORC Safety
size_categories:
- 10K<n<100K
configs:
- config_name: default
data_files:
- split: train
path: main/*.parquet
---

# S2ORC Safety

This dataset is a filtered and enriched subset of an S2ORC computer science paper corpus, focused on AI safety and adjacent safety-relevant research.

It contains `16,806` papers selected through:

1. local embedding generation
2. clustering
3. GPT-5.4 mini cluster-level screening
4. GPT-5.4 mini paper-level labeling
5. a rescue relabel pass on suspicious exclusions
6. structured metadata extraction over the accepted paper set
7. filtering out `304` rows that were missing both `parsed_title` and `abstract`

## Main Files

- `main/*.parquet`
- sharded full enriched source rows
- extracted metadata
- normalized GitHub repo links
- Hugging Face code mirror links
- normalized model / dataset / metric / scalar fields

- `metadata/*.parquet`
- sharded metadata extraction only

- `paper_metadata_summary_normalized.json`
- corpus-level summary statistics over the normalized metadata fields

- `code_links/*.parquet`
- sharded paper-to-code join table with normalized GitHub URLs and HF mirror paths

## Contents

The main parquet includes:

- original enriched paper fields from the source corpus
- title, abstract, full text, sections, references, authors, venue metadata, URLs
- extracted source-side fields like `summary`, `methods`, `results`, `models`, `datasets`, `metrics`, `limitations`, `training_details`

- metadata extraction fields
- reproducibility:
- `repro_steps_json`
- `setup_requirements_json`
- `training_or_eval_recipe_json`
- `artifact_availability_json`
- `code_urls_json`
- `dataset_urls_json`
- `model_urls_json`
- safety taxonomy:
- `safety_area_json`
- `attack_or_defense_json`
- `threat_model_json`
- `target_system_json`
- `harm_type_json`
- experimental details:
- `target_models_json`
- `datasets_benchmarks_json`
- `baselines_compared_json`
- `evaluation_metrics_json`
- `main_results_json`
- `claimed_contributions_json`
- practicality:
- `compute_requirements_json`
- `runtime_cost`
- `human_eval_required`
- `closed_model_dependency`
- `deployment_readiness`
- `replication_difficulty`
- `extraction_confidence`

- normalized fields
- `setup_requirements_norm_json`
- `target_models_norm_json`
- `datasets_benchmarks_norm_json`
- `baselines_compared_norm_json`
- `evaluation_metrics_norm_json`
- `runtime_cost_norm`
- `human_eval_required_norm`
- `closed_model_dependency_norm`
- `deployment_readiness_norm`
- `replication_difficulty_norm`

- code link fields
- `github_repo_urls_json`
- `hf_code_paths_json`
- `hf_code_web_urls_json`
- `github_repo_count`
- `hf_code_repo_count`

## Missing Values

- missing list-like fields are stored as empty JSON arrays
- missing scalar categorical fields are stored as `"None specified"`

## Notes

- This is a broad-tent AI safety dataset rather than a narrow alignment-only dataset.
- The labeling and extraction steps were LLM-assisted and should be treated as high-utility annotations, not ground truth.
- Process-only columns used to build the release were removed from the published parquet.
- The companion code mirror is published separately as `AlgorithmicResearchGroup/s2orc-safety-code`.
- Normalization is conservative. It collapses obvious duplicates like `CIFAR10` / `CIFAR-10`, `ResNet50` / `ResNet-50`, and `accuracy` / `Accuracy`, but does not try to solve full ontology matching.

搜集汇总

数据集介绍

构建方式

在人工智能安全研究领域，构建高质量的数据集对于推动相关学术进展至关重要。S2ORC Safety数据集源于S2ORC计算机科学论文语料库，通过多阶段筛选与标注流程精心构建而成。具体而言，该过程始于本地嵌入生成与聚类分析，随后利用GPT-5.4 mini模型进行集群级筛选与论文级标注，并对可疑排除项进行救援性重标。在此基础上，对接受的论文集合执行结构化元数据提取，最终过滤掉同时缺失标题与摘要的条目，从而确保了数据集的学术严谨性与内容完整性。

使用方法

研究人员可借助该数据集开展多样化的文本分类与检索任务，深入探索人工智能安全的前沿议题。数据集以Parquet格式分片存储，便于高效加载与处理。用户可通过主文件访问完整的论文内容与元数据，或利用独立的元数据文件与代码链接表进行针对性分析。数据集中的规范化字段为跨论文比较提供了便利，而明确的缺失值处理机制则确保了分析的可靠性。建议将数据集视为高实用性的标注资源，结合其配套的代码镜像库，可进一步支撑可重复性研究与实践部署。

背景与挑战

背景概述

随着人工智能技术的迅猛发展，其安全性与伦理问题日益成为学术研究的核心关切。S2ORC Safety数据集应运而生，由相关研究机构基于S2ORC计算机科学论文语料库构建，专注于人工智能安全及邻近安全相关研究领域。该数据集通过先进的自然语言处理技术，从海量学术文献中筛选出16,806篇论文，并进行了系统的元数据提取与结构化标注。它不仅涵盖了论文的基本信息，还深入提取了可复现性、安全分类、实验细节及实用性等多维度特征，为AI安全研究提供了高质量、细粒度的数据资源，显著推动了该领域从理论探讨向实证分析的转变。

当前挑战

在人工智能安全研究领域，核心挑战在于如何系统性地识别、分类与评估各类安全风险，并促进研究成果的可复现与实际应用。S2ORC Safety数据集旨在应对这一挑战，通过结构化标注支持对安全威胁模型、攻击防御策略及危害类型等进行细粒度分析。然而，其构建过程面临多重困难：首先，从庞杂的学术文献中精准筛选安全相关论文需要高效的嵌入表示与聚类方法；其次，依赖大语言模型进行标注虽提升了效率，但标注结果仍存在不确定性，需通过人工复核确保质量；此外，元数据字段的规范化处理涉及复杂的实体消歧与本体匹配问题，保守的归一化策略虽避免了错误，但未能完全解决语义一致性难题。这些挑战共同影响了数据集的完备性与标注的精确度。

常用场景

经典使用场景

在人工智能安全研究领域，S2ORC Safety数据集为学者提供了一个结构化的文献分析平台。该数据集通过嵌入生成、聚类与大型语言模型标注，精选了超过一万六千篇计算机科学论文，聚焦于AI安全及相关安全议题。研究者可借助其丰富的元数据字段，如安全分类、实验细节与可复现性信息，系统性地探索安全威胁模型、攻击防御策略以及危害类型，从而支撑大规模文献综述或趋势分析工作。

解决学术问题

该数据集有效应对了人工智能安全研究中文献分散、标注缺失的挑战。通过提供标准化的安全分类体系与实验元数据，它助力学者厘清安全研究的知识脉络，识别核心威胁与防御机制。其意义在于构建了一个可计算的安全研究知识库，不仅促进了跨研究的安全概念对齐，还为量化分析安全技术的演进、评估方法的成熟度提供了数据基础，推动了领域向更系统化、实证化的方向发展。

实际应用

在实际应用层面，S2ORC Safety数据集可作为开发安全评估工具与政策制定的参考依据。工程团队可利用其提取的代码链接、模型与数据集信息，快速定位相关实现以进行安全审计或基准测试。同时，政策研究者能通过分析安全领域分布与部署就绪度等字段，评估不同安全技术的实际可行性，为制定人工智能治理框架或行业安全标准提供数据驱动的洞察。

数据集最近研究

最新研究方向

在人工智能安全领域，S2ORC Safety数据集正成为前沿研究的关键资源，其聚焦于计算机科学论文中与安全相关的广泛议题。当前研究热点围绕大模型安全评估与对抗性防御展开，借助数据集中丰富的元数据标注，学者们能够系统分析威胁模型、攻击防御策略及危害类型。该数据集通过集成代码链接与规范化字段，促进了可复现性研究，尤其在模型部署准备度与计算需求评估方面提供了实证基础。随着全球对AI治理的关注升温，此类结构化知识库为制定安全标准与缓解技术风险提供了数据驱动的洞察，推动了跨学科安全研究向更系统化、可操作的方向演进。