locuslab/safeweb

--- license: odc-by dataset_info: - config_name: score_1_rephrased features: - name: id dtype: string - name: text dtype: string - name: metadata struct: - name: dump dtype: string - name: url dtype: string - name: date dtype: timestamp[s] - name: file_path dtype: string - name: language dtype: string - name: language_score dtype: float64 - name: token_count dtype: int64 - name: score dtype: float64 - name: int_score dtype: int64 splits: - name: train num_bytes: 74969939090 num_examples: 10479368 download_size: 36222645906 dataset_size: 74969939090 - config_name: score_3_rephrased features: - name: id dtype: string - name: text dtype: string - name: metadata struct: - name: dump dtype: string - name: url dtype: string - name: date dtype: timestamp[s] - name: file_path dtype: string - name: language dtype: string - name: language_score dtype: float64 - name: token_count dtype: int64 - name: score dtype: float64 - name: int_score dtype: int64 splits: - name: train num_bytes: 28764325801 num_examples: 1895430 download_size: 13456567192 dataset_size: 28764325801 - config_name: score_4_rephrased features: - name: id dtype: string - name: text dtype: string - name: metadata struct: - name: dump dtype: string - name: url dtype: string - name: date dtype: timestamp[s] - name: file_path dtype: string - name: language dtype: string - name: language_score dtype: float64 - name: token_count dtype: int64 - name: score dtype: float64 - name: int_score dtype: int64 splits: - name: train num_bytes: 26480744555 num_examples: 1375109 download_size: 12353241867 dataset_size: 26480744555 - config_name: score_5_rephrased features: - name: id dtype: string - name: text dtype: string - name: metadata struct: - name: dump dtype: string - name: url dtype: string - name: date dtype: timestamp[s] - name: file_path dtype: string - name: language dtype: string - name: language_score dtype: float64 - name: token_count dtype: int64 - name: score dtype: float64 - name: int_score dtype: int64 splits: - name: train num_bytes: 25082834979 num_examples: 1028916 download_size: 11443657526 dataset_size: 25082834979 configs: - config_name: score_1_rephrased data_files: - split: train path: score_1_rephrased/train-* - config_name: score_3_rephrased data_files: - split: train path: score_3_rephrased/train-* - config_name: score_4_rephrased data_files: - split: train path: score_4_rephrased/train-* - config_name: score_5_rephrased data_files: - split: train path: score_5_rephrased/train-* ---The dataset consists of four configurations: score_1_rephrased, score_3_rephrased, score_4_rephrased, and score_5_rephrased. Each configuration includes text data and associated metadata such as URL, date, file path, language, language score, token count, score, and integer score. The dataset primarily contains a training set split, with information provided on the data size and number of examples for each split.

搜集汇总

数据集介绍

构建方式

面向开放网络语料治理与语言模型预训练需求，safeweb数据集以网页文本为基底，通过评分分层构建多配置语料。各配置统一包含id、text及metadata结构，后者记录dump、url、date、file_path、language、language_score、token_count、score与int_score等溯源和质量信息。配置命名score_1_rephrased、score_3_rephrased、score_4_rephrased、score_5_rephrased显示其按评分阈值划分，并可能经历重述处理；README未披露采集、过滤与重述的具体流程，仅提供train拆分与文件路径。

特点

作为面向网页质量分层的开放语料，safeweb的特点体现于多配置、统一模式与可溯源元数据。score_1_rephrased规模最大，含10,479,368条样本，约74.97 GB；score_3_rephrased含1,895,430条，约28.76 GB；score_4_rephrased含1,375,109条，约26.48 GB；score_5_rephrased含1,028,916条，约25.08 GB。下载大小依次约为36.22 GB、13.46 GB、12.35 GB与11.44 GB。所有配置仅设train拆分，字段结构一致，便于跨质量层级比较与筛选，且采用ODC-BY许可。

使用方法

在语言模型训练与语料分析场景中，safeweb可通过Hugging Face datasets库按配置加载，例如load_dataset('<repo_id>', name='score_1_rephrased', split='train')。使用者可依据metadata.score或int_score进行质量分层采样，借助language与language_score筛选语种，利用token_count控制序列长度，并通过url、date、dump、file_path开展溯源与时间分析。由于仅提供train拆分，验证集与测试集需自行切分；使用时应遵循ODC-BY许可并注明来源。

背景与挑战

背景概述

在网络语料治理与安全对齐研究日益成为大模型发展核心议题的背景下，safeweb数据集以HuggingFace平台为发布载体，提供按质量评分分层并经改写处理的多语言网页文本。依据数据卡披露，其规模覆盖score_1至score_5四个配置，样本量自百万级至千万级不等，字段囊括来源、时间、语言置信度、词元数量及评分信息。该数据集的核心研究问题在于如何从开放网页中筛选安全、可用且具训练价值的文本，并借助改写机制降低潜在风险。其影响力体现在为安全内容筛选、语料质量评估及大模型安全微调提供可复现的数据基础。数据卡未明确标注创建时间、主要研究人员或机构。

当前挑战

面向开放网络文本的安全治理，该数据集需解决的核心领域问题在于安全性与有用性的张力：过度过滤会损害语言多样性与知识覆盖，过滤不足则可能引入有害、偏见或侵权内容。构建过程中，多语言网页的采集、去重、质量评分、改写保真与隐私合规构成主要挑战，来源异构与时间跨度亦增加标注一致性难度。评分分层虽提供质量梯度，但自动评分与改写可能引入分布偏移，且高资源语言占比、低资源语言覆盖不足等问题可能影响下游公平性。ODC-BY许可虽利于开放使用，仍需关注原始网页版权与个人信息残留风险。

常用场景

经典使用场景

在开放域语言模型预训练语料构建的脉络中，Safeweb 数据集以质量评分分层与文本改写为核心特征，成为研究大规模网页文本筛选与利用的经典资源。其 score_1 至 score_5 配置对应不同质量层级，样本规模从千万级递减至百万级，研究者常据此开展质量感知预训练、课程学习与数据消融实验，通过对比不同评分层对模型语言建模能力的影响，揭示数据质量与模型性能之间的关联。

衍生相关工作

围绕 Safeweb 的质量分层与改写特性，相关研究衍生出数据筛选算法、课程学习策略与质量感知预训练框架等经典工作。这些工作利用 score 与 int_score 探索动态采样、分层训练及数据配比优化，并检验改写文本对模型泛化与安全性的影响。由此形成的可复现流程被广泛借鉴于开源大模型语料构建，促进了预训练数据研究从单一规模扩张转向质量与安全并重的范式演进。

数据集最近研究

最新研究方向

在大规模语言模型预训练语料的安全治理与质量分层日益成为关键议题的背景下，Safeweb凭借score_1、score_3、score_4、score_5_rephrased等质量分档及改写文本配置，为质量感知的数据选择、课程学习与安全对齐研究提供了可操作基底。当前前沿探索聚焦于依据score、int_score、language_score与token_count实施动态采样，在保留网页语义的同时降低版权、隐私与有害内容风险；结合dump、url、date、file_path等溯源信息，研究者亦在开展时间切片、来源可信度与多语言公平性分析。改写机制与质量评分的耦合，有助于抑制模型逐字记忆，并支撑红队测试、内容过滤与合规审计。与AI法案、开放数据版权争议及模型安全治理热点相呼应，该数据集推动了可复现的语料筛选范式，对构建透明、可审计且兼顾效能的预训练数据管线具有基础性意义。