中国网络安全中文基础语料库

中国网络空间安全协会人工智能安全治理专业委员会面向社会发布用于大模型的首批中文基础语料库

The Specialized Committee on Artificial Intelligence Security Governance of the China Cyberspace Security Association has released the first batch of Chinese basic corpora for large language models (LLMs) to the public.

搜集汇总

背景与挑战

背景概述

该数据集是由中国网络空间安全协会于2023年12月20日发布的首批中文基础语料库，专为大型语言模型设计。它包含120GB的高质量中文文本数据，经过去重和过滤处理，总计1亿余条记录和500亿个token，旨在通过共建共享机制支持自然语言理解任务。