中国古诗词全集

# 中华古诗词数据集 (Chinese Poetry Dataset) > 从中华古诗词开源数据库整理而成，共 **388,883** 首诗词，涵盖唐、宋、五代、元、先秦、周、汉、清等多个朝代。 ## 数据格式 JSONL 格式（每行一条 JSON 记录），字段仅含 `text`，将标题、朝代、作者、正文融合为一句自然语言描述： ```json {"text": "登鹳雀楼是唐朝王之涣写的：白日依山尽，黄河入海流。欲穷千里目，更上一层楼。"} {"text": "静夜思是唐朝李白写的：床前明月光，疑是地上霜。举头望明月，低头思故乡。"} {"text": "春晓是唐朝孟浩然写的：春眠不觉晓，处处闻啼鸟。夜来风雨声，花落知多少。"} ``` 格式说明： ``` {text} = {title}是{dynasty}朝{author}写的：{content} ``` | 组成部分 | 说明 | 示例 | |---------|------|------| | title | 诗词标题/词牌名 | 登鹳雀楼、清平乐·上陽春晚 | | dynasty | 朝代 | 唐、宋、五代、元、先秦、周、汉、清 | | author | 作者 | 李白、杜甫、温庭筠、佚名 | | content | 诗词正文 | 白日依山尽，黄河入海流…… | ## 数据统计 | 项目 | 数值 | |------|------| | 总记录数 | 388,883 条 | | 文件大小 | 93.89 MB | | 文件格式 | JSONL (UTF-8) | | 平均每条长度 | 80 字符 | | 最长记录 | 22,946 字符 | | 最短记录 | 9 字符 | ### 朝代分布 | 朝代 | 记录数 | 占比 | |------|--------|------| | 唐 | 355,535 | 91.4% | | 宋 | 21,333 | 5.5% | | 元 | 10,890 | 2.8% | | 五代 | 506 | 0.1% | | 周（诗经） | 305 | 0.1% | | 先秦（楚辞） | 65 | <0.1% | | 汉（曹操） | 26 | <0.1% | | 清（纳兰性德） | 4 | <0.1% | | 其他（蒙学等） | 219 | 0.1% | ## 数据来源 基于以下开源项目整理转换： - **[chinese-poetry/chinese-poetry](https://github.com/chinese-poetry/chinese-poetry)** - 最全中华古诗词数据库（GitHub 52.8k+ Stars） 原始数据包含： - 《全唐诗》约 5.5 万首 - 《全宋诗》约 26 万首 - 《全宋词》约 2.1 万首 - 《五代诗词》（花间集、南唐） - 《元曲》 - 《楚辞》 - 《诗经》305 篇 - 《论语》、《四书五经》 - 蒙学经典（百家姓、弟子规、古文观止、千家诗、千字文、三字经等） - 纳兰性德诗集 - 曹操诗集 - 幽梦影 - 水墨唐诗 - 御定全唐诗 900 卷 ## 数据处理说明 ### 转换规则 1. **统一格式**：将原始数据中多种不同的 JSON 结构（含 `paragraphs`、`content`、`rhythmic` 等字段）统一转换为 `{"text": "..."}` 格式。 2. **朝代标注**：根据原始文件路径自动推断朝代信息。 3. **正文拼接**：将多段 `paragraphs`/`content` 数组拼接为单行文本。 4. **编码统一**：保留原始繁简体混合文本，未做转换。 ### 已排除的数据 以下非诗词内容未包含在数据集中： - `loader/` - 加载器配置 - `strains/` - 平仄结构数据 - `error/` - 校验错误记录 - `表面结构字` - 汉字结构数据 - `authors.*` - 作者列表（已内嵌到每条记录中） ## 使用方法 ### Python ```python import json with open("poetry.jsonl", "r", encoding="utf-8") as f: for line in f: record = json.loads(line) print(record["text"]) ``` ### ModelScope / 魔搭社区 ```python from modelscope.msdatasets import MsDataset dataset = MsDataset.load("your-username/chinese-poetry-dataset") print(dataset[0]) ``` ### Hugging Face Datasets ```python from datasets import load_dataset dataset = load_dataset("json", data_files="poetry.jsonl") print(dataset["train"][0]) ``` ### LLM 微调 本数据集格式兼容大语言模型指令微调场景，可直接用于： - 古诗词续写训练 - 文学风格迁移 - 诗词知识问答 - 中文 NLP 预训练 ## 许可证 本数据集采用 [CC BY-NC 4.0](https://creativecommons.org/licenses/by-nc/4.0/deed.zh-hans)（署名-非商业性使用 4.0 国际）协议。 - ✅ 允许：共享、改编、注明出处 - ❌ 禁止：商业用途 原始诗词文本属于公共领域。数据整理转换基于 [chinese-poetry/chinese-poetry](https://github.com/chinese-poetry/chinese-poetry) 开源项目。 ## 引用 如果本数据集对您的研究有帮助，请引用原始数据来源： ```bibtex @misc{chinese-poetry, author = {chinese-poetry}, title = {The most comprehensive database of Chinese poetry}, url = {https://github.com/chinese-poetry/chinese-poetry}, year = {2023} } ```