qundao/data-zh-poetry

--- license: cc-by-sa-4.0 task_categories: - text-classification - text-generation language: - zh tags: - poetry - text - literature size_categories: - 1M<n<10M --- # Classical Chinese Poetry 中国古诗词 中国古典诗歌（包括少量文言文作品，以及现当代创作的古体诗词）。 资料汇聚自网络，目前约170万篇诗文，作者超过4万。 数据虽经进行粗略清洗，但仍错谬较多，相似文本重复、繁简混杂、PUA和乱码字符、内容残缺、作者错误等。 本资料仅供参考，古诗词学习参考正规出版社书籍或原始古籍。 主要参考资料： - https://github.com/chinese-poetry/chinese-poetry - https://github.com/javayhu/haitang/ - https://github.com/liuhuanyong/PoemMining - https://github.com/open-chinese/poetry-collection - https://github.com/Werneror/Poetry - https://github.com/xiu-ze/Poetry/ - https://huggingface.co/datasets/erhwenkuo/poetry-chinese-zhtw - https://huggingface.co/datasets/larryvrh/Chinese-Poems - https://huggingface.co/datasets/zhangqiaobit/chinese_poetrys/tree/main--- license: CC BY-SA 4.0 task_categories: - 文本分类（text-classification） - 文本生成（text-generation） language: - 中文（zh） tags: - 诗歌（poetry） - 文本（text） - 文学（literature） size_categories: - 1M<n<10M --- # 中国古典诗歌（Classical Chinese Poetry） 本数据集涵盖中国古典诗歌（包含少量文言文作品，以及现当代创作的古体诗词）。 数据汇集自互联网，目前收录诗文约170万篇，涉及作者四万余人。本数据集虽经初步清洗，但仍存在较多错漏问题，包括相似文本重复、繁简字体混杂、PUA及乱码字符、内容残缺、作者信息错误等。本数据集仅作参考之用，如需学习古诗词，请以正规出版社出版的书籍或原始古籍为准。 主要参考数据源： - https://github.com/chinese-poetry/chinese-poetry - https://github.com/javayhu/haitang/ - https://github.com/liuhuanyong/PoemMining - https://github.com/open-chinese/poetry-collection - https://github.com/Werneror/Poetry - https://github.com/xiu-ze/Poetry/ - https://huggingface.co/datasets/erhwenkuo/poetry-chinese-zhtw - https://huggingface.co/datasets/larryvrh/Chinese-Poems - https://huggingface.co/datasets/zhangqiaobit/chinese_poetrys/tree/main

搜集汇总

背景与挑战

背景概述

该数据集汇集了约170万篇中文古典诗歌及少量文言文与现当代古体诗词，作者数量超过4万。数据以JSON格式提供，适用于文本分类和文本生成任务，采用CC-BY-SA-4.0许可证开源。