gszauer/Gab100MPretrain

Gab 100M Pretrain是一个长形式英语散文的预训练语料库，涵盖广泛的日常和教育主题。文本以清晰、可读的英语撰写，适用于文本生成的语言模型预训练。--- 许可证：MIT协议 任务类别： - 文本生成 友好名称：Gab 100M 预训练语料库 --- # Gab 100M 预训练语料库 本数据集为长格式英文散文预训练语料库，涵盖广泛的日常与教育主题内容。文本语言清晰易读，适用于文本生成方向的大语言模型（Large Language Model）预训练。 本语料库用于训练 [Gab100M](https://huggingface.co/gszauer/Gab100M) —— [演示站点](https://giftofgab.chat/) ## 数据集构成 该语料库融合了多个领域、多种文档风格的说明性、资讯性与对话式文本。 ### 主题分类 - **K-12基础教育** —— 阅读、写作、语法、词汇、文学、创意写作、公共演讲、戏剧、数学、生物学、化学、地球与空间科学、环境科学、工程学、机器人学、计算机素养、美国与世界历史、公民学、地理学、世界宗教、哲学、学习与研究技能、金融素养、健康、体育、音乐与视觉艺术。 - **生活技能** —— 烹饪、营养学、个人理财、投资、职业发展、人际关系、心理健康、急救、数字生活、消费与法律基础，以及木工、细木作、管道工程、电气维修、缝纫、针织、园艺、摄影等家庭手艺。 - **业余爱好** —— 国际象棋、桌面与卡牌游戏、模型制作、歌唱、乐器演奏，以及各类体育运动。 - **通识知识** —— 科普、数学、神话学、宗教与政治理念、哲学，以及“事物运作原理”科普文章。 - **编程与代码** —— 入门级与应用型计算资料。 - **现实实体** —— 人物、地点与影视作品，包含传记、人物简介、旅游内容与参考资料。 - **电子游戏与平台** —— 游戏回顾、发展史、硬件概览与开发者文化，重点覆盖经典与复古游戏作品。 ### 文档风格 文本涵盖多种格式，具体包括： - 多章节书籍与教科书 - 百科全书与参考文章 - 随笔、评论与个人随笔 - 科普文章、入门指南、护理指南与旅游指南 - 操作手册与食谱 - 新闻报道、评测、对比与清单类文章 - 访谈、人物简介与问答内容 - 书信、粉丝信与演讲辞 - 故事作品 - 常见问题与趣味知识 - 对话式格式，例如课堂讨论、专家座谈、双主播播客、面向儿童的科普讲解与苏格拉底式对话。 ## 数据格式 文档以自然语言英文散文的纯文本（Plain Text）与Markdown格式存储。 ## 许可证 本数据集采用MIT协议发布。