LIUshu123/knowledgeDAO

--- license: apache-2.0 --- # KnowledgeDAO（知识岛） 供AI训练的中文数据集（持续更新。。。） 为了推进中文AI的发展，促进AI技术公开化、国际化，我们成立了知识岛（KnowledgeDAO)项目，希望借助大家的力量推进中文AI数据集的建设。 数据、算法和算力，是AI发展的三大基石，其中数据的质量对模型最终性能至关重要。然而，从Hugging Face上的模型数据集数量来看，5W多的数据集中，英语的占比超过90%，优质中文数据少之又少。 OpenAI完成数据集的收集花费了巨大成本，以至于需要从微软集资。我们无力承担如此巨大的开销，于是需要各位有志于筹建开放获取语料，并有一定技术基础的网友们献上自己的力量。 如果您有意向参与此项目，我们将不胜感激。 # 知识岛目前的数据集 1、餐饮行业： a、餐饮行业8000问，文件名：《餐饮行业8000问.jsonl》 来源：2022年和2023年餐饮行业报告与行业白皮书，由chatGPT 3.5负责整理总结，共8204条问答对，1.3M的tokens总数（680k汉字总数） 2、百度知道，WebQA文件夹中，文件名：test数据集《KD_WebQA_test.json》《KD_WebQA_test.jsonl》，validation数据集《KD_WebQA_validation.json》《KD_WebQA_validation.jsonl》， train数据集：《KD_WebQA_train.json》《KD_WebQA_train.jsonl》，同时压缩文件为原数据（付处理代码） 来源：百度知道的帖子（2017年的数据整理），共211741条问答对，1.3M的tokens总数（680k汉字总数），42M的tokens总数（21M汉字总数），json和jsonl的区别是json文件 格式为一个json列表，jsonl文件为每一个json数据一行 # 知识岛项目参与方式 QQ群：916663510 知识岛社区文档： https://docs.qq.com/aio/DVXZ6d3V6T2lYaENP?p=0Tv6BON3xXocBIBQ629PMO Dodo平台：https://imdodo.com/s/209426?inv=4RL32 （主要看中了dodo类似于discord的在线语音功能以及积分系统，可以用来量化成员的贡献） GitHub: https://github.com/shuliu586/KnowledgeDAO # 知识岛需要的人 作为知识岛的发起者，很惭愧我不是专业的技术人员，只会简单的代码（不懂的请教项目上的大神以及GPT），因此，知识岛需要的人： 1、愿意分享行业经验的伙伴，共同参与AI行业专家的模型训练； 2、拥有IT技术的伙伴，为社区的发展添砖加瓦； 3、想要参与社区运营的伙伴，为社区稳步发展保驾护航； 4、天使投资者，看好知识岛，为知识岛的建设提供资金支持； 5、热心的参与者，参与知识岛社群规则建立，为社区的良性发展出谋划策。 # 训练效果 ChatGPT3.5 + LangChain + 餐饮行业8000问之后的训练效果（上面是原生的GPT3.5，下面是加上了餐饮行业8000问的效果） license: apache-2.0 --- # KnowledgeDAO (Knowledge Island) Chinese dataset for AI training (continuously updating...) To advance the development of Chinese AI and promote the openness and internationalization of AI technology, we launched the KnowledgeDAO (Knowledge Island) project, and we hope to leverage the collective efforts of all parties to advance the construction of Chinese AI datasets. Data, algorithms, and computing power are the three cornerstones of AI development, among which the quality of data is critical to the final performance of models. However, judging from the number of model datasets on Hugging Face, over 90% of the more than 50,000 datasets are in English, and high-quality Chinese data is extremely scarce. OpenAI spent enormous costs on dataset collection, even requiring funding from Microsoft. We cannot afford such a huge expense, so we call on netizens who are willing to build open-access corpora and have certain technical foundations to contribute their efforts. We would be extremely grateful if you are interested in participating in this project. # Current Datasets of KnowledgeDAO 1. Catering Industry: a. 8000 Q&As on Catering Industry, filename: *Catering Industry 8000 Q&As.jsonl* Source: Catering industry reports and industry white papers from 2022 and 2023, organized and summarized by ChatGPT 3.5. Total of 8,204 question-answer pairs, with a total of 1.3M tokens (680k Chinese characters). 2. Baidu Zhidao, in the WebQA folder: filenames for test dataset: *KD_WebQA_test.json*, *KD_WebQA_test.jsonl*; validation dataset: *KD_WebQA_validation.json*, *KD_WebQA_validation.jsonl*; train dataset: *KD_WebQA_train.json*, *KD_WebQA_train.jsonl*. A compressed archive of the original data with processing code is also provided. Source: Posts from Baidu Zhidao (data collated in 2017). Total of 211,741 question-answer pairs, with a total of 1.3M tokens (680k Chinese characters) and 42M tokens (21M Chinese characters). The difference between json and jsonl is that a json file is a single JSON list, while a jsonl file has one JSON data entry per line. # How to Participate in the KnowledgeDAO Project QQ Group: 916663510 KnowledgeDAO Community Documentation: https://docs.qq.com/aio/DVXZ6d3V6T2lYaENP?p=0Tv6BON3xXocBIBQ629PMO Dodo Platform: https://imdodo.com/s/209426?inv=4RL32 (We mainly chose Dodo for its Discord-like online voice function and point system, which can be used to quantify members' contributions) GitHub: https://github.com/shuliu586/KnowledgeDAO # Talents Needed for KnowledgeDAO As the initiator of KnowledgeDAO, I am ashamed that I am not a professional technician and only know basic coding (I will consult experts on the project and GPT for questions I don't understand). Therefore, the talents we need for KnowledgeDAO are: 1. Partners willing to share industry experience to jointly participate in model training for AI industry experts; 2. Partners with IT skills to contribute to the development of the community; 3. Partners willing to participate in community operation to ensure the steady development of the community; 4. Angel investors who are optimistic about KnowledgeDAO and provide financial support for its construction; 5. Enthusiastic participants to help establish community rules and provide suggestions for the healthy development of the community. # Training Effects Training effects after combining ChatGPT 3.5 + LangChain + Catering Industry 8000 Q&As (the upper part is the performance of native GPT 3.5, and the lower part is the performance after adding the Catering Industry 8000 Q&As dataset) 

原始信息汇总

知识岛数据集概述

数据集介绍

知识岛项目旨在推进中文AI的发展，通过收集和整理中文数据集，促进AI技术的公开化和国际化。数据集的质量对模型性能至关重要，目前项目已收集多个领域的数据集。

数据集列表

1. 餐饮行业数据集

   • 文件名：《餐饮行业8000问.jsonl》
   • 来源：2022年和2023年餐饮行业报告与行业白皮书
   • 整理工具：chatGPT 3.5
   • 数据量：8204条问答对
   • 总tokens数：1.3M（680k汉字总数）

2. 百度知道WebQA数据集

   • 文件名：
     • 测试数据集：《KD_WebQA_test.json》、《KD_WebQA_test.jsonl》
     • 验证数据集：《KD_WebQA_validation.json》、《KD_WebQA_validation.jsonl》
     • 训练数据集：《KD_WebQA_train.json》、《KD_WebQA_train.jsonl》
   • 来源：百度知道的帖子（2017年数据整理）
   • 数据量：211741条问答对
   • 总tokens数：1.3M（680k汉字总数），42M（21M汉字总数）
   • 格式说明：json文件格式为一个json列表，jsonl文件为每一个json数据一行

项目参与方式

• QQ群：916663510
• 知识岛社区文档：https://docs.qq.com/aio/DVXZ6d3V6T2lYaENP?p=0Tv6BON3xXocBIBQ629PMO
• Dodo平台：https://imdodo.com/s/209426?inv=4RL32
• GitHub：https://github.com/shuliu586/KnowledgeDAO

项目需求

• 愿意分享行业经验的伙伴
• 拥有IT技术的伙伴
• 想要参与社区运营的伙伴
• 天使投资者
• 热心的参与者

训练效果

• 使用ChatGPT3.5 + LangChain + 餐饮行业8000问进行训练后的效果展示。

搜集汇总

背景与挑战

背景概述

knowledgeDAO是一个中文问答数据集，包含约427,000条文本数据，涵盖餐饮行业、百度知道等多个领域，旨在支持AI模型的训练和优化。该数据集采用JSON格式，遵循Apache 2.0许可证，由社区驱动项目构建，以促进中文AI技术的发展。