有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
liwu/MNBVC
收藏hugging_face2025-09-08 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/liwu/MNBVC
下载链接
链接失效反馈加速链接：
资源简介：
MNBVC数据集是一个包含多种类型中文互联网语料的数据集，旨在为开源社区提供一个长期更新的中文语料库。数据集包含多个子集，如法律文书、政府工作报告、企业年报、知乎问答、维基百科文本等。数据格式包括通用文本、问答语料、代码语料、多轮对话、论坛语料和平行语料。数据集由里屋社区构建，并由社区成员上传至Huggingface。
提供机构：
liwu
原始信息汇总
数据集概述
基本信息
- 名称: MNBVC
- 语言: 中文
- 许可证: MIT
- 多语言性: 单语种
- 数据来源: 原始数据
- 任务类别:
- 文本生成
- 填充掩码
- 任务ID:
- 语言建模
- 掩码语言建模
数据集介绍
MNBVC数据集由中文互联网上的里屋社区创建，旨在提供最大的中文互联网语料集。数据集在不断更新中，用户可通过GitHub获取更多未清洗的数据。
数据子集
MNBVC数据集包含以下子集：
law_judgement: 法律文书文本gov_xuexiqiangguo: 学习强国文本gov_report: 政府工作报告文本co_ann_report: 企业年报文本code_metadata: 代码元数据qa_zhihu: 知乎问答数据qa_wikihow: 来自wikihow的问答数据qa_mfa: 外交部问答数据news_peoples_daily: 人民日报文本数据wikipedia: 维基百科文本数据qa_stackexchange: StackExchange问答数据qa_chatgpt: 使用ChatGPT构造的问答语料math_qa: 数学领域问答数据math_chat: 数学领域对话数据crawler_oscar: 从CommonCrawl清洗出的通用文本数据
数据格式
MNBVC数据集包含以下几类数据格式：
- 通用文本
- 问答语料
- 代码语料
- 多轮对话
- 论坛语料
- 平行语料
早期数据格式如下，未来将被废弃并重新上传： json { "text": datasets.Value("string"), "meta": datasets.Value("string") }
AI搜集汇总
数据集介绍
构建方式
MNBVC数据集的构建基于广泛的中文互联网语料，涵盖了法律文书、政府报告、企业年报、问答数据、新闻报道、维基百科条目等多个领域。数据集的构建过程包括从原始数据源中提取、清洗和整理，确保语料的多样性和高质量。通过社区的共同努力，MNBVC数据集不断更新和扩展，以满足不同应用场景的需求。
特点
MNBVC数据集以其庞大的规模和多样的内容著称，包含了从法律文书到游戏平行语料的广泛领域。数据集的多样性不仅体现在内容上，还包括数据格式，如通用文本、问答语料、代码语料等。此外，MNBVC数据集的持续更新机制确保了其时效性和实用性，使其成为中文自然语言处理领域的重要资源。
使用方法
MNBVC数据集可以通过HuggingFace的datasets库进行加载和使用。用户可以根据需求选择特定的子集，如法律文书、政府报告或问答数据等。加载数据集的示例代码展示了如何使用Python脚本进行数据访问。此外，MNBVC数据集的wiki页面提供了详细的数据格式说明，帮助用户更好地理解和处理数据。
背景与挑战
背景概述
MNBVC数据集，由中文互联网上历史悠久的里屋社区于2023年1月1日宣布创建，旨在为开源社区提供一份最大的中文互联网语料集。该数据集由里屋社区的成员在英明神武的里屋管子领导下，利用社区资源和专业知识，逐步更新和完善。MNBVC数据集的构建不仅体现了社区对开源事业的贡献，也为中文自然语言处理领域提供了丰富的资源，推动了相关研究的发展。
当前挑战
MNBVC数据集在构建过程中面临多重挑战。首先，数据来源广泛，包括法律文书、政府报告、企业年报、问答平台等多种文本类型，确保数据质量和一致性是一大难题。其次，数据清洗和格式标准化需要大量人力和时间，尤其是在处理多轮对话和论坛语料时。此外，随着数据规模的不断扩大，如何高效管理和更新数据集，以及如何确保数据的安全性和隐私保护，也是亟待解决的问题。
常用场景
经典使用场景
MNBVC数据集在自然语言处理领域中，以其庞大的中文语料库和多样化的数据子集，成为文本生成和掩码语言建模的经典资源。其子集如`law_judgement`和`gov_report`为法律和政府文本的生成提供了丰富的训练数据，而`qa_zhihu`和`qa_wikihow`则为问答系统的设计和优化提供了宝贵的语料支持。
实际应用
在实际应用中，MNBVC数据集被广泛用于构建和优化各种中文自然语言处理模型，如智能客服、法律文书自动生成和政府报告分析等。其丰富的语料资源使得这些应用在处理中文文本时更加准确和高效，极大地提升了用户体验和工作效率。
衍生相关工作
基于MNBVC数据集，研究者们开发了多种自然语言处理模型和工具，如针对法律文本的专用模型、问答系统的优化算法等。此外，该数据集还激发了关于大规模语料库构建和管理的研究，推动了数据清洗和标注技术的发展，为后续的数据集构建提供了宝贵的经验和方法。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国区域地面气象要素驱动数据集 v2.0（1951-2024）
中国区域地面气象要素驱动数据集（China Meteorological Forcing Data，以下简称 CMFD）是为支撑中国区域陆面、水文、生态等领域研究而研发的一套高精度、高分辨率、长时间序列数据产品。本页面发布的 CMFD 2.0 包含了近地面气温、气压、比湿、全风速、向下短波辐射通量、向下长波辐射通量、降水率等气象要素，时间分辨率为 3 小时，水平空间分辨率为 0.1°，时间长度为 74 年（1951~2024 年），覆盖了 70°E~140°E，15°N~55°N 空间范围内的陆地区域。CMFD 2.0 融合了欧洲中期天气预报中心 ERA5 再分析数据与气象台站观测数据，并在辐射、降水数据产品中集成了采用人工智能技术制作的 ISCCP-ITP-CNN 和 TPHiPr 数据产品，其数据精度较 CMFD 的上一代产品有显著提升。 CMFD 历经十余年的发展，其间发布了多个重要版本。2019 年发布的 CMFD 1.6 是完全采用传统数据融合技术制作的最后一个 CMFD 版本，而本次发布的 CMFD 2.0 则是 CMFD 转向人工智能技术制作的首个版本。此版本与 1.6 版具有相同的时空分辨率和基础变量集，但在其它诸多方面存在大幅改进。除集成了采用人工智能技术制作的辐射和降水数据外，在制作 CMFD 2.0 的过程中，研发团队尽可能采用单一来源的再分析数据作为输入并引入气象台站迁址信息，显著缓解了 CMFD 1.6 中因多源数据拼接和气象台站迁址而产生的虚假气候突变。同时，CMFD 2.0 数据的时间长度从 CMFD 1.6 的 40 年大幅扩展到了 74 年，并将继续向后延伸。CMFD 2.0 的网格空间范围虽然与 CMFD 1.6 相同，但其有效数据扩展到了中国之外，能够更好地支持跨境区域研究。为方便用户使用，CMFD 2.0 还在基础变量集之外提供了若干衍生变量，包括近地面相对湿度、雨雪分离降水产品等。此外，CMFD 2.0 摒弃了 CMFD 1.6 中通过 scale_factor 和 add_offset 参数将实型数据化为整型数据的压缩技术，转而直接将实型数据压缩存储于 NetCDF4 格式文件中，从而消除了用户使用数据时进行解压换算的困扰。 本数据集原定版本号为 1.7，但鉴于本数据集从输入数据到研制技术都较上一代数据产品有了大幅的改变，故将其版本号重新定义为 2.0。
国家青藏高原科学数据中心 收录
中国区域交通网络数据集
该数据集包含中国各区域的交通网络信息，包括道路、铁路、航空和水路等多种交通方式的网络结构和连接关系。数据集详细记录了各交通节点的位置、交通线路的类型、长度、容量以及相关的交通流量信息。
data.stats.gov.cn 收录
UniProt
UniProt（Universal Protein Resource）是全球公认的蛋白质序列与功能信息权威数据库，由欧洲生物信息学研究所（EBI）、瑞士生物信息学研究所（SIB）和美国蛋白质信息资源中心（PIR）联合运营。该数据库以其广度和深度兼备的蛋白质信息资源闻名，整合了实验验证的高质量数据与大规模预测的自动注释内容，涵盖从分子序列、结构到功能的全面信息。UniProt核心包括注释详尽的UniProtKB知识库（分为人工校验的Swiss-Prot和自动生成的TrEMBL），以及支持高效序列聚类分析的UniRef和全局蛋白质序列归档的UniParc。其卓越的数据质量和多样化的检索工具，为基础研究和药物研发提供了无可替代的支持，成为生物学研究中不可或缺的资源。
www.uniprot.org 收录
MedDialog
MedDialog数据集（中文）包含了医生和患者之间的对话（中文）。它有110万个对话和400万个话语。数据还在不断增长，会有更多的对话加入。原始对话来自好大夫网。
github 收录
糖尿病预测数据集
糖尿病相关的医学研究或者健康数据
AI_Studio 收录