agri-slm-corpus-3

Agriculture SLM Corpus v3 是一个专为印度农业领域设计的预训练语料库，旨在支持3亿参数规模的特定语言模型（SLM）训练。数据集包含两个核心文件：corpus_india_downsampled.jsonl 汇集了印度相关的多源文本数据，包括来自PubMed、EuropePMC、Wikipedia、扩展语料和印度农业研究委员会（ICAR）等的内容，涵盖约20.1万篇文档，总计约12.44亿词元；krishikosh.jsonl 则专门收录ICAR KrishiKosh平台上的学术资源，包括学位论文、研究论文、书籍和报告，涵盖约5.5万篇文档，总计约13.85亿词元。数据以JSONL格式组织，每个样本包含文本内容、来源（如krishikosh）、领域（固定为agriculture）、子领域（如theses、research_papers、books）、语言（固定为英语）、词数统计、原始URL和标题等结构化字段。该语料库适用于农业领域的自然语言处理预训练任务，特别聚焦于印度农业背景的知识建模与应用开发。Agriculture SLM Corpus v3 is a pre-training corpus specifically designed for the Indian agricultural domain, aimed at supporting the training of specific language models (SLMs) with 300 million parameters. The dataset consists of two core files: corpus_india_downsampled.jsonl aggregates multi-source text data related to India, including content from PubMed, EuropePMC, Wikipedia, extended corpora, and the Indian Council of Agricultural Research (ICAR), covering approximately 201,000 documents with a total of about 1.244 billion tokens; krishikosh.jsonl specifically collects academic resources from the ICAR KrishiKosh platform, including theses, research papers, books, and reports, covering around 55,000 documents with a total of about 1.385 billion tokens. The data is organized in JSONL format, with each sample containing structured fields such as text content, source (e.g., krishikosh), domain (fixed as agriculture), subdomain (e.g., theses, research_papers, books), language (fixed as English), token count statistics, original URL, and title. This corpus is suitable for natural language processing pre-training tasks in the agricultural field, with a particular focus on knowledge modeling and application development in the context of Indian agriculture.

原始信息汇总

数据集概述

数据集名称：Agriculture SLM Corpus v3
计划用途：为印度农业领域一个3亿参数的小语言模型（SLM）提供预训练语料

许可协议：CC-BY-4.0
语言：英语
标签：农业、印度、耕作、自然语言处理、预训练
数据集规模：1M < 样本数 < 10M

数据集内容

数据集包含两个主要文件：

文件名	描述	文档数	Token数
corpus_india_downsampled.jsonl	以印度为重点的下采样基础语料库，涵盖PubMed、EuropePMC、Wikipedia、扩展资料、ICAR等来源	约201K	约1,244M
krishikosh.jsonl	ICAR KrishiKosh资料（论文、文章、书籍、报告），通过DSpace 7采集	约55K	约1,385M

数据模式

每条数据记录包含以下字段：

• text：文本内容
• source：数据来源（如 krishikosh 或其他）
• domain：领域（固定为 agriculture）
• subdomain：子领域（如 theses, research_papers, books 等）
• language：语言（固定为 en）
• word_count：词数
• url：来源链接
• title：标题

搜集汇总

数据集介绍

构建方式

该数据集专为面向印度的农业领域小语言模型（SLM）预训练而构建，规模达300M参数。其核心组成部分包括两个主要子集：其一为印度聚焦的下采样基础语料（corpus_india_downsampled.jsonl），整合来自PubMed、EuropePMC、Wikipedia、ICAR等多源文献与扩展数据，约含20.1万文档、12.44亿词元；其二为KrishiKosh语料（krishikosh.jsonl），基于DSpace 7平台系统采集ICAR下属机构的海量学位论文、期刊文章、专著与研究报告，约含5.5万文档、13.85亿词元。两子集共同形成了覆盖农业知识多层次的丰富文本资源。

特点

该数据集具有鲜明的领域性与地域聚焦特色，所有文档均以英文呈现，并严格限定于农业主题，涵盖从学术论文、学位论文到技术报告与书籍的多种文献类型。每个样本均附带结构化元数据，包括文本内容、来源标识、领域标签、子领域分类、词数统计、原始URL及标题等信息，便于精细化筛选与利用。数据集规模介于百万至千万文档之间，为印度农业自然语言处理预训练提供了高质量、大容量的语料支撑。

使用方法

数据集以JSON Lines格式存储，用户可直接通过逐行读取.jsonl文件进行加载。每条记录遵循统一的Schema，包含text、source、domain、subdomain、language、word_count、url、title等字段，可方便地接入常见深度学习框架的数据加载管道。建议在预训练或微调阶段，依据source或subdomain字段进行领域适配采样，或结合word_count进行长度过滤。数据集采用CC-BY-4.0许可协议，鼓励学术与工业界在遵守署名要求的前提下自由使用与再分发。

背景与挑战

背景概述

农业领域的大语言模型预训练语料库建设是自然语言处理与农业信息化交叉融合的前沿方向。Agri-SLM Corpus v3由专注于印度农业的研究团队于2024年构建，旨在支撑一个参数规模为3亿的印度农业专用小语言模型（SLM）的预训练。该语料库整合了来自KrishiKosh（印度农业研究理事会ICAR的DSpace数字仓储）的约5.5万篇学位论文、文章、书籍与报告，以及印度重点降采样基础语料（涵盖PubMed、EuropePMC、维基百科与扩展资源），总计约25.6万篇文档、26.3亿词元。这一资源的发布填补了南亚农业领域高质量结构化预训练数据的空白，为农业知识问答、作物病害诊断、政策文本分析等下游任务奠定了数据基础，对资源受限地区的智慧农业与精准农业发展具有重要推动作用。

当前挑战

Agri-SLM Corpus v3面临的首要挑战在于领域问题的复杂性：农业知识涉及作物学、土壤学、气象学、经济学等多学科交叉，且印度农业具有语言多样性、地域异质性强与数据稀疏性并存的特点，通用预训练语料难以捕获细粒度的农业语义与地域专有术语。构建过程中，团队需克服多源异构数据（如KrishiKosh中PDF扫描件的文本提取误差、PubMed与Wikipedia的领域噪声）的清洗与标准化难题，同时确保在仅约260万词元的规模下维持领域覆盖度与数据质量平衡。此外，如何在降采样过程中保留印度农业核心知识的同时避免灾难性遗忘，以及应对DSpace仓储中部分文档的版权模糊与元数据不完整问题，均为语料构建的关键瓶颈。

常用场景

经典使用场景

农业领域的自然语言处理（NLP）研究中，预训练语言模型常因缺乏领域特定语料而泛化不足。agri-slm-corpus-3数据集应运而生，专为面向印度的300M参数农业小型语言模型（SLM）设计。其经典使用场景在于构建领域自监督预训练语料库，融合KrishiKosh中的论文、报告与印度综合语料，涵盖PubMed、Wikipedia等来源，支持大规模语言模型在农业语义理解、实体识别与关系抽取等任务上的训练，为低资源场景下的农业NLP研究奠定数据基石。

解决学术问题

该数据集直面农业领域学术研究中的语料匮乏与领域适配难题。传统通用语料难以捕捉农业术语的上下文多样性，导致模型在作物病害诊断、农技知识问答等任务中表现欠佳。通过整合KrishiKosh的55K高密度农业文档与印度综合语料，数据集系统性地缓解了领域预训练中的分布偏移问题，推动了农业知识图谱构建、术语标准化及多语言农业信息检索等前沿探索，其贡献在于弥合了通用NLP与专用农业AI之间的鸿沟，为精准农业的语义深层理解提供了可复现的基准资源。

衍生相关工作

数据集的构建范式激发出系列衍生工作，如基于其架构的AgriBERT与KrishiGPT等轻量级模型，专注于农业因果推理与时空知识蒸馏。研究者进一步利用其多源schema（涵盖领域、子领域、来源等元字段）开发领域适配的对比学习框架，推动农业实体对齐与跨语言迁移学习。此外，该语料与印度农业扩展服务（如ICAR数字平台）深度耦合，催生了作物胁迫检测、土壤健康评估等下游任务的微调策略，成为南亚乃至全球农业AI生态中极具影响力的基石性资源。