amis-agri-utilization

AMIS Utilization Commodity Relevance数据集是一个用于训练和评估农业商品新闻二元利用相关性分类器的文本数据集。它包含从AMIS新闻文章中分块提取的文本示例，每个文本块都标注了是否与农业商品利用相关，主题涵盖生产、贸易、利用和库存四个关键领域。数据集共有20,694个文本块，来自9,694个不同的文章组，每个样本包含chunk_text（文本块）、label（二元标签，0表示不相关，1表示相关）和id（分组标识符）三个字段。数据分割采用GroupShuffleSplit方法，确保同一文章的不同文本块不跨分割，其中训练集占70%（14,341行），验证集占15%（3,265行），测试集占15%（3,088行）。标签分布显示，18,792个样本标记为不相关（0），1,902个样本标记为相关（1）。数据集具有多语言特性，包括西班牙语、葡萄牙语、法语、英语、俄语、中文和阿拉伯语等多种语言。文本长度从101到800个字符不等，中位数为794个字符，平均长度为693.9个字符。该数据集适用于文本分类任务，特别是农业领域新闻的利用相关性分析，可用于开发多语言农业信息处理系统。

The AMIS Utilization Commodity Relevance dataset is a text dataset designed for training and evaluating binary utilization relevance classifiers for agricultural commodity news. It consists of text chunks extracted from AMIS news articles, each annotated for relevance to agricultural commodity utilization, with themes covering production, trade, utilization, and stock. The dataset contains 20,694 text chunks from 9,694 distinct article groups, with each sample including three main fields: chunk_text (the text chunk as model input), label (binary classification label, where 0 indicates irrelevant and 1 indicates relevant), and id (a grouping identifier to prevent data leakage). Data is split using GroupShuffleSplit to ensure chunks from the same article do not appear across multiple splits, with 70% for training (14,341 rows), 15% for validation (3,265 rows), and 15% for testing (3,088 rows). Label distribution shows 18,792 samples labeled as irrelevant (0) and 1,902 as relevant (1). The dataset is multilingual, featuring texts in Spanish, Portuguese, French, English, Russian, Chinese, and Arabic, among others. Text lengths range from 101 to 800 characters, with a median of 794 characters and an average of 693.9 characters. It is suitable for text classification tasks, particularly for analyzing utilization relevance in agricultural news, and can be used to develop multilingual agricultural information processing systems.

原始信息汇总

数据集概述：AMIS Utilization Commodity Relevance Dataset

该数据集用于训练和评估农业商品新闻的二分类利用率相关性分类器。数据来源于AMIS新闻文章，经文本分块并标注了利用率相关性。

主题范围

涵盖四个主题领域：生产、贸易、利用率和库存。

标签定义

• 0：不主要与利用率相关（在生产、贸易、利用率和库存方面）。
• 1：与利用率相关（在生产、贸易、利用率和库存方面）。

数据列

• chunk_text：模型输入的文本块。
• label：二分类目标（0 或 1）。
• id：用于防止数据泄露的分组标识符。

数据划分

使用 GroupShuffleSplit 按 id 分组划分，确保同一篇文章的文本块不会出现在多个划分中。

• 训练集：70%
• 验证集：15%
• 测试集：15%
• 随机种子：42

数据集统计

• 总行数：20,694
• 唯一分组数：9,694
• 文本长度范围：101 至 800 个字符
• 文本长度中位数：794.0 字符
• 文本长度平均值：693.9 字符

划分统计

划分	行数	唯一分组数	标签0	标签1
train	14,341	6,785	13,029	1,312
validation	3,265	1,454	2,933	332
test	3,088	1,455	2,830	258

总体标签分布

• 标签0：18,792
• 标签1：1,902

语言分布

• 西班牙语：3,000
• 葡萄牙语：2,999
• 法语：2,998
• 英语：2,993
• 俄语：2,987
• 中文：2,986
• 阿拉伯语：2,731

源标签分布

• NO_RELEVANT：18,762
• PRIMARY：1,311
• SECONDARY：591
• UNCERTAIN：30

候选集分布

• true_negative：8,835
• hard_negative：6,442
• positive：5,417

分块方法

• 所有文本块均采用递归分块方法（recursive）。

创建信息

• 生成时间：2026-05-26 15:40:04 UTC
• 生成脚本：04-upload-commodity-dataset.py

搜集汇总

数据集介绍

构建方式

该数据集基于联合国粮农组织（FAO）下属农业市场信息系统（AMIS）所收集的农业大宗商品新闻构建而成。原始新闻文本经由递归切分策略被划分为多个文本块（chunk），每个文本块的长度控制在101至800个字符之间，以保留语义的完整性。随后，通过自动化工具结合人工校验，为每个文本块标注其在生产、贸易、利用及库存四个核心主题维度上是否具有利用相关性（Utilization Relevance），从而形成二分类标签。为保障数据划分的严谨性，采用基于文章唯一标识符（id）的组别交叉验证分割方法，确保同一文章的不同文本块不会同时出现在训练集、验证集与测试集中。最终数据集包含20,694条样本，覆盖西班牙语、葡萄牙语、法语、英语、俄语、汉语及阿拉伯语七种语言，展现了出色的多语言覆盖能力。

特点

该数据集的核心特点在于其主题聚焦性与结构化设计。数据标签明确区分“利用相关”（label=1）与“非利用相关”（label=0），其中标签0的样本占比高达90.8%，呈现出典型的类别不平衡特征，能够有效模拟真实场景中罕见事件分类的挑战。数据集还提供了“候选集分布”字段，包含true_negative、hard_negative与positive三类，便于研究者开展困难样本挖掘与模型鲁棒性分析。此外，数据保留原始来源标签（如PRIMARY、SECONDARY、UNCERTAIN）与分组标识符，支持细粒度评估与交叉验证。文本长度中位数约为794字符，分布集中，利于高效训练。多语言覆盖与统一的标注标准使该数据集成为农业新闻领域文本分类与跨语言迁移学习的宝贵资源。

使用方法

该数据集适用于基于文本块的二分类任务，可直接作为模型输入字段的“chunk_text”与作为训练目标的“label”构成标准监督学习范式。推荐采用预训练语言模型（如BERT、XLM-RoBERTa）进行微调，由于数据包含七种语言，多语言预训练模型可发挥其跨语言泛化优势。训练时需注意类别不平衡问题，可引入加权损失函数或重采样策略。数据已按照7:1.5:1.5的比例划分为训练集、验证集与测试集，且采用基于文章ID的组别分层策略，避免了信息泄露风险，研究者可直接使用预设划分。此外，“id”字段可用于自定义交叉验证，而“candidate_set”字段则适合构建课程学习或对比学习框架。使用时可忽略原始来源标签与切分方法等辅助字段，以简化模型输入。

背景与挑战

背景概述

在全球农业商品市场中，及时监控与生产、贸易、利用和库存相关的信息对于市场稳定和粮食安全至关重要。联合国粮农组织（FAO）下属的农业市场信息系统（AMIS）致力于提升大宗商品市场的透明度，然而海量的多语言新闻文本使得人工筛选变得低效且昂贵。为此，amis-agri-utilization数据集于2026年由相关研究团队构建，旨在解决农业新闻中“利用”（utilization）类别的二元相关性分类问题。该数据集包含20,694个文本块，覆盖西班牙语、葡萄牙语、法语、英语、俄语、中文和阿拉伯语七种语言，通过递归分块和基于组的泄漏安全拆分策略，为多语言农业文本分类提供了标准化的训练与评估基准，对推动农业信息自动化处理领域具有重要影响。

当前挑战

该数据集所面对的领域核心挑战在于，农业新闻中关于“利用”（包括生产、贸易、库存）的主题识别高度依赖上下文语义，且正负样本极不均衡（正样本仅占约9.2%），模型需区分细微的领域相关表述与无关内容。在构建过程中，挑战主要体现在三个方面：首先，原始新闻文本长度差异巨大（从101字符到800字符），需通过递归分块策略平衡信息完整性与输入长度限制；其次，多语言环境要求分类器具备跨语言泛化能力，而候选集包括简单负例、困难负例和正例，增加了标签噪声处理的难度；最后，为阻止同一新闻区块出现在不同拆分中，采用基于文章ID的GroupShuffleSplit确保无数据泄露，但9,694个独立组的划分仍对训练集代表性提出了较高要求。

常用场景

经典使用场景

在全球农业市场信息系统中，amis-agri-utilization数据集被广泛用于训练和评估农业大宗商品新闻中利用相关性的二分类模型。该数据集将冗长的新闻文章切分为固定长度的文本块，并标注其是否与生产、贸易、利用和库存等主题相关，为文本分类任务提供了高质量的多语言标注样本。研究者和从业者可基于此构建精炼的分类器，自动从海量新闻流中筛选出与农业利用密切相关的信息片段。

解决学术问题

该数据集核心解决了农业信息爆炸式增长背景下，如何自动识别并聚焦于“利用”维度的关键情报这一学术难题。传统方法依赖人工筛选，成本高昂且难以覆盖七种语言。amis-agri-utilization通过引入泄露安全的组划分策略和精确的二分类标注，为监督学习提供了可靠基准。其意义在于推动了多语言农业文本分类的标准化，使研究者能够量化评估不同模型在跨语言、跨主题场景下的泛化能力，从而优化基于食品供应链的预警机制与决策支持系统。

衍生相关工作

由amis-agri-utilization衍生的经典工作包括基于对比学习的少样本分类改进方案、跨语言迁移学习框架以及结合知识图谱的农业信息抽取系统。后续研究者还基于该数据的候选集分布设计了硬负样本挖掘策略，显著提升了分类器在模糊边界文本上的判别力。此外，该数据集被用作多任务学习的基准，联合训练相关性分类与命名实体识别，进一步拓展了其在农业知识图谱自动构建中的应用价值。