CATIE-AQ/amazon_massive_intent_fr_prompt_intent_classification

amazon_massive_intent_fr_prompt_intent_classification数据集是法语提示词数据集（DFP）的一个子集，包含555,000行数据，用于意图文本分类任务。原始数据来源于amazon_massive_intent_fr-FR数据集，通过应用30个提示词构建了输入和目标列，格式与xP3数据集相同。数据集被分为训练集、验证集和测试集，分别包含345,000、105,000和105,000个样本。

The amazon_massive_intent_fr_prompt_intent_classification dataset is a subset of the French Prompt Dataset (DFP), containing 555,000 rows of data for intent text classification tasks. Its original data is derived from the amazon_massive_intent_fr-FR dataset, where 30 prompts are applied to construct the input and target columns, with a format identical to that of the xP3 dataset. The dataset is split into training, validation, and test sets, which contain 345,000, 105,000, and 105,000 samples respectively.

原始信息汇总

数据集概述

数据集名称: amazon_massive_intent_fr_prompt_intent_classification

数据集来源: 该数据集是Dataset of French Prompts (DFP)的一个子集，原始数据来自amazon_massive_intent_fr-FR。

数据集大小: 包含555,000行数据，用于意图文本分类任务。

数据集特征

• 语言: 法语 (fr)
• 许可证: Apache-2.0
• 任务类别: 文本分类
• 标签: 意图分类, DFP, 法语提示
• 多语言性: 单语种

数据集结构

• 训练集: 345,000样本
• 验证集: 105,000样本
• 测试集: 105,000样本

使用方法

python from datasets import load_dataset dataset = load_dataset("CATIE-AQ/amazon_massive_intent_fr_prompt_intent_classification")

引用信息

• 原始数据: FitzGerald et al., 2022
• 本数据集: Centre Aquitain des Technologies de lInformation et Electroniques, 2023

许可证

Apache 2.0

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，意图分类任务对于构建智能对话系统至关重要。该数据集源自法语提示数据集（DFP），其原始语料取自FitzGerald等人构建的amazon_massive_intent_fr-FR数据集。构建过程中，研究者精心设计了30种法语提示模板，涵盖直陈式、单数第二人称（你）和复数第二人称（您）等不同语体形式。每个原始样本通过将文本和类别列表嵌入这些模板，生成统一的输入输出格式，最终形成与xP3数据集结构兼容的555,000条样本。数据集按345,000、105,000、105,000的比例划分为训练集、验证集和测试集。

特点

该数据集的核心特点在于其丰富的提示多样性，通过30种不同的法语表述方式呈现相同的分类任务，有效增强了模型对指令变体的鲁棒性。所有提示均采用自然语言形式，如'选择以下文本的类别'或'给定类别列表，指出文本所属类别'，覆盖了从正式到非正式的各种语言风格。数据集保持单语法语特性，专注于60个细粒度意图类别，包括音乐播放、天气查询、闹钟设置等日常场景，每个类别均有充足的样本支持。其规模达到数十万级别，为训练大规模语言模型提供了坚实的数据基础。

使用方法

使用该数据集时，可通过HuggingFace的datasets库直接加载：from datasets import load_dataset; dataset = load_dataset('CATIE-AQ/amazon_massive_intent_fr_prompt_intent_classification')。加载后，用户可访问标准的数据集划分，每条样本包含经过提示模板处理的输入文本和对应的意图标签。该数据集可直接用于训练文本分类模型，特别适用于需要理解多种指令表述的意图识别系统。研究者可将其用于微调预训练语言模型，评估模型在不同提示风格下的泛化能力，或作为多任务学习中的意图分类子任务数据。

背景与挑战

背景概述

意图分类作为自然语言理解领域的核心任务，旨在从用户输入中精准识别其潜在目的，广泛应用于智能助手、对话系统等场景。由FitzGerald等人于2022年创建的MASSIVE数据集，以百万级多语言自然语言理解样本为基础，覆盖51种语言，为跨语言意图分类研究奠定了重要基石。在此基础上，法国阿基坦电子与信息技术中心于2023年构建了amazon_massive_intent_fr_prompt_intent_classification数据集，该数据集是法语提示数据集（DFP）的子集，包含55.5万条样本。研究团队通过精心设计的30种提示模板，采用直陈式语气并融合“你”与“您”两种尊称形式，将原始MASSIVE法语子集转化为与xP3格式兼容的文本分类数据，旨在探索提示工程对法语意图识别性能的影响，为低资源语言的自然语言处理研究提供了新的实验平台。

当前挑战

该数据集面临的核心挑战可归纳为两方面。在领域问题层面，意图分类任务本身需应对用户表达的多样性与歧义性，不同提示模板可能改变模型对意图边界的理解，如何设计通用且高效的提示策略以提升分类鲁棒性成为关键难点。在数据集构建过程中，研究团队需解决提示模板的语言学适配问题，例如法语中“tutoiement”与“vouvoiement”两种敬语形式的准确转换，以及类别标签与提示文本的语义对齐。此外，原始MASSIVE数据中60个意图类别的分布不均衡性可能被提示模板放大，导致模型对低频意图的识别能力下降，而人工模板的引入也可能引入无意的偏见，影响数据集的可泛化性。

常用场景

经典使用场景

该数据集的核心应用场景聚焦于法语意图文本分类任务，其设计巧妙融合了多提示（prompt）策略，以模拟自然语言指令的多样性。通过将原始MASSIVE数据集中的法语用户查询与30种精心构造的提示模板相结合，数据集生成了超过55万条训练样本，每条样本均包含上下文文本、候选类别列表及目标意图标签。这种结构使其成为评估和微调预训练语言模型（如mT5、XLM-R）在法语意图识别领域性能的理想基准，尤其适用于零样本或少样本学习场景下的模型泛化能力研究。

衍生相关工作

该数据集衍生了一系列经典工作，最显著的是作为法语提示数据集（DFP）的核心子集，为跨语言提示学习研究提供了关键资源。研究者基于此数据集探索了提示模板自动生成、对抗性提示攻击防御以及多任务联合训练等方法。此外，其与xP3数据集格式的兼容性，使得该数据被广泛用于多语言模型的指令微调（Instruction Tuning）实验，尤其推动了法语低资源场景下零样本意图分类的进展，并为后续构建更大规模的多语言提示数据集奠定了方法论基础。

数据集最近研究

最新研究方向

当前，面向法语意图分类任务的数据集构建正朝着多提示模板与指令微调方向演进。amazon_massive_intent_fr_prompt_intent_classification 作为法语提示数据集（DFP）的核心子集，通过融合30种包含敬语与口语化表达的提示模板，将原始MASSIVE语料库中的555,000条法语意图样本转化为适配xP3格式的指令型数据。这一创新设计呼应了大规模语言模型在少样本与零样本场景下的泛化需求，尤其针对法语中复杂的敬语体系与上下文敏感表达，通过系统化提示工程显著提升了模型对意图边界的判别能力。该数据集不仅为法语自然语言理解提供了高多样性的评测基准，更推动了多语言意图分类研究从传统监督学习向指令驱动的范式转型，其与SetFit、xP3等前沿框架的兼容性使其成为连接基础模型与下游任务的关键桥梁。