遇见数据集

CATIE-AQ/allocine_fr_prompt_sentiment_analysis

收藏
Hugging Face2025-02-10 更新2024-03-04 收录
官方服务:

资源简介:

**allocine_fr_prompt_sentiment_analysis** 是法国提示数据集(DFP)的一个子集,包含560万行数据,用于二元情感分析任务。原始数据来源于allocine数据集,通过应用28个提示来构建输入和目标列,以匹配xP3数据集的格式。数据集分为训练集(4,480,000样本)、验证集(560,000样本)和测试集(560,000样本)。

**allocine_fr_prompt_sentiment_analysis** 是法国提示数据集(DFP)的一个子集,包含560万行数据,用于二元情感分析任务。原始数据来源于allocine数据集,通过应用28个提示来构建输入和目标列,以匹配xP3数据集的格式。数据集分为训练集(4,480,000样本)、验证集(560,000样本)和测试集(560,000样本)。

提供机构:
CATIE-AQ
原始信息汇总

数据集概述

基本信息

  • 名称: allocine_fr_prompt_sentiment_analysis
  • 语言: 法语
  • 许可证: MIT
  • 数据量: 1M<n<10M
  • 任务类别: 文本分类
  • 标签: 二元情感分析, DFP, 法语提示
  • 注释创建者: 发现
  • 语言创建者: 发现
  • 多语言性: 单语
  • 源数据集: allocine

摘要

allocine_fr_prompt_sentiment_analysis 是 Dataset of French Prompts (DFP) 的一个子集。它包含 5,600,000 行数据,适用于二元情感分析任务。原始数据(无提示)来自 Blard 的 allocine 数据集。通过应用一系列提示(见下文),构建了输入和目标列,从而获得了与 Muennighoff 等人的 xP3 数据集相同的格式。

提示列表

该数据集使用了 28 个提示,这些提示采用直陈式语气,包括“你”和“您”的形式。以下是部分提示示例:

Commentaire : "+review+" Le commentaire est-il positif ou négatif ?,
Avis : "+review+" Lavis est-il positif ou négatif ?,
Critique : "+review+" La critique est-elle positive ou négative ?,
Evaluation : "+review+" Lévaluation est-elle positive ou négative ?,
Ce commentaire sur le produit est-il positif ou négatif ? Commentaire : "+review+" Réponse :,
Cet avis sur le produit est-il positif ou négatif ? Avis : "+review+" Réponse :,
Cette critique sur le produit est-elle positive ou négative ? Critique : "+review+" Réponse :,
Cette évaluation sur le produit est-elle positive ou négative ? Evaluation : "+review+" Réponse :,
Commentaire : "+review+" Ce commentaire sur le produit exprime-t-il un sentiment négatif ou positif ?,
Avis : "+review+" Cet avis sur le produit exprime-t-il un sentiment négatif ou positif ?,
Critique : "+review+" Cette critique sur le produit exprime-t-il un sentiment négatif ou positif ?,
Evaluation : "+review+" Cette évaluation sur le produit exprime-t-il un sentiment négatif ou positif ?,
Ce commentaire sur le produit a-t-il un ton négatif ou positif ? Commentaire : "+review+" Réponse :,
Cet avis sur le produit a-t-il un ton négatif ou positif ? Avis : "+review+" Réponse :,
Cette critique sur le produit a-t-il un ton négatif ou positif ? Evaluation : "+review+" Réponse :,
Cette évaluation sur le produit a-t-il un ton négatif ou positif ? Avis : "+review+" Réponse :,
Voici un commentaire laissé par un client sur un produit. Diriez-vous quil est négatif ou positif ? Commentaire : "+review,
Voici un avis laissé par un client sur un produit. Diriez-vous quil est négatif ou positif ? Avis : "+review,
Voici une critique laissée par un client sur un produit. Diriez-vous quelle est négative ou positive ? Critique : "+review,
Voici une évaluation laissée par un client sur un produit. Diriez-vous quelle est négative ou positive ? Evaluation : "+review,
Commentaire du produit : "+review+" Ce commentaire dépeint le produit sous un angle négatif ou positif ?,
Avis du produit : "+review+" Cet avis dépeint le produit sous un angle négatif ou positif ?,
Critique du produit : "+review+" Cette critique dépeint le produit sous un angle négatif ou positif ?,
Evaluation du produit : "+review+" Cette évaluation dépeint le produit sous un angle négatif ou positif ?,
Le commentaire suivant exprime quel sentiment ? Commentaire +review,
Lavis suivant exprime quel sentiment ? Avis +review,
La critique suivante exprime quel sentiment ? Critique +review,
Lévaluation suivante exprime quel sentiment ? Evaluation +review

特征使用

在上述提示列表中,review 和 targets 是从以下代码构造的:

allocine = load_dataset(allocine) review = allocine[train][i][review] targets = str(allocine[train][i][label]).replace("0", "neg").replace("1","pos")

数据集划分

  • train: 4,480,000 样本
  • valid: 560,000 样本
  • test: 560,000 样本

使用方法

python from datasets import load_dataset dataset = load_dataset("CATIE-AQ/allocine_fr_prompt_sentiment_analysis")

引用

原始数据

Théophile Blard, French sentiment analysis with BERT, (2020), GitHub repository, https://github.com/TheophileBlard/french-sentiment-analysis-with-bert

本数据集

@misc {centre_aquitain_des_technologies_de_linformation_et_electroniques_2023,
author = { {Centre Aquitain des Technologies de lInformation et Electroniques} },
title = { DFP (Revision 1d24c09) },
year = 2023,
url = { https://huggingface.co/datasets/CATIE-AQ/DFP },
doi = { 10.57967/hf/1200 },
publisher = { Hugging Face }
}

许可证

MIT

搜集汇总
数据集介绍
构建方式
该数据集源自法语电影评论数据集Allociné,经由法国提示词数据集(DFP)项目精心改造而成。构建过程中,研究团队首先从Allociné数据集中提取了约560万条评论及其二元情感标签(正面/负面),随后设计了一套包含28种不同表述形式的提示词模板。这些提示词覆盖了直陈式、尊称与昵称等多种语用风格,并将原始评论嵌入其中,形成统一的输入-目标格式,最终产出与xP3数据集结构兼容的高质量指令微调数据。
特点
该数据集的核心特色在于其规模宏大且结构精巧:总计560万条样本,按8:1:1比例划分为训练集、验证集与测试集,为二元情感分类任务提供了充足的数据支撑。28种提示词的多样性设计显著增强了模型的泛化能力,使其能够适应不同提问方式下的情感判断。此外,数据集遵循MIT开源协议,完全基于已有资源构建,兼具学术严谨性与实用价值,特别适合用于微调法语大语言模型的情感分析能力。
使用方法
使用者可通过Hugging Face Datasets库便捷加载该数据集,仅需一行代码即可获取完整的训练、验证与测试分片。数据集中包含经过提示词增强的文本输入与对应的情感标签(neg/pos),可直接用于序列分类模型的训练与评估。建议研究者在微调法语语言模型时,将该数据集作为情感分析任务的核心训练材料,其多样化的提示表达有助于提升模型对自然语言变体的鲁棒性。
背景与挑战
背景概述
在自然语言处理领域,情感分析作为文本分类的核心任务之一,长期受到学界与工业界的广泛关注。然而,多数高质量情感分析数据集集中于英语,法语等低资源语言的研究相对滞后。2023年,由法国阿基坦信息技术与电子中心(CATIE-AQ)的研究人员Loïck Bourdois主导,基于Blard先前发布的Allociné电影评论数据集,构建了名为allocine_fr_prompt_sentiment_analysis的大规模法语二元情感分析数据集。该数据集包含560万条样本,通过28种精心设计的提示模板将原始评论转化为指令格式,使其与xP3多任务数据集兼容,旨在推动法语自然语言理解中的少样本学习与指令微调研究。其发布为法语情感分析提供了标准化基准,显著促进了相关领域的可复现研究与跨语言模型评估。
当前挑战
该数据集所面临的挑战首先体现在领域问题的复杂性上:法语情感分析需处理语言中的细微情感表达,如讽刺、双关及文化特有的情绪词汇,二元分类难以捕捉中性或混合情感。此外,原始Allociné数据源自电影评论,领域单一性可能导致模型在其他文本类型上的泛化能力受限。在构建过程中,挑战尤为显著:28条提示模板虽覆盖了多种提问风格,但部分模板存在语法或不一致问题,如混合使用敬语与口语形式,可能引入偏见;同时,将原始标签(0/1)直接映射为“neg”和“pos”忽略了情感强度的连续性,且未对提示语进行人工校验,可能产生噪声数据,影响下游任务的鲁棒性。
常用场景
经典使用场景
在自然语言处理与情感分析领域,allocine_fr_prompt_sentiment_analysis数据集为法语二元情感分类任务提供了大规模、高质量的基准资源。其经典应用场景集中于微调预训练语言模型,例如基于BERT架构的法语变体CamemBERT或FlauBERT,通过该数据集丰富的提示模板,研究者能够评估模型在不同提问方式下的泛化能力与鲁棒性。该数据集包含超过560万条样本,覆盖了从正式到非正式、从直问到间接询问的多种提示风格,使得模型在真实场景中面对多样化用户表达时仍能保持稳定性能。这一特性使其成为法语情感分析领域模型性能评测的标准测试床。
衍生相关工作
该数据集作为法国提示数据集(DFP)的核心子集,催生了多项具有影响力的衍生工作。研究者基于其构建了法语指令微调基准,如通过将提示模板与不同模型架构组合,系统比较了CamemBERT、FlauBERT及多语言XLM-R在情感分析任务上的表现差异。另有工作利用其大规模样本探索了提示模板数量与模型性能之间的缩放律,揭示了增加提示多样性可有效缓解过拟合现象。此外,该数据集还被用于验证跨语言迁移学习的有效性,例如将基于英文情感数据训练的多语言模型在该数据集上进行零样本评估,为法语低资源情感分析提供了重要的对比基线。
数据集最近研究
最新研究方向
在自然语言处理领域,情感分析作为文本分类的核心任务之一,正逐渐向多提示学习范式演进。allocine_fr_prompt_sentiment_analysis数据集以法语用户评论为基底,通过28种精心设计的提示模板(涵盖敬语与非敬语形式、不同句式结构),构建了560万条二元情感分类样本,为法语语境下的零样本与少样本学习提供了规模化基准。该数据集紧跟大语言模型时代的前沿趋势,其提示工程策略与xP3格式对齐,直接服务于指令微调与跨任务泛化能力的研究。当前热点聚焦于探索提示多样性对模型鲁棒性的影响,以及法语情感分析在电商评论、社交媒体舆情监控等场景中的落地应用。这一资源不仅填补了法语提示学习数据集的空白,更推动了多语言情感分析从单一任务向通用语言理解模型的转型,具有重要的学术与工业价值。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务