task1494_bengali_hate_speech_classification

该数据集名为'Natural Instructions'，主要用于文本生成任务，特别是孟加拉语的仇恨言论分类。数据集包含1814个训练样本、227个验证样本和227个测试样本。数据集的创建方式为众包，语言为英语，许可证为Apache-2.0。数据集的特征包括输入、输出和ID，均为字符串类型。

原始信息汇总

数据集概述

基本信息

• 数据集名称: task1494_bengali_hate_speech_classification
• 数据集主页: https://github.com/allenai/natural-instructions
• 许可证: Apache-2.0
• 任务类别: 文本生成
• 语言: 英语 (en)
• 创建者: 众包
• 注释创建者: 众包

数据集结构

• 配置名称: plain_text
• 特征:
  • input: 字符串类型
  • output: 字符串类型
  • id: 字符串类型
• 数据分割:
  • train: 1814 个样本
  • valid: 227 个样本
  • test: 227 个样本

相关论文

• 论文1: Super-NaturalInstructions: Generalization via Declarative Instructions on 1600+ NLP Tasks
• 论文2: Compress then Serve: Serving Thousands of LoRA Adapters with Little Overhead

引用信息

如果使用该数据集，请引用以下论文： bibtex @misc{wang2022supernaturalinstructionsgeneralizationdeclarativeinstructions, title={Super-NaturalInstructions: Generalization via Declarative Instructions on 1600+ NLP Tasks}, author={Yizhong Wang and Swaroop Mishra and Pegah Alipoormolabashi and Yeganeh Kordi and Amirreza Mirzaei and Anjana Arunkumar and Arjun Ashok and Arut Selvan Dhanasekaran and Atharva Naik and David Stap and Eshaan Pathak and Giannis Karamanolakis and Haizhi Gary Lai and Ishan Purohit and Ishani Mondal and Jacob Anderson and Kirby Kuznia and Krima Doshi and Maitreya Patel and Kuntal Kumar Pal and Mehrad Moradshahi and Mihir Parmar and Mirali Purohit and Neeraj Varshney and Phani Rohitha Kaza and Pulkit Verma and Ravsehaj Singh Puri and Rushang Karia and Shailaja Keyur Sampat and Savan Doshi and Siddhartha Mishra and Sujan Reddy and Sumanta Patro and Tanay Dixit and Xudong Shen and Chitta Baral and Yejin Choi and Noah A. Smith and Hannaneh Hajishirzi and Daniel Khashabi}, year={2022}, eprint={2204.07705}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2204.07705}, }

联系方式

如有任何问题或意见，请联系 Rickard Brüel Gabrielsson

搜集汇总

数据集介绍

构建方式

task1494_bengali_hate_speech_classification数据集的构建采用了众包方式，通过广泛的社区参与收集和标注数据。数据集的语言为英语，涵盖了文本生成任务类别，具体配置为纯文本格式。数据集的构建过程严格遵循Apache 2.0许可协议，确保了数据的合法性和透明性。

特点

该数据集的特点在于其专注于孟加拉语的仇恨言论分类任务，提供了丰富的文本样本用于模型训练和验证。数据集包含1814个训练样本、227个验证样本和227个测试样本，确保了模型在不同阶段的有效评估。每个样本均包含输入文本、输出标签和唯一标识符，便于数据管理和分析。

使用方法

task1494_bengali_hate_speech_classification数据集的使用方法主要围绕文本生成任务展开。用户可以通过加载数据集的分割部分（训练、验证和测试）进行模型训练和评估。数据集的结构设计使得用户能够轻松地将其集成到现有的自然语言处理流程中，支持多种机器学习框架和工具。使用该数据集时，建议参考相关论文和引用信息，以确保研究的科学性和规范性。

背景与挑战

背景概述

task1494_bengali_hate_speech_classification数据集由Allen Institute for AI于2022年发布，旨在解决孟加拉语中的仇恨言论分类问题。该数据集是Super-NaturalInstructions项目的一部分，该项目通过声明性指令在1600多个自然语言处理任务中推动模型的泛化能力。数据集的核心研究问题在于如何有效识别和分类孟加拉语文本中的仇恨言论，这对于社交媒体内容审核和语言学研究具有重要意义。该数据集的发布为孟加拉语自然语言处理领域提供了重要的资源，推动了相关技术的发展。

当前挑战

task1494_bengali_hate_speech_classification数据集面临的主要挑战包括：首先，孟加拉语作为一种低资源语言，其语言结构和表达方式与高资源语言存在显著差异，这使得仇恨言论的识别和分类更具挑战性。其次，仇恨言论的表达形式多样且具有高度的上下文依赖性，模型需要具备强大的语义理解能力才能准确分类。此外，数据集的构建依赖于众包标注，标注的一致性和准确性难以保证，可能影响模型的训练效果。这些挑战要求研究者在模型设计和数据预处理阶段采取更为精细的策略，以提升分类性能。

常用场景

经典使用场景

在自然语言处理领域，task1494_bengali_hate_speech_classification数据集被广泛用于训练和评估针对孟加拉语仇恨言论的分类模型。该数据集通过提供大量标注的文本样本，帮助研究者开发出能够准确识别和过滤网络上的仇恨言论的算法。特别是在多语言环境下，该数据集为孟加拉语这一特定语言的仇恨言论检测提供了宝贵的资源。

实际应用

在实际应用中，task1494_bengali_hate_speech_classification数据集被用于构建社交媒体平台的内容审核系统。通过利用该数据集训练的模型，平台能够自动检测并屏蔽含有仇恨言论的帖子，从而维护网络环境的健康和安全。此外，该数据集还可用于教育领域，帮助开发反仇恨言论的教育工具。

衍生相关工作

基于task1494_bengali_hate_speech_classification数据集，研究者们开发了多种先进的自然语言处理模型。例如，一些工作利用该数据集训练了基于Transformer的模型，显著提升了孟加拉语仇恨言论检测的准确率。此外，该数据集还催生了一系列关于多语言仇恨言论检测的研究，推动了该领域的进一步发展。