community-datasets/disaster_response_messages

该数据集名为Disaster Response Messages，主要用于灾难响应相关的文本分析和自然语言处理任务。数据集包含多种语言的原始消息及其英文翻译，并且每条消息都被标注了40个不同的类别，用于描述消息的内容和意图。数据集的大小在10K到100K之间，包含训练集、测试集和验证集。数据集的创建目的是为了理解公民在灾难期间的情感和需求，帮助政府制定更好的政策。

原始信息汇总

数据集卡片 - 灾难响应消息

数据集描述

数据集摘要

该数据集包含30,000条消息，来自2010年海地地震、2010年智利地震、2010年巴基斯坦洪水、2012年美国超级风暴桑迪等多个灾难事件。数据集包含36个与灾难响应相关的类别，并已去除包含敏感信息的消息。该数据集特别适用于文本分析和自然语言处理（NLP）任务和模型。

支持的任务和排行榜

数据集包含数千条未翻译的灾难相关消息及其英语翻译，以及40个用于意图和内容的类别标签。

语言

数据集是多语言的，包含原始语言和英语翻译的消息。

数据集结构

数据实例

数据集包含英语消息及其原始语言形式，以及40个标签，帮助理解消息的精确含义。

数据字段

• split: 训练、测试分割
• message: 灾难相关消息的英语文本
• original: 原始语言的消息文本
• genre: 消息类型，包括直接消息、社交媒体发布和新闻报道
• related: 消息是否与灾难相关（1=是，0=否，2=可能）
• PII: 消息是否包含个人身份信息（1=是，0=否）
• request: 消息是否包含请求（1=是，0=否）
• offer: 消息是否包含提供（1=是，0=否）
• aid_related: 消息是否与援助相关（1=是，0=否）
• medical_help: 消息是否涉及医疗帮助（1=是，0=否）
• medical_products: 消息是否涉及医疗产品（1=是，0=否）
• search_and_rescue: 消息是否涉及搜索和救援（1=是，0=否）
• security: 消息是否涉及安全（1=是，0=否）
• military: 消息是否涉及军事（1=是，0=否）
• child_alone: 消息是否提及单独的儿童（1=是，0=否）
• water: 消息是否涉及水（1=是，0=否）
• food: 消息是否涉及食物（1=是，0=否）
• shelter: 消息是否涉及避难所（1=是，0=否）
• clothing: 消息是否涉及衣物（1=是，0=否）
• money: 消息是否涉及金钱（1=是，0=否）
• missing_people: 消息是否提及失踪人员（1=是，0=否）
• refugees: 消息是否涉及难民（1=是，0=否）
• death: 消息是否暗示死亡（1=是，0=否）
• other_aid: 是否需要其他援助（1=是，0=否）
• infrastructure_related: 消息是否涉及基础设施（1=是，0=否）
• transport: 消息是否涉及交通（1=是，0=否）
• buildings: 消息是否涉及建筑物（1=是，0=否）
• electricity: 消息是否涉及电力（1=是，0=否）
• tools: 消息是否涉及工具（1=是，0=否）
• hospitals: 消息是否涉及医院（1=是，0=否）
• shops: 消息是否涉及商店（1=是，0=否）
• aid_centers: 消息是否涉及援助中心（1=是，0=否）
• other_infrastructure: 消息是否涉及其他基础设施（1=是，0=否）
• weather_related: 消息是否涉及天气（1=是，0=否）
• floods: 消息是否指示洪水（1=是，0=否）
• storm: 消息是否指示风暴（1=是，0=否）
• fire: 消息是否指示火灾（1=是，0=否）
• earthquake: 消息是否指示地震（1=是，0=否）
• cold: 消息是否指示寒冷（1=是，0=否）
• other_weather: 消息是否指示其他天气问题（1=是，0=否）
• direct_report: 消息是否显示直接报告（1=是，0=否）

数据分割

分割	样本数量
train	21046
test	2629
validation	2573

数据集创建

策划理由

数据集旨在理解公民的情绪以及他们寻求的帮助类型，帮助政府更好地理解公民并制定相应政策。

源数据

初始数据收集和规范化

[更多信息需补充]

源语言生产者

[更多信息需补充]

注释

注释过程

[更多信息需补充]

注释者

[更多信息需补充]

个人和敏感信息

[更多信息需补充]

使用数据的注意事项

数据集的社会影响

数据集有助于理解全球灾难期间公民的情绪和反应，帮助政府更好地理解公民并制定相应政策。

偏见的讨论

由于消息已被翻译成英语，可能无法准确反映原始消息的精确含义。

其他已知限制

[更多信息需补充]

附加信息

数据集策展人

数据集最初由Appen创建。

许可信息

[更多信息需补充]

引用信息

多语言灾难响应消息

贡献

感谢@darshan-gandhi添加此数据集。

搜集汇总

数据集介绍

构建方式

在自然灾害应急响应的紧迫需求下，该数据集应运而生，旨在系统性地捕捉和分析灾难事件中公众的即时反馈与求助信息。其构建过程严谨而精细，数据源涵盖了2010年海地地震、智利地震、巴基斯坦洪水以及2012年美国桑迪飓风等重大灾难事件，同时整合了跨越多年、涉及数百种灾害的新闻报道。原始信息以多语言形式收集，随后由专家进行英文翻译与标注，最终形成包含约30,000条消息的语料库。每条消息均被赋予36个二值化类别标签，用以精准刻画其意图与内容属性，如是否涉及医疗求助、物资需求或基础设施受损等。此外，数据集已剔除包含个人敏感信息的条目，确保隐私合规性，并按照训练、验证和测试集进行划分，分别包含21046、2573和2629条样本。

特点

该数据集的核心特点在于其多维度的精细标注与高度的领域针对性。每条消息不仅记录了原始语言文本与英文翻译，还通过40个类别标签实现了对灾难响应意图和内容的全面解构，涵盖请求、援助类型、基础设施影响及天气相关事件等子类。这种层次化的标注体系使得模型能够同时学习意图分类（如请求与提供帮助）和细粒度的语义分类（如医疗、食物、避难所等具体需求）。多语言属性（包括英语、西班牙语、法语、海地克里奥尔语和乌尔都语）进一步增强了其在跨文化场景下的适用性。数据来源的多样性——融合了直接消息、社交媒体帖文和新闻简报——确保了语料在体裁上的丰富性，从而提升了模型对真实灾难通信中复杂语言模式的泛化能力。

使用方法

该数据集的设计天然支持文本分类与文本生成两大核心任务。对于文本分类，研究者可直接利用预定义的36个二值化标签进行多标签分类模型的训练，例如通过微调BERT或RoBERTa等预训练语言模型，以自动识别灾难信息中的紧急请求、援助类别或基础设施受损情况。具体实施时，可将‘message’字段作为输入特征，‘related’、‘request’、‘aid_related’等列作为多标签目标变量。对于文本生成任务，可基于‘original’与‘message’字段构建翻译或摘要模型，用于灾难场景下的实时信息转换。此外，数据集的划分方式允许直接使用HuggingFace的load_dataset函数加载，并利用标准评估指标（如F1分数）进行性能验证。其结构化格式也便于扩展至零样本分类或跨语言迁移学习等前沿研究。

背景与挑战

背景概述

在自然灾害频发的时代，如何从海量、多语种的社交媒体信息中快速提取关键救援需求，已成为应急响应领域的核心挑战。Disaster Response Messages数据集由Appen公司于2010年至2012年间构建，汇集了海地地震、智利地震、巴基斯坦洪灾及美国桑迪飓风等重大灾难期间的真实通信内容。该数据集包含约3万条经过专家标注的消息，覆盖英语、西班牙语、法语、海地克里奥尔语和乌尔都语五种语言，每条消息均被赋予36个细粒度标签，涉及救援请求、基础设施损毁、医疗需求等维度。作为Udacity数据科学课程和AI4ALL夏令营的核心教学资源，该数据集为自然语言处理与灾难管理交叉领域的研究提供了标准化基准，推动了基于文本的实时灾情分析技术发展。

当前挑战

该数据集面临的核心挑战在于多语言环境下语义理解的复杂性。原始消息以五种不同语言撰写，虽经人工翻译为英文，但文化语境和情感强度的细微差异难以完全保留，可能导致模型对求助紧迫性的误判。构建过程中，标注团队需从混合了直接报告、社交媒体帖文和新闻稿的异构文本中，精准识别36种灾害响应类别，而部分类别（如“儿童独处”“个人身份信息”）样本稀疏，加剧了类别不平衡问题。此外，灾难场景的时效性要求模型具备跨事件泛化能力，但数据集中不同灾难的分布不均，使得模型在应对新兴灾害类型时表现不稳定，这成为从研究走向实际部署的关键瓶颈。

常用场景

经典使用场景

在自然语言处理与计算社会学交叉领域，Disaster Response Messages数据集常被用于训练多标签文本分类模型，以自动识别灾害相关消息中的关键意图与信息类别。该数据集涵盖36个细粒度标签，包括援助请求、基础设施损坏、医疗需求、天气状况等，为构建能够精准解析海量社交媒体或通信渠道中紧急信息的系统提供了标准化基准。研究者通常将其作为评估模型在多任务、多标签场景下泛化能力的核心测试集，尤其在灾难应急响应中的语义理解任务中占据重要地位。

衍生相关工作

该数据集衍生了一系列经典工作，包括多标签文本分类的基准模型如基于BERT的微调方法，以及面向低资源语言的跨语言迁移学习框架。研究者还将其与图神经网络结合，探索消息中实体关系的结构化建模，以提升对复杂灾情场景的推理能力。此外，部分工作聚焦于数据增强与噪声标签处理，通过半监督学习缓解类别不平衡问题。这些研究不仅深化了灾难NLP的理论体系，也为后续如COVID-19舆情分析等公共危机管理任务提供了方法论参考。

数据集最近研究

最新研究方向

在灾害应急管理领域，该数据集的前沿研究正聚焦于利用多语言文本分类与意图识别技术，提升灾难响应中信息处理的实时性与精准度。结合近年全球频发的极端气候事件（如飓风、洪灾）及人道主义危机，研究者致力于通过深度学习模型（如Transformer架构）自动解析海量社交媒体与新闻消息，快速区分求助、援助提供、基础设施受损等36类细粒度标签。这一方向不仅推动了自然语言处理在低资源语言（如海地克里奥尔语、乌尔都语）上的鲁棒性突破，更赋能政府与非政府组织构建智能决策支持系统，实现从被动响应到主动预警的范式转变。其意义在于缩短黄金救援时间，优化资源调配，最终降低灾害中的人员伤亡与社会经济损失。