QCRI/CrisisMMD

--- license: cc-by-nc-sa-4.0 task_categories: - image-classification language: - en tags: - Disaster - Crisis Informatics pretty_name: 'CrisisMMD: Multimodal Twitter Datasets from Natural Disasters' size_categories: - 10K<n<100K dataset_info: - config_name: humanitarian splits: - name: train num_examples: 13608 - name: dev num_examples: 2237 - name: test num_examples: 2237 features: - name: event_name dtype: string description: "Name of the disaster event, such as 'hurricane_maria'." - name: tweet_id dtype: string description: "Unique identifier for the tweet." - name: image_id dtype: string description: "Unique identifier for the image associated with the tweet." - name: tweet_text dtype: string description: "The text content of the tweet." - name: image_path dtype: string description: "File path to the image." - name: image dtype: Image description: "Image data loaded directly from file." - name: label dtype: class_label: names: '0': affected_individuals '1': infrastructure_and_utility_damage '2': injured_or_dead_people '3': missing_or_found_people '4': not_humanitarian '5': other_relevant_information '6': rescue_volunteering_or_donation_effort '7': vehicle_damage description: "Humanitarian classification label for the tweet." - config_name: informative splits: - name: train num_examples: 13608 - name: dev num_examples: 2237 - name: test num_examples: 2237 features: - name: event_name dtype: string description: "Name of the disaster event, such as 'hurricane_maria'." - name: tweet_id dtype: string description: "Unique identifier for the tweet." - name: image_id dtype: string description: "Unique identifier for the image associated with the tweet." - name: tweet_text dtype: string description: "The text content of the tweet." - name: image_path dtype: string description: "File path to the image." - name: image dtype: Image description: "Image data loaded directly from file." - name: label dtype: class_label: names: '0': informative '1': not_informative description: "Informativeness classification label for the tweet." - config_name: damage splits: - name: train num_examples: 2468 - name: dev num_examples: 529 - name: test num_examples: 529 features: - name: event_name dtype: string description: "Name of the disaster event, such as 'hurricane_maria'." - name: tweet_id dtype: string description: "Unique identifier for the tweet." - name: image_id dtype: string description: "Unique identifier for the image associated with the tweet." - name: tweet_text dtype: string description: "The text content of the tweet." - name: image_path dtype: string description: "File path to the image." - name: image dtype: Image description: "Image data loaded directly from file." - name: label dtype: class_label: names: '0': little_or_no_damage '1': mild_damage '2': severe_damage description: "Damage severity classification label for the tweet." configs: - config_name: humanitarian data_files: - split: train path: humanitarian/train.json - split: dev path: humanitarian/dev.json - split: test path: humanitarian/test.json - config_name: informative data_files: - split: train path: informative/train.json - split: dev path: informative/dev.json - split: test path: informative/test.json - config_name: damage data_files: - split: train path: damage/train.json - split: dev path: damage/dev.json - split: test path: damage/test.json --- # CrisisMMD: Multimodal Twitter Datasets from Natural Disasters The **CrisisMMD** multimodal Twitter dataset consists of several thousand manually annotated tweets and images collected during seven major natural disasters, including earthquakes, hurricanes, wildfires, and floods from 2017. The dataset includes three types of annotations: On HuggingFace, we hosted version 2.0 of the CrisisMMD dataset. Please see further information below. ### Disaster Response Tasks 1. **Task 1: Informative vs Not Informative** - Informative - Not informative - "Don't know or can't judge" → **Removed in version 2.0** 2. **Task 2: Humanitarian Categories** - Affected individuals - Infrastructure and utility damage - Injured or dead people - Missing or found people - Rescue, volunteering, or donation effort - Vehicle damage - Other relevant information - "Not relevant or can't judge" → **Updated to "Not humanitarian" in version 2.0** 3. **Task 3: Damage Severity Assessment** - Severe damage - Mild damage - Little or no damage - "Don't know or can't judge" ## Datasets Details The keywords used for collecting tweets, along with the start and end dates for each event, are outlined in the following table. | Crisis Name | Keywords | Start Date | End Date | |--------------------|------------------------------------------------|-------------------|-------------------| | [Hurricane Irma](https://en.wikipedia.org/wiki/Hurricane_Irma) | Hurricane Irma, Irma storm, Storm Irma, etc. | Sep 6, 2017 | Sep 21, 2017 | | [Hurricane Harvey](https://en.wikipedia.org/wiki/Hurricane_Harvey) | Hurricane Harvey, Tornado, etc. | August 25, 2017 | September 20, 2017| | [Hurricane Maria](https://en.wikipedia.org/wiki/Hurricane_Maria) | Hurricane Maria, Maria Storm, etc. | September 20, 2017| November 13, 2017 | | [California wildfires](https://en.wikipedia.org/wiki/List_of_California_wildfires) | California fire, USA Wildfire, etc. | October 10, 2017 | October 27, 2017 | ### Event-wise data distribution For each event, we collected tweets and associated images, filtered and sampled them for the annotation. ## [**Data distribution from the CrisisMMD version v1.0**](https://crisisnlp.qcri.org/data/crisismmd/CrisisMMD_v1.0.tar.gz) | Crisis Name | # Tweets | # Images | # Filtered Tweets | # Sampled Tweets | # Sampled Images | |------------------------|-------------|------------|-------------------|------------------|------------------| | Hurricane Irma | 3,517,280 | 176,972 | 5,739 | 4,041 | 4,525 | | Hurricane Harvey | 6,664,349 | 321,435 | 19,967 | 4,000 | 4,443 | | Hurricane Maria | 2,953,322 | 52,231 | 6,597 | 4,000 | 4,562 | | California wildfires | 455,311 | 10,130 | 1,488 | 1,486 | 1,589 | | Mexico earthquake | 383,341 | 7,111 | 1,241 | 1,239 | 1,382 | | Iraq-Iran earthquake | 207,729 | 6,307 | 501 | 499 | 600 | | Sri Lanka floods | 41,809 | 2,108 | 870 | 832 | 1,025 | | **Total** | **14,223,141** | **576,294** | **36,403** | **16,097** | **18,126** | ## Data preparation for multimodal baseline For the multimodal baseline experiments, we first combined the tweet text and image from all events. It resulted in 24 duplicate entries (tweet ids: text and associated images). We manually checked these duplicate entries and kept the one, which were annotated properly. We changed the label “Not relevant or can’t judge” to “Not humanitarian”. In addition, as the annotation consists of a label - “don't know or can't not judge”, we also removed them for the classification experiments. Hence, this preprocessing part filtered out 39 tweets and associated 44 images. The resulted total dataset consists of 16058 and 18082 tweet texts and images, respectively as shown in the following table. This version of this dataset is released as version 2.0 and is available for download. ## [**Data distribution from the CrisisMMD version v2.0**](https://crisisnlp.qcri.org/data/crisismmd/CrisisMMD_v2.0.tar.gz) In this version, the "Not relevant or can't judge" label has been mapped to "Not humanitarian" for the humanitarian task. Additionally, the "Not informative" label from the informative task has also been mapped to "Not humanitarian" for the humanitarian task. Duplicate entries from different events have been removed. ### Informativeness | | Text | Image | |---------------|--------|--------| | Informative | 11,509 | 9,374 | | Not informative | 4,549 | 8,708 | | **Total** | 16,058 | 18,082 | ### Humanitarian | | Text | Image | |-------------------------------|--------|-------| | Affected individuals | 472 | 562 | | Infrastructure and utility damage | 1,210 | 3,624 | | Injured or dead people | 486 | 110 | | Missing or found people | 40 | 14 | | Not humanitarian | 4,549 | 8,708 | | Other relevant information | 5,954 | 2,529 | | Rescue, volunteering, or donation effort | 3,293 | 2,231 | | Vehicle damage | 54 | 304 | | **Total** | 16,058 | 18,082 | ### Damage Severity | | Text | Image | |-----------------|------|-------| | Little or no damage | - | 475 | | Mild damage | - | 839 | | Severe damage | - | 2,212 | | **Total** | - | 3,526 | ## Downloads (Alternate options) - **CrisisMMD dataset version v2.0**: [Download labeled images and tweets (~1.8GB)](https://crisisnlp.qcri.org/data/crisismmd/CrisisMMD_v2.0.tar.gz) - **Datasplit**: [Annotations Download](https://crisisnlp.qcri.org/data/crisismmd/crisismmd_datasplit_all.zip) - **Datasplit for multimodal baseline with agreed labels**: [Annotations Download](https://crisisnlp.qcri.org/data/crisismmd/crisismmd_datasplit_agreed_label.zip) ## Citation **Please cite the following papers if you use any of these resources in your research.** 1. [Ferda Ofli](https://sites.google.com/site/ferdaofli/), [Firoj Alam](https://firojalam.one/), and [Muhammad Imran](http://mimran.me/), [**Analysis of Social Media Data using Multimodal Deep Learning for Disaster Response**](https://arxiv.org/abs/2004.11838), In Proceedings of the 17th International Conference on Information Systems for Crisis Response and Management (ISCRAM), 2020, USA. 2. [Firoj Alam](https://firojalam.one/), [Ferda Ofli](https://sites.google.com/site/ferdaofli/), and [Muhammad Imran](http://mimran.me/), [**CrisisMMD: Multimodal Twitter Datasets from Natural Disasters**](https://arxiv.org/pdf/1805.00713.pdf), In Proceedings of the 12th International AAAI Conference on Web and Social Media (ICWSM), 2018, Stanford, California, USA. ``` @InProceedings{crisismmd2018icwsm, author = {Alam, Firoj and Ofli, Ferda and Imran, Muhammad}, title = {{CrisisMMD}: Multimodal Twitter Datasets from Natural Disasters}, booktitle = {Proceedings of the 12th International AAAI Conference on Web and Social Media (ICWSM)}, year = {2018}, month = {June}, date = {23-28}, location = {USA} } @inproceedings{multimodalbaseline2020, Author = {Ferda Ofli and Firoj Alam and Muhammad Imran}, Booktitle = {17th International Conference on Information Systems for Crisis Response and Management}, Keywords = {Multimodal deep learning, Multimedia content, Natural disasters, Crisis Computing, Social media}, Month = {May}, Organization = {ISCRAM}, Publisher = {ISCRAM}, Title = {Analysis of Social Media Data using Multimodal Deep Learning for Disaster Response}, Year = {2020} } ```license: CC-BY-NC-SA-4.0 任务类别： - 图像分类（image-classification） 语言： - 英语 标签： - 灾害（Disaster） - 危机信息学（Crisis Informatics） 展示名称：「CrisisMMD：面向自然灾害的多模态推特数据集」 样本规模类别：10000 < 样本数 < 100000 数据集信息： - 配置名称：人道主义分类（humanitarian） 拆分集： - 名称：训练集（train），样本数：13608 - 名称：开发集（dev），样本数：2237 - 名称：测试集（test），样本数：2237 特征： - 特征名称：事件名称，数据类型：字符串，描述：灾害事件的名称，例如'hurricane_maria'。 - 特征名称：推文ID（tweet_id），数据类型：字符串，描述：推文的唯一标识符。 - 特征名称：图像ID（image_id），数据类型：字符串，描述：关联推文的图像的唯一标识符。 - 特征名称：推文字本（tweet_text），数据类型：字符串，描述：推文的文本内容。 - 特征名称：图像路径（image_path），数据类型：字符串，描述：图像的文件路径。 - 特征名称：图像（image），数据类型：图像（Image），描述：直接从文件加载的图像数据。 - 特征名称：标签（label），数据类型：类别标签（class_label），类别映射： '0': 受影响民众（affected_individuals） '1': 基础设施与公用设施损坏（infrastructure_and_utility_damage） '2': 受伤或遇难人员（injured_or_dead_people） '3': 失踪或被找到人员（missing_or_found_people） '4': 非人道主义相关（not_humanitarian） '5': 其他相关信息（other_relevant_information） '6': 救援、志愿或捐赠行动（rescue_volunteering_or_donation_effort） '7': 车辆损坏（vehicle_damage） 描述：该推文的人道主义分类标签。 - 配置名称：信息性分类（informative） 拆分集： - 名称：训练集（train），样本数：13608 - 名称：开发集（dev），样本数：2237 - 名称：测试集（test），样本数：2237 特征： - 特征名称：事件名称，数据类型：字符串，描述：灾害事件的名称，例如'hurricane_maria'。 - 特征名称：推文ID（tweet_id），数据类型：字符串，描述：推文的唯一标识符。 - 特征名称：图像ID（image_id），数据类型：字符串，描述：关联推文的图像的唯一标识符。 - 特征名称：推文字本（tweet_text），数据类型：字符串，描述：推文的文本内容。 - 特征名称：图像路径（image_path），数据类型：字符串，描述：图像的文件路径。 - 特征名称：图像（image），数据类型：图像（Image），描述：直接从文件加载的图像数据。 - 特征名称：标签（label），数据类型：类别标签（class_label），类别映射： '0': 信息性内容（informative） '1': 非信息性内容（not_informative） 描述：该推文的信息性分类标签。 - 配置名称：损坏程度分类（damage） 拆分集： - 名称：训练集（train），样本数：2468 - 名称：开发集（dev），样本数：529 - 名称：测试集（test），样本数：529 特征： - 特征名称：事件名称，数据类型：字符串，描述：灾害事件的名称，例如'hurricane_maria'。 - 特征名称：推文ID（tweet_id），数据类型：字符串，描述：推文的唯一标识符。 - 特征名称：图像ID（image_id），数据类型：字符串，描述：关联推文的图像的唯一标识符。 - 特征名称：推文字本（tweet_text），数据类型：字符串，描述：推文的文本内容。 - 特征名称：图像路径（image_path），数据类型：字符串，描述：图像的文件路径。 - 特征名称：图像（image），数据类型：图像（Image），描述：直接从文件加载的图像数据。 - 特征名称：标签（label），数据类型：类别标签（class_label），类别映射： '0': 轻微或无损坏（little_or_no_damage） '1': 轻度损坏（mild_damage） '2': 严重损坏（severe_damage） 描述：该推文的损坏程度分类标签。 配置文件： - 配置名称：人道主义分类，数据文件： - 训练集对应humanitarian/train.json - 开发集对应humanitarian/dev.json - 测试集对应humanitarian/test.json - 配置名称：信息性分类，数据文件： - 训练集对应informative/train.json - 开发集对应informative/dev.json - 测试集对应informative/test.json - 配置名称：损坏程度分类，数据文件： - 训练集对应damage/train.json - 开发集对应damage/dev.json - 测试集对应damage/test.json # CrisisMMD：面向自然灾害的多模态推特数据集 **CrisisMMD（面向自然灾害的多模态推特数据集）** 包含了2017年以来7次重大自然灾害（包括地震、飓风、野火与洪水）期间收集的数千条经人工标注的推文与关联图像。该数据集涵盖三类标注任务： 本次在HuggingFace平台上架的是CrisisMMD数据集的2.0版本，详细信息如下文所述。 ## 灾害响应分类任务 1. **任务1：信息性内容 vs 非信息性内容** - 信息性内容（informative） - 非信息性内容（not informative） - "不确定或无法判断" → **2.0版本中已移除** 2. **任务2：人道主义分类** - 受影响民众（affected_individuals） - 基础设施与公用设施损坏（infrastructure_and_utility_damage） - 受伤或遇难人员（injured_or_dead_people） - 失踪或被找到人员（missing_or_found_people） - 救援、志愿或捐赠行动（rescue_volunteering_or_donation_effort） - 车辆损坏（vehicle_damage） - 其他相关信息（other_relevant_information） - "不相关或无法判断" → **2.0版本中已更新为「非人道主义相关」（not humanitarian）** 3. **任务3：损坏程度评估** - 严重损坏（severe_damage） - 轻度损坏（mild_damage） - 轻微或无损坏（little_or_no_damage） - "不确定或无法判断" ## 数据集详情 用于推文收集的关键词以及各灾害事件的起止日期如下表所示。 | 灾害名称 | 关键词 | 开始日期 | 结束日期 | |---------|-------|---------|---------| | [飓风艾玛（Hurricane Irma）](https://en.wikipedia.org/wiki/Hurricane_Irma) | 飓风艾玛、艾玛风暴、艾玛飓风等 | 2017年9月6日 | 2017年9月21日 | | [飓风哈维（Hurricane Harvey）](https://en.wikipedia.org/wiki/Hurricane_Harvey) | 飓风哈维、龙卷风等 | 2017年8月25日 | 2017年9月20日 | | [飓风玛丽亚（Hurricane Maria）](https://en.wikipedia.org/wiki/Hurricane_Maria) | 飓风玛丽亚、玛丽亚风暴等 | 2017年9月20日 | 2017年11月13日 | | [加州野火（California wildfires）](https://en.wikipedia.org/wiki/List_of_California_wildfires) | 加州火灾、美国野火等 | 2017年10月10日 | 2017年10月27日 | ### 按事件划分的数据分布 针对每个灾害事件，我们收集了推文与关联图像，并经过筛选与采样后用于标注工作。 ## [**CrisisMMD v1.0版本数据分布**](https://crisisnlp.qcri.org/data/crisismmd/CrisisMMD_v1.0.tar.gz) | 灾害名称 | 推文总数 | 图像总数 | 筛选后推文数 | 采样后推文数 | 采样后图像数 | |---------|---------|---------|-------------|-------------|-------------| | 飓风艾玛 | 3,517,280 | 176,972 | 5,739 | 4,041 | 4,525 | | 飓风哈维 | 6,664,349 | 321,435 | 19,967 | 4,000 | 4,443 | | 飓风玛丽亚 | 2,953,322 | 52,231 | 6,597 | 4,000 | 4,562 | | 加州野火 | 455,311 | 10,130 | 1,488 | 1,486 | 1,589 | | 墨西哥地震 | 383,341 | 7,111 | 1,241 | 1,239 | 1,382 | | 伊拉克-伊朗地震 | 207,729 | 6,307 | 501 | 499 | 600 | | 斯里兰卡洪水 | 41,809 | 2,108 | 870 | 832 | 1,025 | | **总计** | **14,223,141** | **576,294** | **36,403** | **16,097** | **18,126** | ## 多模态基准模型的数据预处理 在多模态基准模型实验中，我们首先整合了所有灾害事件的推文字符与关联图像，共得到24条重复条目（推文ID、文本与关联图像均重复）。我们对这些重复条目进行人工核查，保留其中标注规范的条目。我们将"不相关或无法判断"标签更新为"非人道主义相关"。此外，由于原标注中存在"不确定或无法判断"标签，我们在分类实验中将其移除。本次预处理共筛选移除了39条推文及关联的44张图像，最终得到的数据集总共有16058条推文字符与18082张关联图像，如下表所示。本数据集版本即为2.0版本，可公开下载。 ## [**CrisisMMD v2.0版本数据分布**](https://crisisnlp.qcri.org/data/crisismmd/CrisisMMD_v2.0.tar.gz) 本版本中，人道主义分类任务下的"不相关或无法判断"标签已映射为"非人道主义相关"；此外，信息性分类任务下的"非信息性内容"标签也已映射至人道主义分类任务的"非人道主义相关"类别。不同事件间的重复条目已全部移除。 ### 信息性分类数据分布 | | 推文字符数 | 图像数 | |---------------|-----------|--------| | 信息性内容 | 11,509 | 9,374 | | 非信息性内容 | 4,549 | 8,708 | | **总计** | 16,058 | 18,082 | ### 人道主义分类数据分布 | | 推文字符数 | 图像数 | |-------------------------------|-----------|--------| | 受影响民众 | 472 | 562 | | 基础设施与公用设施损坏 | 1,210 | 3,624 | | 受伤或遇难人员 | 486 | 110 | | 失踪或被找到人员 | 40 | 14 | | 非人道主义相关 | 4,549 | 8,708 | | 其他相关信息 | 5,954 | 2,529 | | 救援、志愿或捐赠行动 | 3,293 | 2,231 | | 车辆损坏 | 54 | 304 | | **总计** | 16,058 | 18,082 | ### 损坏程度分类数据分布 | | 推文字符数 | 图像数 | |-----------------|-----------|--------| | 轻微或无损坏 | - | 475 | | 轻度损坏 | - | 839 | | 严重损坏 | - | 2,212 | | **总计** | - | 3,526 | ## 下载方式（可选渠道） - **CrisisMMD v2.0数据集**：[下载标注推文与图像（约1.8GB）](https://crisisnlp.qcri.org/data/crisismmd/CrisisMMD_v2.0.tar.gz) - **数据集拆分文件**：[标注数据下载](https://crisisnlp.qcri.org/data/crisismmd/crisismmd_datasplit_all.zip) - **带一致标注的多模态基准模型数据集拆分文件**：[标注数据下载](https://crisisnlp.qcri.org/data/crisismmd/crisismmd_datasplit_agreed_label.zip) ## 引用说明 若您在研究中使用本数据集，请引用以下论文： 1. [费尔达·奥夫利（Ferda Ofli）]、[菲罗吉·阿拉姆（Firoj Alam）]与[穆罕默德·伊姆兰（Muhammad Imran）]，**《基于多模态深度学习的灾害响应社交媒体数据分析》**，发表于第17届国际危机响应与管理信息系统会议（ISCRAM 2020），美国。 2. [菲罗吉·阿拉姆（Firoj Alam）]、[费尔达·奥夫利（Ferda Ofli）]与[穆罕默德·伊姆兰（Muhammad Imran）]，**《CrisisMMD：面向自然灾害的多模态推特数据集》**，发表于第12届国际AAAI社交媒体与网络会议（ICWSM 2018），美国加利福尼亚州斯坦福市。