joelchan/contextualizing-scientific-claims

该数据集用于科学文献中的问题回答任务，特别是关于科学声明的情境化。数据集包含585个科学声明，涵盖了生物学、计算机科学和社会科学等领域。数据集还包括对这些声明的“黄金”标注，用于支持每个声明的关键结果和方法细节。数据集的结构包括训练/开发数据集、测试数据集、图像/表格数据、提取的标题文本和完整文本解析。

This dataset is designed for the Shared Task Context24: Contextualizing Scientific Figures and Tables at the 2024 Workshop on Scholarly Document Processing. It contains 585 scientific claims actually used in lab notes and discussions across biology, computer science, and social sciences. Each claim has gold annotations for figures/tables that ground the key results behind the claim. For a subset of these claims, there are gold examples of text snippets describing key methodological details that ground the claim. The dataset includes four subsets from different research domains. Training and development datasets are stored in `task1-train-dev.json` and `task2-train-dev.json`, respectively, and test datasets in `task1-test.json` and `task2-test.json`. Evaluation scripts are in the `eval/` directory.

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-4.0
• 任务类别: 问答
• 语言: 英语
• 标签: 生物学, 科学论文
• 数据集名称: Contextualizing Scientific Claims
• 数据集规模: 1K<n<10K

背景与问题

• 目标: 帮助AI模型在科学文献中定位和理解科学声明的上下文信息，包括关键的实证证据和方法细节。
• 挑战: 在实际使用中，检索这些上下文信息是困难且耗时的。

数据集结构

• 数据来源:

  1. akamatsulab: 细胞生物学
  2. BIOL403: 细胞生物学
  3. dg-social-media-polarization: 社会科学（政治学、经济学、人机交互）
  4. megacoglab: 多种领域（人机交互、心理学、经济学、计算机科学、公共卫生）

• 目录结构:

  task1-train-dev.json task1-train-dev-2024-04-25-update.json task2-train-dev.json full_texts.json full_texts-2024-04-25-update.json figures-tables/ citekey/ FIG 1.png ... silver-data/ eval/ extracted_captions/ citekey1.json ... task1-test.json task2-test.json test_figures-tables/ test_extracted_captions/ full_texts-test.json

任务1: 证据识别

• 任务描述: 给定一个科学声明和相关的研究论文，预测论文中提供支持证据的关键图表。

• 训练和开发数据:

  • 总数: 474个科学声明
  • 数据集分布:

    数据集	数量
    akamatsulab	213
    BIOL403	60
    dg-social-media-polarization	78
    megacoglab	123

  • 更新: 2024年4月26日新增81个声明

• 测试数据:

  • 总数: 111个科学声明
  • 数据集分布:

    数据集	数量
    akamatsulab	51
    megacoglab	60

任务2: 上下文识别

• 任务描述: 给定一个科学声明和相关的研究论文，识别论文中讨论实验方法细节的上下文文本片段。
• 测试数据:
  • 总数: 109个科学声明
  • 数据集分布:

    数据集	数量
    akamatsulab	49
    megacoglab	60

评估与提交

• 评估脚本:
  • 任务1: task1_eval.py
  • 任务2: task2_eval.py
• 提交格式:
  • 任务1: .csv文件，包含声明ID和预测的图表排名。
  • 任务2: .json文件，包含声明ID和预测的上下文片段。