ZhuofengLi/MDS

SciReviewGen数据集包含三个主要部分：split_survey_df、original_survey_df和summarization_csv。split_survey_df是SciReviewGen的分割版本，用于生成文献综述的章节；original_survey_df是SciReviewGen的原始版本，用于生成文献综述的完整文本；summarization_csv是适合摘要任务的CSV文件。数据格式包括文献综述的章节或完整文本、论文ID、标题、摘要、章节标题、正文文本、引用论文的数量和标题、引用句等。数据构建过程涉及使用`make_summarization_csv.py`脚本将数据框转换为CSV文件。

The SciReviewGen dataset consists of three main parts: split_survey_df, original_survey_df, and summarization_csv. split_survey_df is the split version of SciReviewGen, aimed at generating literature review chapters; original_survey_df is the original version of SciReviewGen, aimed at generating the entire text of literature reviews; summarization_csv is a CSV file suitable for summarization tasks. The data format includes literature review chapters or the entire text of literature reviews, paper IDs, titles, abstracts, section titles, body text, the number and titles of cited papers, citing sentences, etc. The data construction process involves using the `make_summarization_csv.py` script to convert data frames into CSV files.

原始信息汇总

数据集概述

数据集版本

• split_survey_df: 用于生成文献综述章节的分割版本。
• original_survey_df: 用于生成文献综述全文的原始版本。
• summarization_csv: 适用于摘要任务的CSV文件。

数据格式

split_survey_df & original_survey_df

• 行:
  • 文献综述章节或文献综述全文。
• 列:
  • paper_id: 在S2ORC中使用的paper_id。
  • title: 文献综述的标题。
  • abstract: 文献综述的摘要。
  • section: 章节标题。
  • text: 文献综述章节或文献综述全文的正文。
  • n_bibs: 可用作输入的引用文献数量。
  • n_nonbibs: 不可用作输入的引用文献数量。
  • bib_titles: 引用文献的标题。
  • bib_abstracts: 引用文献的摘要。
  • bib_citing_sentences: 引用引用文献的句子。
  • split: 训练/验证/测试分割。

summarization_csv

• 行:
  • 文献综述章节。
• 列:
  • reference: 文献综述标题 <s> 章节标题 <s> 引用文献1的摘要 <s> BIB001 </s> 文献综述标题 <s> 章节标题 <s> 引用文献2的摘要 <s> BIB002 </s> ...
  • target: 文献综述章节。

数据构建

使用make_summarization_csv.py将df转换为csv。