遇见数据集

simpleParadox/SQuAD_v1.1_Du_et_al_2017_formatted

收藏
Hugging Face2024-05-20 更新2024-05-25 收录
官方服务:

资源简介:

该数据集是SQuAD v1.1的一个分割版本,由Du. et. al. 2017论文提供,并以json格式存储。与原始SQuAD数据集不同,这个版本的数据格式经过了调整,以便于在代码中使用。文件中还提供了一个数据预处理脚本data_preprocessing.py,并指出answers列以字符串形式存储,需要使用ast.literal_eval()进行转换。

该数据集是SQuAD v1.1的一个分割版本,由Du. et. al. 2017论文提供,并以json格式存储。与原始SQuAD数据集不同,这个版本的数据格式经过了调整,以便于在代码中使用。文件中还提供了一个数据预处理脚本data_preprocessing.py,并指出answers列以字符串形式存储,需要使用ast.literal_eval()进行转换。

提供机构:
simpleParadox
原始信息汇总

数据集概述

数据来源

  • 数据集基于SQuAD v1.1,由Du. et. al. 2017论文提供。

数据格式

  • 数据以json格式提供,与原始SQuAD数据集格式不同。
  • 数据集包括训练、验证和测试集。

数据处理

  • 提供了一个data_preprocessing.py脚本,用于数据处理。
  • answers列以字符串形式存储,需要使用ast.literal_eval()进行解析后才能访问。

使用示例

  • 通过迭代数据框的行,使用ast.literal_eval()解析answers列,然后可以访问答案列表。
二维码
社区交流群
二维码
科研交流群
商业服务