davidfant/natural-questions-chunk-0

---
dataset_info:
features:
- name: id
dtype: string
- name: document
struct:
- name: html
dtype: string
- name: title
dtype: string
- name: tokens
sequence:
- name: end_byte
dtype: int64
- name: is_html
dtype: bool
- name: start_byte
dtype: int64
- name: token
dtype: string
- name: url
dtype: string
- name: question
struct:
- name: text
dtype: string
- name: tokens
sequence: string
- name: long_answer_candidates
sequence:
- name: end_byte
dtype: int64
- name: end_token
dtype: int64
- name: start_byte
dtype: int64
- name: start_token
dtype: int64
- name: top_level
dtype: bool
- name: annotations
sequence:
- name: id
dtype: string
- name: long_answer
struct:
- name: candidate_index
dtype: int64
- name: end_byte
dtype: int64
- name: end_token
dtype: int64
- name: start_byte
dtype: int64
- name: start_token
dtype: int64
- name: short_answers
sequence:
- name: end_byte
dtype: int64
- name: end_token
dtype: int64
- name: start_byte
dtype: int64
- name: start_token
dtype: int64
- name: text
dtype: string
- name: yes_no_answer
dtype:
class_label:
names:
'0': 'NO'
'1': 'YES'
splits:
- name: train
num_bytes: 4705302627
num_examples: 10000
download_size: 1826111395
dataset_size: 4705302627
---
# Dataset Card for "natural-questions-chunk-0"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

The dataset includes multiple fields such as id, document, question, long_answer_candidates, and annotations. The document field contains information like html, title, tokens, and url. The question field contains text and tokens. The long_answer_candidates field includes multiple fields related to answer positions. The annotations field contains information like id, long_answer, short_answers, and yes_no_answer. The dataset is divided into a training set with 10000 samples, with a total size of 4705302627 bytes.

原始信息汇总

数据集概述

数据集信息

• 特征列表：
  • id：数据类型为字符串。
  • document：包含以下结构：
    • html：数据类型为字符串。
    • title：数据类型为字符串。
    • tokens：包含以下序列：
      • end_byte：数据类型为int64。
      • is_html：数据类型为布尔值。
      • start_byte：数据类型为int64。
      • token：数据类型为字符串。
    • url：数据类型为字符串。
  • question：包含以下结构：
    • text：数据类型为字符串。
    • tokens：数据类型为字符串序列。
  • long_answer_candidates：包含以下序列：
    • end_byte：数据类型为int64。
    • end_token：数据类型为int64。
    • start_byte：数据类型为int64。
    • start_token：数据类型为int64。
    • top_level：数据类型为布尔值。
  • annotations：包含以下序列：
    • id：数据类型为字符串。
    • long_answer：包含以下结构：
      • candidate_index：数据类型为int64。
      • end_byte：数据类型为int64。
      • end_token：数据类型为int64。
      • start_byte：数据类型为int64。
      • start_token：数据类型为int64。
    • short_answers：包含以下序列：
      • end_byte：数据类型为int64。
      • end_token：数据类型为int64。
      • start_byte：数据类型为int64。
      • start_token：数据类型为int64。
      • text：数据类型为字符串。
    • yes_no_answer：数据类型为分类标签，包含以下类别：
      • 0：表示NO。
      • 1：表示YES。

数据集分割

• train：
  • 字节数：4705302627
  • 样本数：10000

数据集大小

• 下载大小：1826111395字节
• 数据集大小：4705302627字节