nickua/ICLR-pdfs-linebreaks

---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
dataset_info:
features:
- name: file
dtype: string
- name: year
dtype: int64
- name: label
dtype: int64
- name: text
dtype: string
- name: page_no
dtype: int64
- name: bbox
sequence: float64
splits:
- name: train
num_bytes: 1566073802.4
num_examples: 49120
- name: test
num_bytes: 391518450.6
num_examples: 12280
download_size: 940943821
dataset_size: 1957592253.0
---
# Dataset Card for "ICLR-pdfs-linebreaks"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集配置

• 配置名称: default
  • 数据文件:
    • 训练集:
      • 路径: data/train-*
    • 测试集:
      • 路径: data/test-*

数据集信息

• 特征:

  • 名称: file
    • 数据类型: string
  • 名称: year
    • 数据类型: int64
  • 名称: label
    • 数据类型: int64
  • 名称: text
    • 数据类型: string
  • 名称: page_no
    • 数据类型: int64
  • 名称: bbox
    • 数据类型: sequence of float64

• 拆分:

  • 训练集:
    • 字节数: 1566073802.4
    • 样本数: 49120
  • 测试集:
    • 字节数: 391518450.6
    • 样本数: 12280

• 下载大小: 940943821

• 数据集大小: 1957592253.0

搜集汇总

背景与挑战

背景概述

该数据集名为'ICLR-pdfs-linebreaks'，是一个包含ICLR会议论文PDF文本内容的数据集，总共有61,400行数据，文件大小为941 MB，以Parquet格式存储。数据集的关键字段包括文件名、年份、标签、文本内容、页码和边界框，其中文本内容中插入了'LINEBREAK'标记，表明数据集可能专注于处理PDF文档中的换行符问题，适用于文本分析和自然语言处理任务。