ccdv/patent-classification

---
language: en
task_categories:
- text-classification
tags:
- long context
task_ids:
- multi-class-classification
- topic-classification
size_categories: 10K<n<100K
---

**Patent Classification: a classification of Patents and abstracts (9 classes).**

This dataset is intended for long context classification (non abstract documents are longer that 512 tokens). \
Data are sampled from "BIGPATENT: A Large-Scale Dataset for Abstractive and Coherent Summarization." by Eva Sharma, Chen Li and Lu Wang
* See: https://aclanthology.org/P19-1212.pdf
* See: https://evasharma.github.io/bigpatent/

It contains 9 unbalanced classes, 35k Patents and abstracts divided into 3 splits: train (25k), val (5k) and test (5k).

**Note that documents are uncased and space separated (by authors)**

Compatible with [run_glue.py](https://github.com/huggingface/transformers/tree/master/examples/pytorch/text-classification) script:
```
export MODEL_NAME=roberta-base
export MAX_SEQ_LENGTH=512

python run_glue.py \
--model_name_or_path $MODEL_NAME \
--dataset_name ccdv/patent-classification \
--do_train \
--do_eval \
--max_seq_length $MAX_SEQ_LENGTH \
--per_device_train_batch_size 8 \
--gradient_accumulation_steps 4 \
--learning_rate 2e-5 \
--num_train_epochs 1 \
--max_eval_samples 500 \
--output_dir tmp/patent
```

language: 英语
task_categories:
- 文本分类
tags:
- 长上下文（long context）
task_ids:
- 多类别分类（multi-class-classification）
- 主题分类（topic-classification）
size_categories: 10K<n<100K

**专利分类：专利与摘要的九类别分类任务**

本数据集旨在支持长上下文分类任务（非摘要类文档长度超过512个词元（Token））。数据采样自Eva Sharma、Chen Li与Lu Wang发表的论文《BIGPATENT: A Large-Scale Dataset for Abstractive and Coherent Summarization》，相关参考链接如下：
* 参见：https://aclanthology.org/P19-1212.pdf
* 参见：https://evasharma.github.io/bigpatent/

该数据集包含9个非均衡类别，总计35000条专利及摘要数据，被划分为训练集（25000条）、验证集（5000条）与测试集（5000条）三个子集。

**请注意，文档均采用小写格式且以空格分隔（由原数据集作者设定）**

本数据集兼容[run_glue.py](https://github.com/huggingface/transformers/tree/master/examples/pytorch/text-classification)脚本，示例运行代码如下：

export MODEL_NAME=roberta-base
export MAX_SEQ_LENGTH=512

python run_glue.py
--model_name_or_path $MODEL_NAME
--dataset_name ccdv/patent-classification
--do_train
--do_eval
--max_seq_length $MAX_SEQ_LENGTH
--per_device_train_batch_size 8
--gradient_accumulation_steps 4
--learning_rate 2e-5
--num_train_epochs 1
--max_eval_samples 500
--output_dir tmp/patent

原始信息汇总

数据集概述

数据集名称

• Patent Classification

数据集用途

• 用于长文本分类任务，特别是专利和摘要的分类。

数据集特点

• 包含9个不平衡的分类标签。
• 数据集大小介于10,000到100,000之间。
• 文档长度超过512个令牌。

数据集组成

• 包含35,000个专利和摘要。
• 分为三个部分：训练集（25,000个样本）、验证集（5,000个样本）和测试集（5,000个样本）。

数据集来源

• 数据来源于"BIGPATENT: A Large-Scale Dataset for Abstractive and Coherent Summarization."，由Eva Sharma, Chen Li和Lu Wang提供。

数据集格式

• 文档为小写且空格分隔。

兼容性

• 兼容run_glue.py脚本，使用roberta-base模型进行处理。

搜集汇总

背景与挑战

背景概述

该数据集是一个用于专利分类的文本分类数据集，包含9个不平衡类别，共35,000条专利和摘要记录，总计70,000行数据，分为训练集、验证集和测试集。其特点是为长上下文分类任务设计，非摘要文档长度超过512个标记，数据源自'BIGPATENT'数据集，且文档经过小写化和空格分隔处理。