passionMan/usda_tokenized_source

---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
dataset_info:
features:
- name: text
dtype: string
- name: label
dtype: int64
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 1314644
num_examples: 5628
- name: test
num_bytes: 437798
num_examples: 1876
download_size: 434891
dataset_size: 1752442
---
# Dataset Card for "usda_tokenized_source"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
数据集配置:
- 配置名称: default
数据文件:
- 划分集: 训练集（train）
路径: data/train-*
- 划分集: 测试集（test）
路径: data/test-*
数据集信息:
特征字段:
- 字段名: text
数据类型: 字符串
- 字段名: label
数据类型: 64位整型
- 字段名: input_ids（输入ID序列）
类型: 序列，元素类型: 32位整型
- 字段名: attention_mask（注意力掩码）
类型: 序列，元素类型: 8位整型
数据划分:
- 名称: 训练集（train）
字节数: 1314644
样本数量: 5628
- 名称: 测试集（test）
字节数: 437798
样本数量: 1876
下载大小: 434891
数据集总大小: 1752442
---
# "usda_tokenized_source"数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

配置

• 默认配置 (default)
  • 数据文件路径：
    • 训练集 (train): data/train-*
    • 测试集 (test): data/test-*

数据特征

• text: 字符串类型 (string)
• label: 64位整数类型 (int64)
• input_ids: 32位整数序列 (sequence: int32)
• attention_mask: 8位整数序列 (sequence: int8)

数据分割

• 训练集 (train)
  • 字节数: 1314644
  • 样本数: 5628
• 测试集 (test)
  • 字节数: 437798
  • 样本数: 1876

数据集大小

• 下载大小: 434891 字节
• 数据集总大小: 1752442 字节