ZhJiHo/CBRN_first_filter

---
license: apache-2.0
dataset_info:
features:
- name: text
dtype: string
- name: id
dtype: string
- name: metadata
struct:
- name: dump
dtype: string
- name: url
dtype: string
- name: date
dtype: timestamp[s]
- name: file_path
dtype: string
- name: language
dtype: string
- name: language_score
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 101538277
num_examples: 12376
download_size: 58094773
dataset_size: 101538277
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

原始信息汇总

数据集概述

数据集特征

• text：字符串类型
• id：字符串类型
• metadata：结构化数据，包含以下字段：
  • dump：字符串类型
  • url：字符串类型
  • date：时间戳类型（秒）
  • file_path：字符串类型
  • language：字符串类型
  • language_score：浮点数类型
  • token_count：整数类型

数据集分割

• train：
  • 数据量：12376个样本
  • 存储大小：101538277字节

数据集大小

• 下载大小：58094773字节
• 数据集实际大小：101538277字节

数据文件配置

• default配置：
  • 训练数据路径：data/train-*