eduagarcia-temp/brwac_meta

---
dataset_info:
features:
- name: text
dtype: string
- name: meta
struct:
- name: dedup
struct:
- name: exact_norm
struct:
- name: cluster_main_idx
dtype: int64
- name: cluster_size
dtype: int64
- name: exact_hash_idx
dtype: int64
- name: is_duplicate
dtype: bool
- name: minhash
struct:
- name: cluster_main_idx
dtype: int64
- name: cluster_size
dtype: int64
- name: is_duplicate
dtype: bool
- name: minhash_idx
dtype: int64
- name: doc_id
dtype: string
- name: title
dtype: string
- name: uri
dtype: string
splits:
- name: train
num_bytes: 18279917379
num_examples: 3530796
download_size: 11165124126
dataset_size: 18279917379
---
# Dataset Card for "brwac_meta"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集信息

特征

• text: 数据类型为 string
• meta: 结构化数据，包含以下字段：
  • dedup: 结构化数据，包含以下字段：
    • exact_norm: 结构化数据，包含以下字段：
      • cluster_main_idx: 数据类型为 int64
      • cluster_size: 数据类型为 int64
      • exact_hash_idx: 数据类型为 int64
      • is_duplicate: 数据类型为 bool
    • minhash: 结构化数据，包含以下字段：
      • cluster_main_idx: 数据类型为 int64
      • cluster_size: 数据类型为 int64
      • is_duplicate: 数据类型为 bool
      • minhash_idx: 数据类型为 int64
  • doc_id: 数据类型为 string
  • title: 数据类型为 string
  • uri: 数据类型为 string

数据分割

• train: 包含 3,530,796 个样本，总字节数为 18,279,917,379

数据集大小

• 下载大小: 11,165,124,126 字节
• 数据集大小: 18,279,917,379 字节