HydraLM/corpus_1_embedded_deduplicated

---
dataset_info:
features:
- name: text
dtype: string
- name: conversation_id
dtype: int64
- name: dataset_id
dtype: string
- name: unique_conversation_id
dtype: string
- name: embedding
sequence: float64
splits:
- name: train
num_bytes: 14843809239
num_examples: 1472917
download_size: 11121975605
dataset_size: 14843809239
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
# Dataset Card for "corpus_1_embedded_deduplicated"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
数据集信息：
特征字段：
- 字段名：text，数据类型：字符串（string）
- 字段名：conversation_id（会话ID），数据类型：64位整型（int64）
- 字段名：dataset_id（数据集ID），数据类型：字符串（string）
- 字段名：unique_conversation_id（唯一会话ID），数据类型：字符串（string）
- 字段名：embedding（嵌入向量），数据类型：64位浮点型（float64）序列
数据集拆分：
- 拆分名称：train（训练集），字节大小：14843809239，样本数量：1472917
下载总大小：11121975605，数据集存储总大小：14843809239
配置项：
- 配置名称：default（默认配置），关联数据文件：
- 拆分：train（训练集），文件路径：data/train-*
---
# 「corpus_1_embedded_deduplicated」数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集信息

• 特征列表:

  • text: 数据类型为字符串。
  • conversation_id: 数据类型为64位整数。
  • dataset_id: 数据类型为字符串。
  • unique_conversation_id: 数据类型为字符串。
  • embedding: 数据类型为64位浮点数序列。

• 数据分割:

  • train: 包含1472917个样本，总字节数为14843809239。

• 数据大小:

  • 下载大小: 11121975605字节。
  • 数据集大小: 14843809239字节。

配置信息

• 配置名称: default
  • 数据文件:
    • train: 路径为data/train-*。