krasserm/wikipedia-2023-11-en-embed-mxbai-int8-binary

---
dataset_info:
features:
- name: _id
dtype: string
- name: url
dtype: string
- name: title
dtype: string
- name: text
dtype: string
- name: emb_ubinary
sequence: uint8
- name: emb_int8
sequence: int8
splits:
- name: train
num_bytes: 68472712050
num_examples: 41488110
download_size: 58108387782
dataset_size: 68472712050
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

This dataset is an extension of the [krasserm/wikipedia-2023-11-en-text](https://huggingface.co/datasets/krasserm/wikipedia-2023-11-en-text)
dataset, with additional columns containing `ubinary` and `int8` embeddings of the text, created with the [mixedbread-ai/mxbai-embed-large-v1](https://huggingface.co/mixedbread-ai/mxbai-embed-large-v1)
embedding model. The dataset has the following columns:

- `_id`: unique identifier of the Wikipedia text chunk
- `title`: title of the Wikipedia article
- `url`: URL of the Wikipedia article
- `text`: text chunk of the Wikipedia article
- `emb_ubinary`: `binary` embeddings of the Wikipedia text chunk
- `emb_int8`: `int8` embeddings of the Wikipedia text chunk

原始信息汇总

数据集概述

数据集特征

• _id: 字符串类型，维基百科文本块的唯一标识符。
• title: 字符串类型，维基百科文章的标题。
• url: 字符串类型，维基百科文章的URL。
• text: 字符串类型，维基百科文章的文本块。
• emb_ubinary: 序列类型，uint8，维基百科文本块的二进制嵌入。
• emb_int8: 序列类型，int8，维基百科文本块的int8嵌入。

数据集划分

• train: 训练集，包含41488110个示例，总大小为68472712050字节。

数据集大小

• 下载大小: 58108387782字节。
• 数据集大小: 68472712050字节。