aisuko/simple_english_wikipedia

该数据集来源于http://sbert.net/datasets/simplewiki-2020-11-01.jsonl.gz，主要用于研究用途。数据集中的所有数据使用`nq_distilbert-base-v1`模型编码为PyTorch张量，并通过`sentence_transformers.util.normalize_embeddings`对嵌入进行归一化处理。

原始信息汇总

数据集概述

数据来源

• 原始数据来自 http://sbert.net/datasets/simplewiki-2020-11-01.jsonl.gz。

数据处理

• 使用 nq_distilbert-base-v1 模型将所有数据编码为 PyTorch Tensors。
• 通过 sentence_transformers.util.normalize_embeddings 对嵌入向量进行归一化处理。

数据转换过程

1. 下载数据集： python os.environ[DATASET_NAME]=simplewiki-2020-11-01.jsonl.gz os.environ[DATASET_URL]=http://sbert.net/datasets/simplewiki-2020-11-01.jsonl.gz http_get(os.getenv(DATASET_URL), os.getenv(DATASET_NAME))

2. 读取和处理数据： python passages = [] with gzip.open(os.getenv(DATASET_NAME), rt, encoding=utf8) as fIn: for line in fIn: data = json.loads(line.strip()) for paragraph in data[paragraphs]: passages.append([data[title], paragraph])

3. 使用 nq_distilbert-base-v1 模型编码数据： python bi_encoder = SentenceTransformer(nq_distilbert-base-v1) bi_encoder.max_seq_length = 256 bi_encoder.to(cuda) corpus_embeddings = bi_encoder.encode(passages, convert_to_tensor=True, show_progress_bar=True).to(cuda) corpus_embeddings = normalize_embeddings(corpus_embeddings)

4. 保存处理后的数据： python import pandas as pd embedding_data = pd.DataFrame(corpus_embeddings.cpu()) embedding_data.to_csv(simple_english_wikipedia_2020_11_01.csv, index=False)