mikeee/chroma-paraphrase-multilingual-mpnet-base-v2

该数据集是基于《红楼梦》文本创建的Chroma向量存储，使用了`paraphrase-multilingual-mpnet-base-v2`模型进行嵌入。数据集包含了《红楼梦》文本的分块，并通过Chroma向量存储进行持久化，便于进行相似性搜索等操作。

This dataset is a Chroma vector store constructed from the text of *Dream of the Red Chamber*, where text embeddings were generated using the `paraphrase-multilingual-mpnet-base-v2` model. The dataset contains chunked segments of the *Dream of the Red Chamber* text, and is persisted via the Chroma vector store to support operations such as similarity search.

原始信息汇总

数据集概述

数据集名称

hlm-paraphrase-multilingual-mpnet-base-v2

数据集内容

该数据集基于《红楼梦》文本，使用paraphrase-multilingual-mpnet-base-v2模型创建的Chromadb向量存储。

数据集创建过程

1. 使用SentenceTransformerEmbeddings加载模型。
2. 从指定URL下载《红楼梦》文本。
3. 使用RecursiveCharacterTextSplitter将文本分割成多个块。
4. 创建Chromadb向量存储，并持久化存储在本地目录。

数据集使用方法

1. 下载数据集到本地目录。
2. 加载向量存储，并进行文本搜索。

示例代码

python

下载数据集

from huggingface_hub import snapshot_download snapshot_download( repo_id="mikeee/chroma-paraphrase-multilingual-mpnet-base-v2", repo_type="dataset", allow_patterns="hlm/*", local_dir="db", resume_download=True, )

加载向量存储并搜索

from langchain.embeddings import SentenceTransformerEmbeddings from langchain.vectorstores import Chroma from chromadb.config import Settings

model_name = paraphrase-multilingual-mpnet-base-v2 embedding = SentenceTransformerEmbeddings(model_name=model_name)

client_settings = Settings( chroma_db_impl="duckdb+parquet", anonymized_telemetry=False, persist_directory=db/hlm )

db = Chroma( embedding_function=embedding, client_settings=client_settings, )

res = db.search("红楼梦主线", search_type="similarity", k=2) print(res)

搜集汇总

背景与挑战

背景概述

该数据集是一个基于《红楼梦》文本的多语言嵌入向量数据库，使用'multilingual-mpnet-base-v2'模型生成嵌入向量，适用于文本相似性搜索和语义分析任务。