hotchpotch/wikipedia-passages-jawiki-embeddings
收藏Hugging Face2024-02-26 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/hotchpotch/wikipedia-passages-jawiki-embeddings
下载链接
链接失效反馈官方服务：
资源简介：
---
license: other
language:
- ja
---
wikipedia 日本語の文を、各種日本語の embeddings や faiss index へと変換したもの。
- [RAG用途に使える、Wikipedia 日本語の embeddings とベクトル検索用の faiss index を作った](https://secon.dev/entry/2023/12/04/080000-wikipedia-ja-embeddings/)
- [HuggingFace Space 上のデモ](https://huggingface.co/spaces/hotchpotch/wikipedia-japanese-rag-qa)
- [変換スクリプト](https://github.com/hotchpotch/wikipedia-passages-jawiki-embeddings-utils)
## 大元のデータ
- https://huggingface.co/datasets/singletongue/wikipedia-utils
## 検索タスクでのデータ評価
- [ベクトル検索のみで、AI王クイズ第一回コンペに臨む - Q&Aタスクでの複数の日本語embeddingsの評価](https://secon.dev/entry/2023/12/21/080000-vector-search-ai-ou-comp/)
- [OpenAIの新embeddings,text-embedding-3-smallをRAGタスクで評価する](https://secon.dev/entry/2024/01/29/100000-text-embedding-3-small/)
## ライセンス
- `text-embedding-*` のファイルは OpenAI のライセンスに従います。
- それ以外は `CC-BY-SA-4.0` です
提供机构：
hotchpotch
原始信息汇总
数据集概述
数据集名称
wikipedia 日本語の文
数据集内容
该数据集包含日语文本，这些文本被转换为多种日语嵌入（embeddings）和Faiss索引。
数据集用途
用于日语文本的嵌入和索引构建。
