lance-format/trivia-qa-lance
收藏资源简介:
TriviaQA(Lance格式)是TriviaQA数据集(rc.nocontext配置)的Lance格式版本,这是一个大规模的阅读理解数据集,包含琐事问题及其标准答案、可接受的别名列表和实体类型元数据。该版本去除了原始数据集中的多GB上下文数据(如entity_pages和search_results),以保持数据集紧凑,同时保留了闭卷问答、检索研究和作为搜索目标所需的一切内容。数据集包含超过138,000个问题,预计算了384维问题嵌入(使用sentence-transformers/all-MiniLM-L6-v2模型,余弦归一化),并内置了IVF_PQ索引以支持语义检索。此外,还包含全文倒排索引、B树索引和位图索引,支持多种查询方式。数据集适用于机器学习研究、问答系统开发和信息检索任务。
A Lance-formatted version of TriviaQA (rc.nocontext config) — a large reading-comprehension dataset of trivia questions paired with a canonical answer, accepted aliases, and entity-type metadata — with MiniLM question embeddings stored inline and ready for retrieval at hf://datasets/lance-format/trivia-qa-lance/data. The rc.nocontext slice is the standard reading-comprehension form without the multi-gigabyte entity_pages / search_results payloads, which keeps the dataset compact while preserving everything needed for closed-book QA, retrieval research, and as a search target.



