ghana-search-corpus

Ghana Search Offline Knowledge Corpus 是由 Ghana Search 持续生成、Ghana Open AI 开发的离线知识语料库与备份数据集，旨在提供覆盖加纳机构的全面、主权且可离线使用的知识层。数据集通过 Ghana Search 查询并收录经验证的内容，为三类用途服务：将数据打包为 SQLite/DuckDB 索引以驱动完全本地、不依赖互联网的 Ghana Search MCP 服务器；用于微调和评估本地加纳检索系统，在真实查询和领域术语上做基准测试；以及作为数据主权存档，永久保存加纳政府政策、法院裁决、研究论文和公共公告。数据以 JSONL 格式组织，每条记录代表一个唯一的加纳网页文档，字段包括 url（文档规范 URL）、title（文档或文章标题）、snippet（简短摘录或摘要）、content（全文正文或论文摘要）、source（发布实体，例如 Ghana Revenue Authority、KNUST、GhaLII）、category（类别：news、academic、public_services、wikipedia）、published_date（发布日期字符串或 ISO 时间戳）和 pdf_url（如可用的直接 PDF 下载链接）。来源覆盖六类：164 个经验证的加纳政府公共部门门户，包括 GRA、FDA、GSA、MLNR、MIIF、Lands Commission 和地区议会；GhaLII 法院与立法资源，包括最高法院、上诉法院、高等法院判决和议会法案；加纳议会法案与 Hansard 记录；学术库 KNUST、University of Ghana UGSpace 和 University of Cape Coast UCC；国家新闻媒体 B&FT Online、3News、Citi Newsroom、GNA、Yen.com.gh、The Chronicle、Ghana Business News 和 Starr FM；以及覆盖 261 个区的 GhanaDistricts 地区议会仓库。数据集持续异步更新，随着生产 Ghana Search 服务器处理新查询而更新。HuggingFace 元数据标注其许可为 MIT，任务类别为 text-retrieval 和 question-answering，语言为英语，标签包括 ghana、mcp、search、government、academic、legal，规模类别为 1K<n<10K。Ghana Search Offline Knowledge Corpus is an offline knowledge corpus and backup dataset continuously generated by Ghana Search and developed by Ghana Open AI. It aims to provide a comprehensive, sovereign, and offline-usable knowledge layer covering Ghanaian institutions. It contains verified content queried and collected through Ghana Search and serves three purposes: packaging data as SQLite/DuckDB indexes to power a fully local, internet-independent Ghana Search MCP server; fine-tuning and evaluating local Ghanaian retrieval systems with benchmarking on real queries and domain terminology; and acting as a data sovereignty archive that permanently preserves Ghanaian government policies, court rulings, research papers, and public announcements. The data is organized in JSONL, with each record representing a unique Ghanaian web document. Fields include url, title, snippet, content, source, category (news, academic, public_services, wikipedia), published_date, and pdf_url. Sources cover six categories: 164 verified Ghanaian government public-sector portals, including GRA, FDA, GSA, MLNR, MIIF, Lands Commission, and district assemblies; GhaLII court and legislative resources, including Supreme Court, Court of Appeal, High Court judgments, and parliamentary acts; Ghanaian parliamentary bills and Hansard records; academic repositories KNUST, University of Ghana UGSpace, and University of Cape Coast UCC; national news media B&FT Online, 3News, Citi Newsroom, GNA, Yen.com.gh, The Chronicle, Ghana Business News, and Starr FM; and the GhanaDistricts district assembly repository covering 261 districts. The dataset is continuously updated asynchronously as the production Ghana Search server processes new queries. HuggingFace metadata marks the license as MIT, task categories as text-retrieval and question-answering, language as English, tags including ghana, mcp, search, government, academic, legal, and size category 1K<n<10K.

原始信息汇总

Ghana Search Offline Knowledge Corpus 数据集总结

基本信息

• 数据集地址：https://huggingface.co/datasets/ghanaopenai/ghana-search-corpus
• 许可证：MIT
• 任务类别：text-retrieval、question-answering
• 语言：en
• 标签：ghana、mcp、search、government、academic、legal
• 大小类别：1K<n<10K
• 简介：由 Ghana Search（https://search.ghanaopenai.org）生成的持续离线知识语料库和备份数据集。由 Ghana Open AI（https://github.com/GhanaOpenAI）开发，用于提供覆盖加纳机构的全面、主权、可离线使用的知识层。

用途

1. 离线 MCP 服务器：将数据集打包为 SQLite/DuckDB 索引，支撑完全本地、不依赖互联网的 Ghana Search MCP 服务器。
2. 微调与评估：在真实世界查询和领域术语上基准测试本地加纳检索系统。
3. 数据主权：永久归档加纳政府政策、法院裁决、研究论文和公共公告。

数据结构

• 格式：JSONL
• 每条记录：唯一加纳网页文档
• 字段：
  • url：文档规范 URL
  • title：文档或文章标题
  • snippet：简短摘录或摘要
  • content：全文正文或论文摘要
  • source：发布实体，例如 Ghana Revenue Authority、KNUST、GhaLII
  • category：news | academic | public_services | wikipedia
  • published_date：发布日期字符串或 ISO 时间戳
  • pdf_url：直接 PDF 下载链接（可用时）

包含来源

• 公共部门门户：164 个经验证的加纳政府门户，包括 GRA、FDA、GSA、MLNR、MIIF、Lands Commission、区议会。
• 法院与立法：GhaLII，包括最高法院、上诉法院、高等法院判决、议会法案。
• 加纳议会：议会法案和 Hansard 记录。
• 学术资源库：KNUST、University of Ghana（UGSpace）、University of Cape Coast（UCC）。
• 全国新闻媒体：B&FT Online、3News、Citi Newsroom、GNA、Yen.com.gh、The Chronicle、Ghana Business News、Starr FM。
• 区议会：GhanaDistricts 仓库，覆盖 261 个区。

更新计划

• 由生产 Ghana Search 服务器处理新查询时，持续、异步更新。

搜集汇总

数据集介绍

构建方式

在主权数据与离线检索基础设施日益受到重视的背景下，ghana-search-corpus 的构建依托 Ghana Search 生产服务器，对经核验的查询内容进行持续异步汇聚。其原始素材覆盖164个政府门户、GhaLII法院与立法记录、议会法案及Hansard、KNUST、UGSpace、UCC学术库、多家全国性新闻媒体与261个区议会。每条JSONL记录对应唯一加纳网页，包含URL、标题、摘要、正文或论文摘要、出版实体、类别、发布日期及PDF链接。该机制兼顾增量更新与长期存档，形成主权知识层的底层数据基础。

特点

作为面向加纳机构知识的离线语料，数据集呈现多源异构、领域横跨公共治理、司法、立法、学术与新闻等特征。记录采用统一JSONL模式，便于解析与索引；字段涵盖规范URL、题名、摘要、全文、来源、类别、发布日期和PDF链接，兼顾检索与问答所需的信息粒度。规模处于1K至10K之间，语言为英文，任务指向文本检索与问答。其核心价值在于支持互联网独立运行、来源可溯及数据主权归档，并为加纳本地术语和真实查询提供评测基础。

使用方法

在构建本地检索、问答或离线MCP服务的场景中，使用者可将该数据集导入SQLite或DuckDB等嵌入式数据库并建立索引，从而驱动无需互联网连接的加纳检索服务。数据亦可用于微调与评测本地检索系统，借助真实查询和领域术语检验模型表现。访问时按JSONL逐行解析，利用url、title、snippet、content、source、category、published_date与pdf_url字段完成召回、重排、答案抽取或归档检索。因更新持续异步，使用前宜同步最新版本以保持知识时效。

背景与挑战

背景概述

加纳公共知识基础设施面临信息分散、检索入口割裂与外部依赖，ghana-search-corpus 由 Ghana Open AI 构建，作为 Ghana Search 的离线知识语料库与备份仓储，具体首次创建时间未在公开说明中披露，并随生产查询持续异步更新。其核心问题在于汇聚政府门户、法院立法、议会文献、高校学术仓储、主流新闻及 261 个区议会信息，形成可离线部署的文本检索与问答知识层。数据以 JSONL 记录统一网址、标题、摘要、正文、来源、类别、发布日期与 PDF 链接，支撑本地 MCP 服务器、微调评估与数据主权归档，对加纳本土检索基准和公共知识永久保存具有基础性影响。

当前挑战

面向加纳政府、司法、学术与新闻多源信息的离线检索问答，其领域难题在于来源异构、术语本地化、时效敏感与网络依赖，需在无互联网环境中维持可验证的检索与回答。构建过程需应对百余政府门户、法院判决、议会记录、高校论文、新闻网站及区议会数据的采集与授权核验，处理 HTML 与 PDF 抽取、编码与日期规范化、实体对齐、跨源去重、版权合规、持续异步更新以及 SQLite/DuckDB 索引打包。覆盖 261 个区议会与多类机构的完整性、细粒度类别平衡和本地评估集构建，同样构成显著挑战。

常用场景

经典使用场景

在主权知识检索与低资源地域信息服务的交汇处，加纳搜索离线知识语料库呈现典型的离线检索与问答图景。该数据集以JSONL汇聚政府门户、法院判例、议会文献、学术库与新闻文本，为构建无需联网的MCP检索服务器奠定基础。研究者可将语料封装为SQLite或DuckDB索引，围绕文本检索与问答任务，对加纳税务、司法、教育等域内查询进行证据定位与答案生成。其经典场景亦涵盖断网环境下测试本地模型对加纳机构术语的理解，并以真实查询评估检索系统的召回与排序，形成从查询到文档再到摘要的完整离线链路。

衍生相关工作

围绕加纳搜索离线知识语料库，衍生工作集中于离线检索基础设施与领域适配模型两条脉络。Ghana Search项目依托该语料构建MCP服务器，使本地环境可复现线上检索体验，并形成持续异步更新的数据管道。研究者以此开展加纳领域检索基准、问答系统与微调实验，探索政府、法律、学术和新闻文本中的术语匹配与跨源融合。SQLite与DuckDB索引方案进一步催生轻量级离线RAG应用，服务于低带宽与数据主权敏感场景。这些工作扩展了加纳本地知识层的技术生态，并为其他主权语料建设提供可迁移范式。

数据集最近研究

最新研究方向

在主权人工智能与低资源信息检索交汇处，ghana-search-corpus 正推动面向加纳制度知识的离线检索增强生成研究。依托政府门户、GhaLII判例、议会文件与高校论文等多源语料，研究者构建SQLite/DuckDB本地索引与MCP服务，以评估无网环境下的法律问答、政务检索和学术溯源性能。该方向呼应非洲数据主权、开放政府与本地化大模型治理热点，为加纳及全球南方提供可审计、可复现的知识底座，亦为检索系统在真实查询与领域术语上的基准测试提供支撑。