ipfs_ethiopia_laws_ir
收藏资源简介：
该数据集是埃塞俄比亚立法信息检索的研究快照，基于CID键控稀疏图RAG架构，源自 endomorphosis/ipfs_ethiopia_laws 数据集。它专为文本检索任务设计，尤其适用于法律领域的BM25检索、向量检索和图邻居检索。数据集包含1862条文章级别记录（无完整法律文本），每个记录对应一个规范文档，采用384维向量（由 thenlper/gte-small 模型嵌入），并配有BM25索引（24825个词条、166909个帖子）和属性图（2220个节点、19285条边）。图结构以 entry_cid 为主键，包含方面节点（如司法管辖区、语言、法律文书、来源、状态）和邻居边（BM25_NEIGHBOR_OF，k=8），以及 ARTICLE_OF 等结构边。数据字段包括 entry_cid、law_cid、record_type、jurisdiction、language、instrument_id、instrument_title、article_number、article_title、title、body、source_url、snapshot_date、coverage、license、collector、source_dataset、source_revision。索引布局采用Zstandard压缩的Parquet分片，支持高效检索。该数据集仅供研究使用，不构成法律建议，官方公报或权威来源应优先于本数据集。
This dataset is a research snapshot of Ethiopian legislative information retrieval, based on the CID-keyed sparse graph RAG architecture, derived from the endomorphosis/ipfs_ethiopia_laws dataset. It is specifically designed for text retrieval tasks, especially suitable for BM25 retrieval, vector retrieval, and graph neighbor retrieval in the legal domain. The dataset contains 1,862 article-level records (without full legal text), each corresponding to a canonical document, using 384-dimensional vectors (embedded by the thenlper/gte-small model), along with a BM25 index (24,825 terms, 166,909 postings) and a property graph (2,220 nodes, 19,285 edges). The graph structure uses entry_cid as the primary key, including aspect nodes (e.g., jurisdiction, language, legal instrument, source, status) and neighbor edges (BM25_NEIGHBOR_OF, k=8), as well as structural edges like ARTICLE_OF. Data fields include entry_cid, law_cid, record_type, jurisdiction, language, instrument_id, instrument_title, article_number, article_title, title, body, source_url, snapshot_date, coverage, license, collector, source_dataset, source_revision. The index layout uses Zstandard-compressed Parquet shards for efficient retrieval. This dataset is for research purposes only and does not constitute legal advice; official gazettes or authoritative sources should take precedence over this dataset.
数据集概述
该数据集为 埃塞俄比亚法律信息检索数据集（Ethiopia laws IR），是一个面向研究用途的检索就绪版本，主要用于法律文本的图检索增强生成（GraphRAG）、BM25 检索及向量检索等场景。
数据集由 endomorphosis/ipfs_ethiopia_laws（修订版 d7d1a67b60d00f3eb93c99037e75f8478cedb8dc）打包而来，打包格式为 country-laws-ir-graphrag/v1。许可证类型为 other，且明确标注 非法律建议，官方公报或权威来源优先于本语料库。
数据规模
| 项目 | 数量 |
|---|---|
| 法律（语料单元） | 0 |
| 条款（语料单元） | 1862 |
| 规范文档数 | 1862 |
| BM25 词项数 | 24825 |
| BM25 倒排记录数 | 166909 |
| 图谱节点数 | 2220 |
| 图谱边数 | 19285 |
| 向量数 | 1862 × 384 维（thenlper/gte-small 嵌入） |
主键与字段
主键：entry_cid（CIDv1 raw sha2-256 规范身份记录）。整数 document_index 仅为分片指针，不构成身份标识。
规范字段包括：entry_cid、law_cid、record_type、jurisdiction、language、instrument_id、instrument_title、article_number、article_title、title、body、source_url、snapshot_date、coverage、license、collector、source_dataset、source_revision。
单元策略：优先采用条款/章节行；当 articles.parquet 为空时，回退至法律级单元。
索引与数据结构
数据使用 Zstandard 压缩的 parquet 分片存储，每个分片至多 4096 行。共包含 10 个配置（config）：
| 配置名 | 路径 | 用途 |
|---|---|---|
| corpus | data/corpus/*.parquet |
语料主体 |
| bm25_documents | data/bm25/documents/*.parquet |
BM25 文档 |
| bm25_postings | data/bm25/postings/*.parquet |
BM25 倒排记录 |
| bm25_keyword_index | indexes/bm25_keyword_shards.parquet |
词汇范围 → BM25 记录分片 |
| vectors | data/vectors/*.parquet |
向量数据 |
| vector_meta_index | indexes/vector_chunks.parquet |
语义路由质心（按余弦相似度排序） |
| graph_nodes | data/graph/nodes/*.parquet |
属性图节点 |
| graph_edges | data/graph/edges/*.parquet |
属性图边 |
| graph_outgoing_adjacency | data/graph/adjacency/outgoing/*.parquet |
出边邻接（按分数排序） |
| graph_incoming_adjacency | data/graph/adjacency/incoming/*.parquet |
入边邻接（按分数排序） |
额外索引：indexes/corpus_chunks.parquet 提供文档范围到语料分片的映射。
检索参数与图结构
- BM25：Okapi 算法，k1=1.2，b=0.75，标题权重=5，正文权重=1（采用 FTS5 unicode61 风格分词器）。
- 图节点：每个
entry_cid一个节点，外加侧面节点（_facet_cid(kind, value)，涵盖法域、语言、法律文书、来源、状态等维度）。 - 图边：
BM25_NEIGHBOR_OF（k=8）携带分数与匹配词项；结构边ARTICLE_OF（条款 → 父法律，当条款存在时），以及IDENTIFIED_BY_ELI/IDENTIFIED_BY（仅在源数据包含这些标识符时出现）。
数据溯源
该数据集由 country-laws-ir 打包，上游收集器及官方许可证归属 endomorphosis/ipfs_ethiopia_laws。CID 仅标识本地内容，不证明公开 IPFS 固定（pinning）。
