dibao-research/ming-qing-wenji-corpus

--- language: - lzh - zh - ko license: apache-2.0 task_categories: - text-generation - token-classification - text-classification tags: - classical-chinese - historical-documents - Ming-dynasty - Qing-dynasty - literary-collections - Siku-Quanshu - digital-humanities - East-Asian-studies - NLP - corpus - wenji pretty_name: "Ming-Qing Literary Collections Corpus / 明清別集語料庫 / 명청별집어료고" size_categories: - 10K<n<100K source_datasets: - astra77/huaxia-lib --- # Ming-Qing Literary Collections Corpus / 明清別集語料庫 / 명청별집어료고 ## Dataset Description / 數據集說明 / 데이터셋 설명 ### Summary / 概要 / 요약 **English:** The Ming-Qing Literary Collections Corpus is a structured digital corpus of 472 literary collections (bieji 別集) from the Ming (明, 1368–1644) and Qing (清, 1644–1912) dynasties. The texts are sourced from the Siku Quanshu (四庫全書) tradition and include poetry, prose, memorials, essays, letters, and other literary genres by scholars, officials, and literati across three centuries of Chinese intellectual history. This corpus was derived from [astra77/huaxia-lib](https://huggingface.co/datasets/astra77/huaxia-lib) (Apache 2.0), with dynasty classification, metadata extraction, and structural reorganization applied for research purposes. **中文：** 明清別集語料庫收錄明（1368–1644）、清（1644–1912）兩代別集472種，涵蓋詩、文、奏疏、書信等文體。文本源自四庫全書系統，經結構化處理後附加朝代分類與元數據。 本語料庫基於 [astra77/huaxia-lib](https://huggingface.co/datasets/astra77/huaxia-lib)（Apache 2.0 授權）加工而成。 **한국어:** 명청별집어료고(明清別集語料庫)는 명(明, 1368–1644)·청(清, 1644–1912) 양대의 별집(別集) 472종을 구조화한 디지털 코퍼스다. 시(詩)·문(文)·주소(奏疏)·서신(書信) 등 다양한 문체를 포함하며, 사고전서(四庫全書) 계통의 텍스트를 원본으로 한다. 학자·관료·문인 등 3세기에 걸친 중국 지성사의 저작을 수록하고 있다. 본 코퍼스는 [astra77/huaxia-lib](https://huggingface.co/datasets/astra77/huaxia-lib)(Apache 2.0)를 원본으로 하여, 조대(朝代) 분류·메타데이터 추출·구조 재편을 거쳐 연구 목적으로 가공한 파생 데이터셋이다. ### Research Significance / 研究價值 / 연구 가치 This corpus is particularly valuable for studies in: * **Ming-Qing political communication / 明清政治傳播 / 명청 정치 커뮤니케이션:** 451 files across 122 collections contain references to the dibao (邸報) system — the official gazette network of imperial China. / 122종 별집의 451건 파일에서 제국 관보 체계인 저보(邸報) 관련 언급이 확인된다. * **Literary history / 文學史 / 문학사:** Covers major literary figures including Wang Shizhen (王世貞), Qian Qianyi (錢謙益), Gu Yanwu (顧炎武), Gong Zizhen (龔自珍) and hundreds more. / 왕세정(王世貞)·전겸익(錢謙益)·고염무(顧炎武)·공자진(龔自珍) 등 주요 문인 수백 명의 문집을 포괄한다. * **NER training / 命名實體識別 / 개체명인식(NER) 훈련:** Rich in named entities (persons, offices, places, institutions) for training Classical Chinese NER models. / 인명·관직명·지명·기관명이 풍부하여 고전 한문 NER 모델 훈련 데이터로 적합하다. * **Cross-referencing / 交叉對照 / 교차 대조:** Can be linked with the [Wanli Dibao Corpus](https://huggingface.co/datasets/dibao-research/wanli-dibao-corpus) for sender-receiver analysis of Ming political communication. / [만력저보코퍼스](https://huggingface.co/datasets/dibao-research/wanli-dibao-corpus)와 연동하여 명대 정치 커뮤니케이션의 발신자-수신자 분석이 가능하다. ### Languages / 語言 / 언어 * Classical Chinese (文言文 / Literary Chinese, ISO 639-3: `lzh`) / 고전 한문(문언문) * Some annotations in Modern Chinese (`zh`) / 일부 주석은 현대 중국어(`zh`) * Dataset card available in Korean (`ko`) / 데이터셋 카드 한국어 병기 ## Dataset Structure / 數據結構 / 데이터 구조 ### Data Fields / 數據字段 / 데이터 필드 | Field | Type | Description (EN) | 說明 (中文) | 설명 (한국어) | |-------|------|------------------|-------------|---------------| | `id` | string | Unique record identifier (dynasty_collection_page) | 記錄唯一識別碼 | 레코드 고유 식별자 (조대_별집_페이지) | | `dynasty` | string | Dynasty: 明 (Ming) or 清 (Qing) | 朝代 | 조대: 明(명) 또는 清(청) | | `collection` | string | Name of the literary collection (別集名) | 別集名稱 | 별집명 | | `page` | integer | Page/section number within the collection | 頁碼/分段序號 | 해당 별집 내 페이지/구간 번호 | | `juans` | list[string] | Volume numbers (卷) mentioned in the text | 涉及卷數 | 텍스트에 언급된 권(卷) 번호 목록 | | `siku_category` | string | Siku Quanshu classification (if detected) | 四庫全書分類 | 사고전서 분류 (탐지된 경우) | | `author` | string | Author name (if detected from text) | 作者（自動提取） | 저자명 (텍스트에서 자동 추출) | | `char_count` | integer | Character count of the text | 文本字數 | 텍스트 글자 수 | | `text` | string | Full text content | 全文內容 | 전문(全文) | ### Statistics / 統計 / 통계 | Category | Collections | Records | Characters | |----------|-------------|---------|------------| | 明 (Ming / 명) | 329 | 14,138 | 52,154,543 | | 清 (Qing / 청) | 143 | 6,730 | 25,391,129 | | **Total / 합계** | **472** | **20,868** | **77,545,672** | ### Data Splits / 數據分割 / 데이터 분할 | Split | Records | Description | |-------|---------|-------------| | `train` | 20,868 | Complete corpus (all collections) / 전체 코퍼스 (전 별집 포함) | ## Source and License / 出處及授權 / 출처 및 라이선스 ### Original Data / 原始數據 / 원본 데이터 * **Source / 출처:** [astra77/huaxia-lib](https://huggingface.co/datasets/astra77/huaxia-lib) * **Original License / 원본 라이선스:** Apache-2.0 * **Original Description / 원본 설명:** 四庫別集 1,095 collections from the Siku Quanshu tradition / 사고전서 계통 사고별집 1,095종 ### Modifications / 修改說明 / 가공 내역 The following modifications were made to the original data: / 원본 데이터에 대해 다음과 같은 가공을 수행했다: 1. **Extraction / 추출:** Selected 472 collections (329 Ming + 143 Qing) from the full 1,095-collection dataset. / 전체 1,095종에서 472종(명 329 + 청 143)을 선별 추출했다. 2. **Dynasty classification / 조대 분류:** Added `dynasty` field (明/清) based on pre-compiled mapping. / 사전 편성된 매핑 테이블에 기반하여 `dynasty` 필드(明/清)를 부여했다. 3. **Metadata extraction / 메타데이터 추출:** Automatically extracted `author`, `juans`, `siku_category` from text content. / 텍스트 본문에서 `author`·`juans`·`siku_category`를 자동 추출했다. 4. **Structural reorganization / 구조 재편:** Converted from .md page files to JSONL records with structured metadata. / .md 페이지 파일을 구조화된 메타데이터가 포함된 JSONL 레코드로 변환했다. 5. **TOC removal / 목차 제거:** Filtered out table-of-contents pages (p0.md files) that contained only navigation links. / 내비게이션 링크만 포함된 목차 페이지(p0.md)를 제거했다. ### License / 授權 / 라이선스 * **Original texts / 고적 원문:** Public domain (古籍原文, authors deceased 100+ years) / 퍼블릭 도메인 (저자 사후 100년 이상 경과) * **Dataset compilation and editing / 데이터셋 편집:** Original compilation by astra77, Apache-2.0 / astra77 원 편집, Apache-2.0 * **This derivative dataset / 본 파생 데이터셋:** Apache-2.0 (in compliance with original license terms) / Apache-2.0 (원본 라이선스 조건 준수) * **Curator / 큐레이터:** dibao-research (Kwanyong Kim / 김관용) Per Apache 2.0 requirements, this dataset retains attribution to the original author (astra77) and documents all modifications made. / Apache 2.0 요건에 따라 원 저작자(astra77)에 대한 귀속 표시를 유지하고, 모든 가공 내역을 명기했다. ## Considerations for Using the Data / 使用注意事項 / 이용 시 유의사항 ### Known Limitations / 已知限制 / 알려진 한계 1. The `author` field is automatically extracted and may be incomplete for some collections. / `author` 필드는 자동 추출이므로 일부 별집에서 누락될 수 있다. 2. The `juans` field captures volume numbers mentioned on each page, not a definitive table of contents. / `juans` 필드는 각 페이지에 언급된 권(卷) 번호일 뿐, 완전한 목차가 아니다. 3. Some collections may contain OCR artifacts from the digitization process. / 디지털화 과정에서 발생한 OCR 오류가 잔존할 수 있다. 4. The `siku_category` is only detected when the text explicitly contains "欽定四庫全書" markers. / `siku_category`는 텍스트에 "欽定四庫全書" 표지가 명시된 경우에만 탐지된다. ### Bias / 偏見 / 편향 The Siku Quanshu represents an imperially-sponsored editorial project of the Qianlong era (18th century). Its selection criteria reflect the political and cultural biases of the Qing court. Works deemed heterodox or politically sensitive were excluded or censored. 사고전서는 건륭(乾隆) 연간(18세기)의 칙편(勅編) 사업이다. 그 선록(選錄) 기준은 청 조정의 정치적·문화적 편향을 반영한다. 이단으로 간주되거나 정치적으로 민감한 저작은 배제되거나 삭개(刪改)되었다. ## Citation / 引用 / 인용 If you use this dataset, please cite both this derivative and the original: / 본 데이터셋을 사용할 경우, 파생 데이터셋과 원본 데이터셋을 모두 인용해 주십시오: ```bibtex @dataset{ming_qing_wenji_2026, title={Ming-Qing Literary Collections Corpus: A Structured Edition from the Siku Quanshu Tradition}, author={Kim, Kwanyong}, year={2026}, publisher={Hugging Face}, url={https://huggingface.co/datasets/dibao-research/ming-qing-wenji-corpus}, note={Derived from astra77/huaxia-lib (Apache 2.0)} } @dataset{astra77_huaxia_lib, title={huaxia-lib: 四庫別集 Digital Library}, author={astra77}, publisher={Hugging Face}, url={https://huggingface.co/datasets/astra77/huaxia-lib}, license={Apache-2.0} } ``` ## Related Resources / 相關資源 / 관련 자료 | Resource | Description | Link | |----------|-------------|------| | Wanli Dibao Corpus / 만력저보코퍼스 | Ming dynasty official gazette corpus / 명대 관보 코퍼스 | [dibao-research/wanli-dibao-corpus](https://huggingface.co/datasets/dibao-research/wanli-dibao-corpus) | | huaxia-lib (Original) / 원본 | Full Siku Quanshu literary collections / 사고전서 별집 전체 | [astra77/huaxia-lib](https://huggingface.co/datasets/astra77/huaxia-lib) | | Ming Shilu (明實錄) / 명실록 | Veritable Records of the Ming Dynasty / 명대 실록 | [Academia Sinica](https://hanchi.ihp.sinica.edu.tw/) | | CTEXT | Chinese Text Project / 중국철학서전자화계획 | [ctext.org](https://ctext.org) | ## Contact / 聯繫 / 연락처 For questions, corrections, or collaboration inquiries, please use the Discussions tab on this repository or contact via email. 문의·정오(訂誤)·공동연구 제안은 본 리포지토리의 Discussions 탭 또는 이메일로 연락 바랍니다. * **Email:** [e-mail] * **Organization:** [dibao-research](https://huggingface.co/dibao-research)### 数据集元数据 - 支持语言：文言（lzh）、现代中文（zh）、韩语（ko） - 许可证：Apache-2.0 - 任务类别：文本生成、词法分类、文本分类 - 标签：古典中文、历史文献、明代、清代、文学别集、四库全书（Siku Quanshu）、数字人文、东亚研究、自然语言处理（NLP）、语料库、别集 - 数据集名称：明清文学别集语料库 - 数据规模：10K < 样本数 < 100K - 源数据集：astra77/huaxia-lib ## 明清文学别集语料库 ## 数据集说明 ### 摘要 明清文学别集语料库是一套结构化数字语料库，辑录明代（1368–1644）、清代（1644–1912）共472部文学别集（bieji）。文本源自四库全书（Siku Quanshu）体系，包罗诗歌、散文、奏疏、论著、书信等多元文学体裁，涵盖横跨三个世纪的中国思想史中学者、官员与文人的传世作品。 本语料库衍生自[astra77/huaxia-lib](https://huggingface.co/datasets/astra77/huaxia-lib)（Apache 2.0许可），为适配研究需求，新增了朝代分类、元数据提取与结构重组处理。 ### 研究价值 本语料库在以下研究领域具有重要学术价值： 1. **明清政治传播**：122部别集中的451条文本提及了帝国官方公报体系——邸报（dibao）制度。 2. **文学史研究**：包罗王世贞、钱谦益、顾炎武、龚自珍等数百位重要文学大家的文集。 3. **命名实体识别（Named Entity Recognition, NER）训练**：包含丰富的人名、官职名、地名、机构名等命名实体，适用于古典中文NER模型的训练。 4. **交叉对照研究**：可与[万历邸报语料库](https://huggingface.co/datasets/dibao-research/wanli-dibao-corpus)联动，用于明代政治传播的收发方分析。 ### 语言 - 文言（文言文/ Literary Chinese, ISO 639-3: `lzh`） - 部分注释使用现代中文（`zh`） - 数据集卡片提供韩语版本（`ko`） ## 数据集结构 ### 数据字段 | 字段名 | 类型 | 描述 | |-------|------|------| | `id` | 字符串 | 唯一记录标识符，格式为`dynasty_collection_page` | | `dynasty` | 字符串 | 朝代，可选值为`明`（明代）或`清`（清代） | | `collection` | 字符串 | 文学别集名称 | | `page` | 整数 | 该别集中的页码/分段序号 | | `juans` | 字符串列表 | 文本中提及的卷数列表 | | `siku_category` | 字符串 | 四库全书分类（若可检测到） | | `author` | 字符串 | 作者名称（从文本中自动提取） | | `char_count` | 整数 | 文本字符数 | | `text` | 字符串 | 完整文本内容 | ### 统计数据 | 朝代 | 别集数量 | 记录数 | 字符数 | |------|---------|---------|--------| | 明代 | 329 | 14,138 | 52,154,543 | | 清代 | 143 | 6,730 | 25,391,129 | | **总计** | **472** | **20,868** | **77,545,672** | ### 数据分割 | 分割方式 | 记录数 | 描述 | |---------|---------|------| | `train` | 20,868 | 完整语料库（包含所有别集） | ## 来源与授权 ### 原始数据 - **来源**：[astra77/huaxia-lib](https://huggingface.co/datasets/astra77/huaxia-lib) - **原始许可证**：Apache-2.0 - **原始描述**：四库全书体系下的1095部文学别集 ### 修改说明 本数据集对原始数据进行了以下加工厘定： 1. **筛选提取**：从1095部全量别集中筛选出472部（明代329部、清代143部）。 2. **朝代分类**：基于预编译的映射表新增`dynasty`字段，标记为`明`或`清`。 3. **元数据提取**：从文本内容中自动提取`author`、`juans`、`siku_category`字段。 4. **结构重组**：将原始.md页面文件转换为包含结构化元数据的JSONL格式记录。 5. **目录页移除**：过滤掉仅包含导航链接的目录页（p0.md文件）。 ### 许可证 - **古籍原文**：公共领域（古籍原文作者均已去世超过100年） - **数据集编译与编辑**：由astra77原始编译，采用Apache-2.0许可 - **本衍生数据集**：遵循Apache-2.0许可（符合原始许可证条款） - **维护者**：dibao-research（金宽勇 / Kwanyong Kim） 根据Apache 2.0许可要求，本数据集保留了对原始作者astra77的归属声明，并完整记录了所有修改内容。 ## 数据使用注意事项 ### 已知局限 1. `author`字段为自动提取所得，部分别集可能存在信息缺失。 2. `juans`字段仅记录单页文本中提及的卷数，并非完整的目录列表。 3. 部分别集可能残留数字化过程中产生的OCR识别误差。 4. `siku_category`仅当文本中明确出现“钦定四库全书”标识时才会被检测到。 ### 偏倚说明 四库全书是乾隆时期（18世纪）的官修编辑项目，其选录标准反映了清廷的政治与文化偏见，被视为异端或政治敏感的作品均遭排除或删改。 ## 引用 若使用本数据集，请同时引用本衍生数据集与原始数据集： bibtex @dataset{ming_qing_wenji_2026, title={Ming-Qing Literary Collections Corpus: A Structured Edition from the Siku Quanshu Tradition}, author={Kim, Kwanyong}, year={2026}, publisher={Hugging Face}, url={https://huggingface.co/datasets/dibao-research/ming-qing-wenji-corpus}, note={Derived from astra77/huaxia-lib (Apache 2.0)} } @dataset{astra77_huaxia_lib, title={huaxia-lib: 四庫別集 Digital Library}, author={astra77}, publisher={Hugging Face}, url={https://huggingface.co/datasets/astra77/huaxia-lib}, license={Apache-2.0} } ## 相关资源 | 资源名称 | 描述 | 链接 | |----------|------|------| | 万历邸报语料库 | 明代官方公报语料库 | [dibao-research/wanli-dibao-corpus](https://huggingface.co/datasets/dibao-research/wanli-dibao-corpus) | | huaxia-lib（原始数据集） | 全量四库全书文学别集库 | [astra77/huaxia-lib](https://huggingface.co/datasets/astra77/huaxia-lib) | | 明实录 | 明代实录 | [中央研究院历史语言研究所](https://hanchi.ihp.sinica.edu.tw/) | | 中国文本项目（CTEXT） | 中国古典文本数字化项目 | [ctext.org](https://ctext.org) | ## 联系方式 如有疑问、勘误或合作意向，请通过本仓库的Discussions标签或邮件联系： - **邮箱**：[e-mail] - **维护组织**：[dibao-research](https://huggingface.co/dibao-research)