sirzmkk/zh-tw-wikipedia

---
dataset_info:
features:
- name: pageid
dtype: int64
- name: html
dtype: string
- name: markdown
dtype: string
- name: coordinate
struct:
- name: globe
dtype: string
- name: lat
dtype: float64
- name: lon
dtype: float64
- name: length
dtype: int64
- name: touched
dtype: string
- name: lastrevid
dtype: int64
- name: original_title
dtype: string
splits:
- name: train
num_bytes: 21930303312
num_examples: 2533212
download_size: 0
dataset_size: 21930303312
task_categories:
- text-generation
language:
- zh
pretty_name: 台灣正體中文維基百科 (zh-tw Wikipedia)
size_categories:
- 1M<n<10M
---

# 台灣正體中文維基百科 (zh-tw Wikipedia)

截至 2023 年 5 月，中文維基百科 2,533,212 篇條目的台灣正體文字內容。每篇條目為一列 (row)，包含 HTML 以及 Markdown 兩種格式。

A nearly-complete collection of 2,533,212 Traditional Chinese (`zh-tw`) Wikipedia pages, gathered between May 1, 2023, and May 7, 2023. Includes both the original HTML format and an auto-converted Markdown version, which has been processed using [vinta/pangu.py](https://github.com/vinta/pangu.py).

於 2023 年 5 月 1 日至 5 月 7 日間取自維基百科 [`action=query`](https://zh.wikipedia.org/w/api.php?action=help&modules=query) & [`prop=extracts`](https://zh.wikipedia.org/w/api.php?action=help&modules=query%2Bextracts) API，內容皆與維基百科網站之台灣正體版本一致，沒有繁簡體混雜的問題。

For development usage, checkout [`zetavg/zh-tw-wikipedia-dev`](https://huggingface.co/datasets/zetavg/zh-tw-wikipedia-dev), which is a subset that contains only 1,000 randomly picked items.

## 資料內容

* `pageid` — 維基百科頁面 ID。
* `html` — 頁面原始的 HTML 匯出。
* `markdown` — 頁面轉換為 Markdown 格式，並以 [vinta/pangu.py](https://github.com/vinta/pangu.js) 於全形字與半形字之間加入空格後的版本。
* `coordinate` — 頁面主題的經緯度座標，例如 `{ "lat": 22.63333333, "lon": 120.26666667 }`。若無則為 `null`。
* `length` — 頁面內容長度。
* `touched` — 頁面的最後修訂時間。
* `lastrevid` — 最新修訂版本的修訂 ID。
* `original_title` — 維基百科未經轉換的原始頁面標題，可能為簡體中文。

## 已知問題

* 無法抽取為 *受限格式 HTML* 的內容皆會遺失，例如所有圖片、圖表、表格、參考資料列表，以及部分程式碼區塊。
* 極少數內容過長的條目沒有納入，大致上計有：`四千`、`五千`、`六千`、`英雄傳說VI`、`軌跡系列角色列表`、`碧之軌跡角色列表`、`零之軌跡角色列表`。
* 缺少頁面標題 `title` 欄位（原可透過 API `inprop=varianttitles` 取得，但資料抓取時程式撰寫遺漏了這個欄位）。