jamiequint/sf_criminal_court

旧金山刑事法庭数据是一个综合性的刑事法庭记录数据集，结合了从旧金山高等法院公共刑事案件页面抓取的摘要数据、地区检察官的开放数据源，以及根据加州法院规则10.500要求获取的指控处置电子表格。数据集包含多个表格，如案件记录、诉讼登记、律师信息、听证日历、逮捕记录、起诉记录、案件匹配、指控处置、司法分配来源、司法官员、司法分配、司法部门分配以及带司法分配的日历等。这些数据涵盖了案件编号、案件ID、被告姓名、提交日期、诉讼条目、听证日期、法庭部门、逮捕指控、犯罪类型、地区检察官行动、指控处置、判决类型、监禁天数、司法官员分配等信息。数据集的构建涉及数据抓取、匹配、OCR处理和规范化，旨在支持刑事司法研究，但使用受CC-BY-NC-4.0许可证限制，仅限非商业用途。

---
许可证：CC-BY-NC-4.0
任务类别：
- 表格分类（tabular-classification）
语言：
- 英语
标签：
- 刑事司法（criminal-justice）
- 旧金山（san-francisco）
- 法院案卷（court-records）
- 地方检察官（district-attorney）
- 法律（legal）
规模类别：
- 100万<记录数<1000万
配置项：
- 配置名称：cases
数据文件：
- 拆分：训练集
路径：cases.parquet
- 配置名称：register_of_actions
数据文件：
- 拆分：训练集
路径：register_of_actions.parquet
- 配置名称：attorneys
数据文件：
- 拆分：训练集
路径：attorneys.parquet
- 配置名称：calendar
数据文件：
- 拆分：训练集
路径：calendar.parquet
- 配置名称：da_arrests
数据文件：
- 拆分：训练集
路径：da_arrests.parquet
- 配置名称：da_prosecuted
数据文件：
- 拆分：训练集
路径：da_prosecuted.parquet
- 配置名称：sfsc_case_matches
数据文件：
- 拆分：训练集
路径：sfsc_case_matches.parquet
- 配置名称：sfsc_charge_dispositions
数据文件：
- 拆分：训练集
路径：sfsc_charge_dispositions.parquet
- 配置名称：judicial_assignment_sources
数据文件：
- 拆分：训练集
路径：judicial_assignment_sources.parquet
- 配置名称：judicial_officers
数据文件：
- 拆分：训练集
路径：judicial_officers.parquet
- 配置名称：judicial_assignments
数据文件：
- 拆分：训练集
路径：judicial_assignments.parquet
- 配置名称：judicial_department_assignments
数据文件：
- 拆分：训练集
路径：judicial_department_assignments.parquet
- 配置名称：calendar_with_judicial_assignments
数据文件：
- 拆分：训练集
路径：calendar_with_judicial_assignments.parquet
---

# 旧金山刑事法院数据集（San Francisco Criminal Court Data）

本数据集为旧金山县关联式刑事法院记录，整合了爬取的旧金山高等法院案卷数据、地方检察官公开数据馈送，以及经加州法院规则第10.500条持续施压后法院方才提供的指控与判决电子表格。

## 表格

| 文件 | 行数 | 描述 |
|------|------|-------------|
| `cases.parquet` | 77,406 | 案件级记录：包含案件编号、案件ID、被告人姓名、立案日期 |
| `register_of_actions.parquet` | 776,728 | 案卷条目：包含程序进展、提交方、日期 |
| `attorneys.parquet` | 72,289 | 各案件代理律师及其角色信息 |
| `calendar.parquet` | 318,993 | 开庭日期、类型、法庭/部门信息 |
| `da_arrests.parquet` | 176,130 | 地方检察官逮捕数据馈送：包含登记指控、执法机构、犯罪类型、地方检察官处理措施 |
| `da_prosecuted.parquet` | 120,827 | 地方检察官起诉案件数据馈送：包含提交指控、案件状态、地方检察官处理措施 |
| `sfsc_case_matches.parquet` | 13,790 | 确定性推断匹配表：将匿名化法院ID与公开案件编号关联 |
| `sfsc_charge_dispositions.parquet` | 44,029 | 指控级判决信息：包含判决、缓刑/看守所监禁/监狱服刑天数 |
| `judicial_assignment_sources.parquet` | 14 | 已公布的法官-部门指派所用的源文档/页面 |
| `judicial_officers.parquet` | 77 | 标准化法官/官员名称维度表及原始名称变体映射 |
| `judicial_assignments.parquet` | 804 | 按生效日期和部门划分的已公布法官指派条目 |
| `judicial_department_assignments.parquet` | 777 | 按源/日期/部门划分的单条目表，可直接用于部门+日期连接 |
| `calendar_with_judicial_assignments.parquet` | 318,993 | 结合开庭日期和部门，将`calendar.parquet`与已公布部门指派表关联后的结果 |

## 数据来源

**`cases.parquet`、`calendar.parquet`、`attorneys.parquet`、`register_of_actions.parquet`**：从旧金山高等法院公开刑事案件页面爬取所得，包含公开案件编号、法院案件ID、被告人姓名、立案日期、开庭日程、代理律师列表及案卷条目。

**`da_arrests.parquet`**：旧金山地方检察官逮捕/公开数据馈送，字段包括：事件编号、法院编号、逮捕日期、执法机构、登记指控、登记案件类型、犯罪类型、家庭暴力标记、地方检察官处理措施及数据更新时间戳。

**`da_prosecuted.parquet`**：旧金山地方检察官起诉案件/公开数据馈送，字段包括：事件编号、法院编号、逮捕日期、提交指控、提交案件类型、犯罪类型、家庭暴力标记、地方检察官处理措施、案件状态及数据更新时间戳。

**`sfsc_case_matches.parquet`与`sfsc_charge_dispositions.parquet`**：源自`SFSC_CHARGE_DISPOSITION.xlsx`，即旧金山高等法院响应加州法院规则第10.500条档案请求所提供的指控/判决电子表格。

该文件并非公开批量下载或常规公开数据发布。法院拒绝提供公开案件编号——即其自身网站各案件页面向所有浏览器用户公开的编号，反而在经过多轮交涉后，提供了匿名化案件标识符。此举导致公共利益研究人员难以将该表格与其他公开记录关联，除了机构不愿简化批量访问流程之外，并无合理缘由。

`sfsc_case_matches.parquet`通过本地匹配生成：将法院提供的匿名化表格与公开法院及地方检察官数据进行匹配，匹配键为`filed_date + normalized charge multiset`，仅当该复合键在两侧均唯一时才接受匹配。其被标记为“确定性推断匹配”而非单纯的“确定性匹配”，原因在于法院未提供显而易见的连接键（公开案件编号），迫使研究人员推断本应直接提供的关联关系。

`sfsc_charge_dispositions.parquet`包含从第10.500条规则电子表格中匹配得到的指控级字段，并在严格匹配成功时补充了公开`case_number`。字段包括法条描述、初始指控与判决指控类型、判决日期/类型、转处类型、刑罚类型/日期、缓刑天数、看守所监禁天数及监狱服刑天数。

**`judicial_assignment_sources.parquet`、`judicial_officers.parquet`、`judicial_assignments.parquet`、`judicial_department_assignments.parquet`及`calendar_with_judicial_assignments.parquet`**：基于旧金山高等法院公开司法指派材料构建，包括已公布的指派备忘录、部门指派PDF文件及当前司法指派网页。

这些文件仅标明了生效日期范围内公开指派至法院部门的法官，**无法证明某次庭审的历史实际当日主审法官**：替补法官、客座法官、病假、休假及日程变更可能未在这些公开指派文件中体现。目前已向法院提交第10.500条规则请求，以获取实际庭审主审法官数据，但鉴于其此前将公开档案获取视为对抗性程序的行事风格，我们并未抱过高期望。目前暂以已公布的部门指派作为替代。

所用源文件类型包括：
- 2022–2025年生效日期的旧金山高等法院公开指派备忘录（多为PDF格式）
- 2024–2025年的旧金山高等法院部门指派清单PDF文件
- 2026年4月27日生效的旧金山高等法院当前司法指派页面：https://sf.courts.ca.gov/general-information/judicial-assignments-2026

部分PDF为扫描图像版，已通过Ollama调用`glm-ocr`进行本地光学字符识别（Optical Character Recognition，简称OCR），缓存的OCR结果存储于`judicial_assignment_sources/ocr/`目录。文本版PDF则通过`pdftotext`进行解析。

法官姓名保留原始提取结果，并在`judicial_officers.parquet`中映射至规范键，以便分析时合并无害的名称变体（如缺失中间名、OCR识别错误及姓名字序颠倒），同时保留原始提取字符串以供审计。

生成的表格包括：
- `judicial_assignment_sources.parquet`：每个源文档/页面集对应一条记录，包含URL、本地文件路径、生效起始/结束日期、提取方法及日期依据说明。
- `judicial_officers.parquet`：标准化法官/官员维度表，包含原始提取变体、清理后变体、占位符标记及标准化方法。
- `judicial_assignments.parquet`：从各源文件中提取的原始指派条目，通常每个部门/法官/职能对应一条记录。
- `judicial_department_assignments.parquet`：标准化后的单条记录对应一个源/日期/部门的表格，用于通过`部门 + 开庭日期`进行连接。
- `calendar_with_judicial_assignments.parquet`：通过开庭日期和部门，将`calendar.parquet`左连接至`judicial_department_assignments.parquet`的结果。

连接置信度字段包括：
- `deterministic_to_published_department_assignment`：与单个已公布指派法官实现精确的部门/日期匹配。
- `published_assignment_month_only_date`：与仅提供年月的源文件匹配，脚本使用该月首日作为日期依据并标记日期基础。
- 空置信度：无可用的公开指派源文件匹配该庭审条目。

集成脚本为`integrate_judicial_assignments.py`，重新运行该脚本将下载/缓存源文件、按需OCR扫描PDF、重建`cases.db`中的SQLite表/视图并重新生成Parquet输出文件。

## 使用方法

python
import duckdb

con = duckdb.connect()

# 查询单张表
con.sql("SELECT * FROM 'cases.parquet' LIMIT 10").show()

# 关联案件与指控判决表
con.sql("""
SELECT c.case_number, c.defendant_name, d.statute_description,
d.dispo_type, d.jail_days, d.prison_days
FROM 'cases.parquet' c
JOIN 'sfsc_charge_dispositions.parquet' d USING (case_number)
WHERE d.prison_days > 0
ORDER BY d.prison_days DESC
LIMIT 20
""").show()

## 许可证

CC-BY-NC-4.0，仅可用于非商业用途。