Public Datasets

这是一个小型数据集集合，包含从官方或公共来源收集、清理并整理为整洁CSV格式的数据，每个数据集按年份存储为单独文件，涵盖航空安全、电影死亡、波特兰营地执法、犯罪、活动和被盗车辆等多个主题，数据通过自动化管道每月更新。This is a small dataset collection consisting of data collected, cleaned and formatted into tidy CSV files from official or public sources. Each dataset is stored as a separate file organized by year, covering multiple topics including aviation safety, movie deaths, law enforcement at Portland camps, crime, events and stolen vehicles. The data is updated monthly via an automated pipeline.

原始信息汇总

数据集概述

该数据集仓库（MDeanLindsay/data）收录了多个经过清洗和整理的公共数据集，以每年一个CSV文件的形式发布，每月自动刷新。

数据集列表

数据集	内容	覆盖时间范围
aviation-safety	全球航空事故与事件（来自Aviation Safety Network），每条记录包含飞机、运营商、伤亡情况、地点、飞行阶段	2000年至今
film-deaths	银幕电影死亡事件（来自Cinemorgue维基），每条记录包含演员、电影、年份、死因	全部年份
pdx-camps	波特兰市营地条例执法情况，每行按社区和月份统计（清扫、联系、结果、搜查令）	2025年至今
pdx-crime	波特兰警局报告的犯罪事件，每条记录包含地点、类别、犯罪类型	2015年至今
pdx-events	波特兰地区约15个场馆的演唱会与现场活动清单，含配套文件记录助演嘉宾	2026年至今
pdx-vehicles	波特兰被盗车辆按品牌+型号、社区、月份的统计数据	2015年至今

数据格式

• 目录结构：<数据集名称>/<数据集名称>_<年份>.csv
• 每个CSV文件均为UTF-8编码，包含表头行
• 每年文件完全重建，确保反映源数据最新值；源数据修订时，历史年份文件可能随之更新

自动更新机制

• 使用自托管的Dagster流水线在树莓派上运行，每月刷新一次
• 更新操作为幂等性：若源数据未变化，则不产生新提交，仓库历史即变更日志

搜集汇总

数据集介绍

构建方式

该数据集名为Public Datasets，是由用户为个人项目收集并整理的一批公开数据集合。其构建方式体现高度自动化与严谨性：每个子数据集均源自官方或公开权威渠道，经过清洗与扁平化处理后，以整洁的CSV格式呈现，并遵循每年一个独立文件的原则进行发布。整个提取与发布流程由部署在Raspberry Pi上的Dagster管道全自动执行，每月定时刷新。更新机制具有幂等性，若源数据未发生变化，则不会产生新的提交记录，从而使仓库的提交历史天然充当了一份实际变更的日志。

特点

Public Datasets的核心特点在于其结构化的组织方式与动态更新的可靠性。所有数据被打包为按年份分隔的独立CSV文件，每个子集均附有详尽的列参考说明，确保使用者能够快速理解字段含义。覆盖范围广泛，包括全球航空事故、银幕死亡事件、波特兰市的多类市政与公共数据，如露营地法规执法、犯罪报告、现场演出与失窃车辆信息。数据自2015年甚至更早开始积累，持续更新至当前，且每份文件在重建时均反映源数据的最新修订，具备较强的时效性与回溯能力。

使用方法

使用者可通过克隆仓库或直接下载所需子集的CSV文件来获取数据。每个数据集文件夹内均包含一个README文件，其中提供了完整的列定义与字段说明，便于进行后续的解析与分析。数据按年份分区存储，便于按时间范围进行筛选或进行跨年度趋势分析。由于更新周期为每月一次且变更记录可追溯，用户可以利用版本历史追踪数据变化，或基于稳定URL构建自动化的数据摄取与更新流程，适用于研究、可视化开发或本地应用中的数据集集成。

背景与挑战

背景概述

该数据集集合由一位独立开发者创建，依托自托管于树莓派的Dagster流水线，自2025年起持续更新。其核心研究问题聚焦于将分散的官方或公共数据源（如航空安全网络、犯罪统计、文化活动等）整合为结构一致、按年份切分的洁净CSV文件。该工作填补了跨领域公共数据碎片化与可复用性不足的空白，尤其为城市安全（波特兰犯罪与露营地执法）、交通运输（航空事故）、文化分析（银幕死亡）等交叉研究提供了标准化数据基底。虽无大型机构背书，但其自动化刷新与幂等提交机制（无变更则无新提交）确保了数据时效性与可追溯性，为小而精的数据治理实践树立了典范。

当前挑战

数据集所解决的领域问题在于公共数据分散于非结构化页面或频繁变更的官方接口中，研究者常面临数据采集成本高、清洗标准不一、时间序列对齐困难等障碍。构建过程中，挑战尤为突出：航空安全数据需从异步更新的网站解析事故详情，跨年份记录的噪声字段（如缺失的伤亡数）需经协商式清洗；波特兰犯罪数据涉及敏感性空间信息（经纬度），需在隐私保护与粒度间权衡；电影死亡数据依赖社区维基，语义歧义（如“持续中”的死亡分类）需人工注入规则。此外，树莓派的硬件算力限制使得每日爬取窗口被压缩，而依托Github提交记录作为隐式变更日志的设计，虽巧妙却无法暴露源数据的回溯性修正（如一年后官方对事故原因的更正），存在版本漂移风险。

常用场景

经典使用场景

Public Datasets 是一个跨领域的多源数据集合集，涵盖了航空安全、电影文化、城市治理与公共安全等多个维度，适用于学术研究者进行跨学科的数据探索与基准测试。在数据科学领域，该数据集常被用作数据清洗、整合与时间序列分析的标准化范例，研究者可基于其“每年单文件”的整洁结构，轻松开展从数据预处理到特征工程的完整流程实验。此外，其涵盖的犯罪事件、车辆盗窃、营地执法等城市数据，为计算社会学与城市计算提供了理想的研究素材，支持城市动态建模、事件关联分析与政策效果评估等经典研究任务。

衍生相关工作

基于Public Datasets的规范结构与丰富内容，已衍生出多项具有影响力的相关工作。在数据工程领域，其Dagster自动化流水线设计被社区视为轻量级数据运维的经典案例，启发了同类项目在边缘设备上构建可复用的ETL框架。在学术研究方面，pdx-crime数据被用于开发波特兰市犯罪预测模型，并与OpenStreetMap、人口普查数据融合，生成高精度城市风险地图。aviation-safety数据则被整合进飞行安全知识图谱，支持事故链推理与根因分析。这些衍生工作不仅验证了数据集的质量，更拓展了其在智慧城市与公共安全等领域的应用边界。

数据集最近研究

最新研究方向

近年来，城市安全与公共事件的数据挖掘成为计算社会科学的前沿热点，Public Datasets中的pdx-crime与pdx-camps数据集恰好为波特兰地区的犯罪分析与露营地执法监管提供了精细化的时空粒度支撑。随着美国多城市推动警务透明度改革，此类高频更新的犯罪位置、类别及执法结果数据，使得研究者能够追踪社区治安动态、评估执法政策成效，并关联露营地清理事件与流浪者权益的社会讨论。同时，aviation-safety数据集持续记录全球航空事故，在波音737 MAX复飞、空客交付争议等热点事件背景下，其逐年起底的伤亡与运营数据为航空安全审计与风险建模提供了不可替代的实证基础。