NYPD Stop and Frisk

纽约警察局拦截搜身数据，涵盖多年数据，涉及不同年份的拦截和搜身事件记录，包括地点、时间、种族和使用武力情况等。

The New York Police Department's stop-and-frisk data, encompassing multiple years, includes records of stop-and-frisk incidents across different years, detailing locations, times, racial demographics, and the use of force.

原始信息汇总

NYPD Stop and Frisk 数据集概述

数据集描述

• 数据集不包含2005至2012年的提取CSV文件，因为这些文件过大（每个超过100MB）。
• 使用默认的Makefile任务进行数据处理。

数据集内容

• 包含与人口普查和警区相关的数据，数据来源于John Keefe提供的Fusion Table。
• 数据集涉及警区合并和边界变化的历史记录。

数据集任务

• 探索和整合不同年份的架构。
• 解决边界变化的问题。
• 与人口统计数据进行关联。

数据集分析目标

基础分析

• 按警区、种族/民族、年份统计事件数量。

高级分析

• 与人口统计数据进行关联。
• 探索架构并尽可能多地导入/清理公共字段。

数据集处理阶段

第一阶段：初步整理

• 阅读相关文章和文档。
• 下载数据。
• 批量导入数据。
• 快速检查公共列。

第二阶段：快速整合

• 创建表并使用UNION ALL。
• 手动重命名2017年和2018年的字段。
• 确认年份和种族的一般统计数据。

第三阶段：详细整合

• 获取尽可能多的公共字段，包括位置信息、体貌描述、使用武力标志、停止原因标志等。

第四阶段：字段整理

• 查找公共列中的不一致性。
• 根据表进行数据清理，包括日期/时间清理和列重命名。

第四阶段半：使用查找表整理

• 使用查找表进行犯罪代码的整理。

搜集汇总

数据集介绍

构建方式

NYPD Stop and Frisk数据集的构建涉及对不同年份的警方拦截和搜查数据进行整合。该过程首先通过运行Makefile任务对数据进行SQL化处理，然后利用Shell脚本生成导入SQL，进而构建数据库。数据来源于纽约市警方的公开记录，并包括了对警区及人口普查数据的合并，处理过程中还需考虑警区边界的变化和编号的调整。

特点

该数据集的特点在于其详尽地记录了纽约市警方执行拦截和搜查的案例，涵盖多个年份，并提供了种族/族裔、警区、年份等维度的统计数据。数据集还关联了人口普查数据，使得研究者能够分析拦截和搜查活动与社会人口学特征之间的关联。此外，数据集在构建时注重字段的一致性和完整性，包括地点信息、个人身体描述、使用武力标志、拦截和搜查原因标志等。

使用方法

使用该数据集时，用户首先需要对数据进行探索，以理解不同年份间数据模式的变化，并解决边界变化带来的问题。基础使用包括按警区、种族/族裔和年份统计事件数量，而高级使用则涉及将数据与人口统计数据结合，探索数据模式，并进行数据清洗和整理，以确保分析的有效性和准确性。

背景与挑战

背景概述

NYPD Stop and Frisk数据集是一项涉及纽约市警察局截至2012年期间的路检和搜身记录的研究成果。该数据集由John Keefe提供，并通过Google Fusion Tables进行数据整理。其核心研究问题在于分析纽约市警察局的执法活动，特别是路检和搜身行为是否与种族、地区等因素相关，对法律执行和社会公正领域产生了深远影响。

当前挑战

该数据集在构建过程中面临的挑战主要包括：不同年份数据模式的变化、警区边界的调整、以及如何将数据与人口统计数据相结合。具体而言，挑战体现在如何统一不同年份的数据结构，处理警区变更带来的数据不一致性，以及清洗和整合各种字段，例如地点信息、身体描述、使用武力标志、停止、搜身和搜索原因标志等，以确保数据的质量和可用性。

常用场景

经典使用场景

NYPD Stop and Frisk数据集为研究者提供了一个独特视角，以分析纽约市警察局自2005年至2012年间进行的拦截搜查活动。其经典使用场景在于，研究者可借此数据集探究不同种族、不同辖区在特定年份内遭遇拦截搜查的频率与特点，进而揭示潜在的社会公正与执法公正问题。

解决学术问题

该数据集解决了执法活动中的种族偏见与地域差异等学术研究问题。通过统计分析，研究者能够发现执法活动的模式与趋势，评估警察行为与公民权利之间的关系，对制定相关法律政策及改进警察执法行为具有重要的参考价值。

衍生相关工作

基于该数据集，衍生出了一系列相关研究工作，包括对拦截搜查活动的长期趋势分析、种族与执法关系的深入研究，以及结合人口统计数据探讨执法活动的社会影响等经典研究。这些工作为理解并改善执法活动提供了宝贵的见解。