City of Denton Datasets

该仓库旨在提供一个协作平台，用于评估和讨论丹顿市提供的新数据集。通过使用CKAN API自动生成每个可用数据集的问题，以便于排序、讨论并向城市技术团队报告这些数据集的发现，不仅是为了改进它们以供开放数据日使用，也是为了未来所有开放数据目的。

This repository aims to provide a collaborative platform for evaluating and discussing the new datasets provided by Denton City. By automatically generating questions for each available dataset using the CKAN API, it facilitates sorting, discussing, and reporting findings of these datasets to the city's technical team. This effort is not only to improve them for the Open Data Day but also for all future open data purposes.

原始信息汇总

数据集概述

数据集目的

本数据集旨在提供一种协作方式，用于评估和讨论丹顿市提供的新数据集。通过使用内置的CKAN API，自动为每个可用的数据集生成问题，以便进行分类、讨论，并向城市技术团队报告这些数据集的发现，不仅为了改进它们以供开放数据日使用，而且为了所有未来的开放数据目的。

数据集要求

• 每个数据集应可在数据库中使用，并应具有可与其他数据集合并的变量。
• 数据应进行地理编码（标记有地理定位数据，如纬度和经度，或州平面坐标）。
• 数据应能导入到常见的RDBMS中，如MySQL/MariaDB、PostgreSQL、FileMaker Pro、MS Access。
• 应有一个独特的标识符或一组列，可以组合成一个独特的标识符。
• 理想情况下，应有一个导入文件或文件，适用于常见的数据库和/或统计包，如R、Stata、PostgreSQL、MySQL/MariaDB。
• 应有一个代码本，描述每个数据变量（字段）、变量类型，以及必要的列宽。
• 用户/提交者应实际导入数据并确认其无错误工作。
• 如果数据是地理编码的，它们应易于导入到QGIS和/或ArcGIS中。

数据集状态标签

• unusable: 数据集因多种条件无法使用。
• complete: 数据集包括代码本、机器可读数据、无缺失数据，列与数据和预期数据类型匹配。
• incomplete: 数据集缺少某些元素，使其不完美或难以使用。
• gis: 数据包括地理成分（无论是否地理编码）。
• nocodebook: 由于没有支持文档，无法确定特定列中的值含义。
• pdf: 数据以PDF格式提供，无论是机器可读还是扫描图像。
• xls: 数据以某种Excel版本格式提供。
• text: 数据以ASCII文本格式提供。
• needsupdate: 对于时间序列数据，是否缺少近年（尤其是最近几年）的数据？
• needscleaning: 数据可能可用，但列内的数据可能不一致或从额外的变量中受益。
• personalinfo: 数据包含个人身份信息（PII），如姓名和地址。
• unclearvariables: 即使列标题是英文的，如果它们不精确或不确定，则适用此标签。

搜集汇总

数据集介绍

构建方式

City of Denton Datasets的构建采取自动化方式，利用CKAN API对Denton市提供的开放数据进行自动抓取，并为每个数据集生成讨论议题。该过程不仅便于对数据集进行分类和讨论，还能将反馈直接报告给市技术团队，以促进数据的持续改进。

特点

该数据集的特点在于其数据的可用性和互操作性。数据集设计为可直接导入常规的关系型数据库管理系统，如MySQL、PostgreSQL等。此外，数据集需包含唯一标识符或可组合成唯一标识符的列，且通常伴有描述数据变量的代码簿。数据集支持地理编码，便于与GIS系统兼容。

使用方法

使用该数据集首先需通过Git克隆仓库并安装相关依赖。用户需生成新的GitHub令牌替换脚本中的示例令牌，之后即可运行脚本。数据集根据其完整性和可用性被标记，用户可根据标记（如'usable'、'unusable'、'needs repair'等）来评估数据集的可用性。

背景与挑战

背景概述

City of Denton Datasets是由德顿市提供的一系列开放数据集，旨在通过内置的CKAN API实现数据的协作评估与讨论。该数据集的创建，不仅是为了提升开放数据日的数据质量，也为了所有未来开放数据目的的改进。数据集涵盖了多种类型的城市信息，其创建时间为近年来，由德顿市技术团队负责维护与更新，对城市信息科学研究、政策制定等领域产生了重要影响。

当前挑战

该数据集在构建过程中面临的挑战主要包括：确保数据集可被数据库使用，具备与其他数据集合并的变量；数据需进行地理编码；数据格式应适合常见的数据库和统计软件导入；数据集应包含描述每个变量的代码簿；同时，数据集的可用性评估也是一大挑战，需对数据集进行分类，如‘可用’、‘不可用’、‘需要修复’等。此外，数据集在格式、额外变量或分析层级上的不足，也限制了其潜在的应用范围和效用。

常用场景

经典使用场景

在开放数据共享的大背景下，City of Denton Datasets数据集被广泛应用于城市管理与规划领域。该数据集通过内置的CKAN API，实现了对各个数据集的自动化问题生成，进而使得研究人员能够方便地分类、讨论，并将反馈直接报告给市技术部门，从而优化数据集，提升其开放数据日的使用效率及未来开放数据的目的。

解决学术问题

该数据集解决了城市数据在整合与兼容性方面的一系列学术研究问题。通过确保数据集可被导入常用的关系数据库管理系统，如MySQL、PostgreSQL等，并且具备唯一标识符或可组合成唯一标识符的列，这极大地便利了数据的关联与分析，为城市数据的综合管理与决策提供了坚实基础。

衍生相关工作

基于City of Denton Datasets数据集，衍生了众多相关经典工作，如城市数据分析模型、数据可视化项目等。这些工作不仅推动了城市数据科学的发展，也为政策制定者提供了直观的数据支持，进而影响城市规划和管理的决策过程。