Greater London Authority spending data

该数据集包含大伦敦政府（GLA）的支出数据，用于准备并加载到OpenSpending平台。数据集包括多个CSV文件，记录了GLA及其附属公司的支出详情，从2008年开始，报告阈值从£1,000降低至£250。

This dataset contains expenditure data from the Greater London Authority (GLA), prepared and loaded onto the OpenSpending platform. It includes multiple CSV files detailing the expenditures of the GLA and its subsidiary companies, starting from 2008, with the reporting threshold reduced from £1,000 to £250.

原始信息汇总

数据集概述

数据内容

• 数据集包含Greater London Authority的支出数据。
• 主要数据文件为data/all.csv。
• 数据模式（schema）信息可在datapackage.json中找到。

数据来源

• 数据来源于Greater London Authority，具体CSV文件列表可在http://www.london.gov.uk/mayor-assembly/gla/spending-money-wisely/budget-expenditure-charges/expenditure-over-250找到。
• 数据集包括超过60个CSV文件，截至2013年7月。

数据质量问题

• 数据格式存在显著变化，包括字段、空白列和行的数量等。
• 具体问题包括：
  • 金额使用逗号格式化，导致计算机识别为字符串。
  • 日期格式不一致，如"16 Mar 2011"和"21.01.2010"。
  • 使用"(978)"表示负数而非"-978"。
  • 数据重复问题。

数据处理计划

• 计划开发脚本将特定文件（月份）转换为标准化的CSV格式。
  • 清理日期格式。
  • 清理金额格式（移除逗号）。
• 将处理后的数据上传至http://data.openspending.org/。
• 定期更新最新月份数据至OpenSpending。
• 开发脚本整合所有文件。
• 将整合后的数据上传至http://data.openspending.org/。
• 在OpenSpending City map上发布数据。

数据更新频率

• 每月重复上述数据处理流程，以适应新数据的更新。

搜集汇总

数据集介绍

构建方式

Greater London Authority spending data数据集的构建采取了对公开可用的GLA数据进行预处理的方式，旨在将其加载至OpenSpending平台。具体流程包括数据的拉取、符号链接的创建、数据清洗等步骤，以应对数据文件结构多样、格式不统一等问题，确保数据的一致性和可用性。

特点

该数据集涵盖了伦敦市长办公室自2008年以来，所有超过一定金额阈值的支出记录。数据集的特点在于其详尽性、时效性以及反映出的财政透明度。尽管数据文件格式各异，但数据集在经过严格的清洗和标准化处理后，为研究者提供了宝贵的资源，用于分析和理解GLA的财务支出模式。

使用方法

用户可遵循README中提供的步骤，首先通过运行脚本拉取数据，然后创建符号链接至最新数据，接着执行数据清洗脚本以标准化数据格式。处理后的数据可被上传至OpenSpending平台，便于进一步的分析和可视化。定期更新数据的过程也包含在指南中，确保数据集的持续更新与维护。

背景与挑战

背景概述

Greater London Authority spending data数据集，诞生于对伦敦市政府财政透明度的追求。该数据集由伦敦市政府提供，旨在公开所有超过一定金额的支出记录。自2008年起，市长指令定期公布所有超过£1,000（含增值税）的支出报告，此后报告阈值几经调整，至2012年第二期报告起，降低至£250（不含增值税）。该数据集的创建，不仅为公众提供了审视政府财政支出的可能，也为研究政府财务透明度、公共管理等领域的研究人员提供了宝贵的资源。

当前挑战

尽管GLA支出数据集的创建具有重大意义，但在构建过程中也面临着诸多挑战。首先，数据集包含了超过65个CSV文件，这些文件的格式各异，字段结构、空列和空行的数量都有所不同，导致数据清洗和整合工作极为复杂。其次，数据存在格式错误，例如金额字段中的逗号导致计算机将其识别为字符串，日期格式的不一致，以及使用特殊符号而非标准负号表示负数等。最后，数据集中还存在着重复记录和访问权限的问题。这些挑战使得数据集的处理和使用变得更为困难，对研究人员提出了更高的技术要求。

常用场景

经典使用场景

在公共财政透明度的研究领域，Greater London Authority spending data数据集被广泛用于分析和理解大伦敦管理局的财政支出模式。该数据集的经典使用场景包括对财政支出的时间序列分析，以及不同部门间的支出对比研究，进而评估公共资金的使用效率与效果。

解决学术问题

该数据集解决了公共管理研究中对于财政支出不透明、数据格式不一致等关键问题，为学术研究者提供了一个统一的、结构化的数据源，有助于提高研究的准确性和可靠性。它的重要性在于为政策评估、预算监督和公共资源的优化配置提供了数据支持。

衍生相关工作

基于该数据集，衍生出了多项相关工作，包括开发数据可视化工具、构建支出预测模型以及进行政策影响力评估等。这些工作不仅增进了对财政数据的分析和理解，也推动了公共管理领域的研究方法和工具的创新。