Awesome Open Datasets

一个正在完善中的精选开放数据集集合，包括多种主题和来源的数据集，如幸福指数、政府质量、咖啡与代码等。

A curated collection of open datasets currently under refinement, encompassing a variety of topics and sources such as happiness indices, government quality, coffee and code, among others.

原始信息汇总

数据集概述

独立数据集

• The state of happiness in a COVID world - Ipsos

  • 描述：2020年全球幸福研究。
  • 链接：The state of happiness in a COVID world

• Ready PBIX Datasets - NajiElKotob

  • 描述：Power BI数据集。
  • 链接：Ready PBIX Datasets

• SQL Server Database Samples - Microsoft

  • 描述：SQL Server数据库示例。
  • 链接：SQL Server Database Samples

• Coffee and Code - devready

  • 描述：黎巴嫩案例研究。
  • 链接：Coffee and Code

• Quality of Government - devready

  • 描述：基于EoDB、EGDI和CPI三个因素的政府质量研究。
  • 链接：Quality of Government

• OpenML

  • 描述：用于分析的数据查找或添加。
  • 链接：OpenML

• An archive of datasets distributed with R

  • 描述：与R一起分发的数据集存档。
  • 链接：An archive of datasets distributed with R

• FiveThirtyEight

  • 描述：FiveThirtyEight文章和图表背后的数据和代码。
  • 链接：FiveThirtyEight

• Divvy Data

  • 描述：向公众提供的Divvy自行车历史行程数据。
  • 链接：Divvy Data

• The National Longitudinal Study of Adolescent to Adult Health (Add Health)

  • 描述：从青少年到成年健康的国家纵向研究。
  • 链接：The National Longitudinal Study of Adolescent to Adult Health (Add Health)

• Mars Crater Catalog v1 Robbins

  • 描述：火星陨石坑目录v1 Robbins。
  • 链接：Mars Crater Catalog v1 Robbins

• BigML

  • 描述：bigml.com数据集。
  • 链接：BigML

• Microsoft Contoso BI Demo Dataset for Retail Industry

  • 描述：零售行业的Microsoft Contoso BI演示数据集。
  • 链接：Microsoft Contoso BI Demo Dataset for Retail Industry

• Maven Analytics (Data Playground)

  • 描述：mavenanalytics.io数据游乐场。
  • 链接：Maven Analytics (Data Playground)

• OpenDataSoft

  • 描述：opendatasoft.com开放数据。
  • 链接：OpenDataSoft

• Sustainable Development Report

  • 描述：可持续发展报告。
  • 链接：Sustainable Development Report

• Tableaus Sample Data

  • 描述：Tableau的示例数据。
  • 链接：Tableaus Sample Data

开放数据平台

• Data World

  • 描述：包含130K开放数据集的数据世界。
  • 链接：Data World

• Datahub

  • 描述：按主题组织的高质量数据和数据集。
  • 链接：Datahub

• Gapminder

  • 描述：gapminder.org数据。
  • 链接：Gapminder

• Knoema

  • 描述：最全面的全球决策数据源。
  • 链接：Knoema

• NYC Open Data

  • 描述：所有纽约人的开放数据。
  • 链接：NYC Open Data

• Open Data Watch

  • 描述：opendatawatch.com开放数据观察。
  • 链接：Open Data Watch

• Our World in Data

  • 描述：ourworldindata.org数据。
  • 链接：Our World in Data

• Eurostat

  • 描述：欧盟统计局数据。
  • 链接：Eurostat

• Open Spatial Data

  • 描述：黎巴嫩红十字会开放空间数据。
  • 链接：Open Spatial Data

• Cambridge Open Data

  • 描述：剑桥开放数据。
  • 链接：Cambridge Open Data

• CSV Datasets

  • 描述：CORGIS的CSV数据集。
  • 链接：CSV Datasets

OData

• Northwind (OData)

  • 描述：Northwind OData服务。
  • 链接：Northwind (OData)

• TripPin

  • 描述：TripPin OData RESTier服务。
  • 链接：TripPin

World Bank

• World Bank Open Data

  • 描述：世界银行开放数据。
  • 链接：World Bank Open Data

• The World Bank Indicator

  • 描述：世界银行指标。
  • 链接：The World Bank Indicator

• World Bank Group country classifications by income level for FY24

  • 描述：世界银行集团FY24国家收入水平分类。
  • 链接：World Bank Group country classifications by income level for FY24

• The World by Income and Region

  • 描述：按收入和地区划分的世界。
  • 链接：The World by Income and Region

• Commodity Markets

  • 描述：商品市场。
  • 链接：Commodity Markets

• Sustainable Development Goals 2023

  • 描述：2023年可持续发展目标。
  • 链接：Sustainable Development Goals 2023

WHO

• The Global Health Observatory
  • 描述：世界卫生组织全球健康观察站。
  • 链接：The Global Health Observatory

FAO

• FAOSTAT

  • 描述：联合国粮农组织统计数据库。
  • 链接：FAOSTAT

• FAO - Data collection

  • 描述：联合国粮农组织数据收集。
  • 链接：FAO - Data collection

IMF

• IMF
  • 描述：国际货币基金组织数据。
  • 链接：IMF

UN

• UN Data

  • 描述：联合国数据。
  • 链接：UN Data

• UN Comtrade Database

  • 描述：联合国商品贸易统计数据库。
  • 链接：UN Comtrade Database

• UN Comtrade Reference Tables

  • 描述：联合国商品贸易参考表。
  • 链接：UN Comtrade Reference Tables

• Open Data Portal (UN)

  • 描述：联合国开放数据门户。
  • 链接：Open Data Portal (UN)

• United Nations Conference on Trade and Development

  • 描述：联合国贸易和发展会议。
  • 链接：United Nations Conference on Trade and Development

NASA

• NASA APIs

  • 描述：NASA API。
  • 链接：NASA APIs

• Datasets and Images (NASA)

  • 描述：NASA数据集和图像。
  • 链接：Datasets and Images (NASA)

USDA

• FoodData
  • 描述：美国农业部食品数据中央。
  • 链接：FoodData

Microsoft

• Azure AI Fundamentals Datasets

  • 描述：Azure AI基础数据集。
  • 链接：Azure AI Fundamentals Datasets

• Azure Open Datasets

  • 描述：Azure开放数据集目录。
  • 链接：Azure Open Datasets

• Financial Sample Excel workbook for Power BI

  • 描述：Power BI金融样本Excel工作簿。
  • 链接：Financial Sample Excel workbook for Power BI

Google

• Kaggle

  • 描述：Kaggle数据集。
  • 链接：Kaggle

• Open Datasets

  • 描述：Google AI开放数据集。
  • 链接：Open Datasets

• Google Public Data

  • 描述：Google公共数据。
  • 链接：Google Public Data

IBM

• IBM - Data Asset eXchange
  • 描述：IBM数据资产交换。
  • 链接：IBM - Data Asset eXchange

AWS

• Registry of Open Data on AWS
  • 描述：AWS上的开放数据注册表。
  • 链接：Registry of Open Data on AWS

Global Indices

• Human Development Insights (HDI)
  • 描述：人类发展洞察指数。
  • 链接：Human Development Insights (HDI)

Countries

UAE

• UAE

  • 描述：阿联酋开放数据。
  • 链接：UAE

• Real Estate (UAE)

  • 描述：阿联酋房地产数据。
  • 链接：Real Estate (UAE)

• Dubai Pulse

  • 描述：迪拜脉搏数据。
  • 链接：Dubai Pulse

• DXB Interact

  • 描述：迪拜房地产市场概览。
  • 链接：DXB Interact

KSA (Kingdom of Saudi Arabia)

• General Authority for Statistics

  • 描述：沙特统计总局。
  • 链接：General Authority for Statistics

• GASTAT Statistical Database

  • 描述：GASTAT统计数据库。
  • 链接：GASTAT Statistical Database

• Saudi Open Data portal

  • 描述：沙特开放数据门户。
  • 链接：Saudi Open Data portal

• Capital Market Authority

  • 描述：资本市场管理局数据。
  • 链接：Capital Market Authority

EU

• EU Open Data Portal
  • 描述：欧盟开放数据门户。
  • 链接：EU Open Data Portal

USA

• U.S. Census Bureau

  • 描述：美国人口普查局数据。
  • 链接：U.S. Census Bureau

• U.S Data

  • 描述：美国数据集。
  • 链接：U.S Data

• Open Data DC

  • 描述：华盛顿特区开放数据。
  • 链接：Open Data DC

• National Epidemiologic Survey on Alcohol and Related Conditions (NESARC) - III

  • 描述：国家酒精及相关状况流行病学调查III。
  • 链接：National Epidemiologic Survey on Alcohol and Related Conditions (NESARC) - III

• Federal Funds Effective Rate

  • 描述：联邦基金有效利率。
  • 链接：Federal Funds Effective Rate

Lebanon

• Impact (Development)

  • 描述：黎巴嫩发展影响数据。
  • 链接：Impact (Development)

• Liban Data

  • 描述：黎巴嫩数据。
  • 链接：Liban Data

New Zealand

• Open Datasets
  • 描述：新西兰开放数据集。
  • 链接：Open Datasets

Edu 🏫

• UCI - Machine Learning Repository

  • 描述：UCI机器学习库。
  • 链接：UCI - Machine Learning Repository

• Zayed University Open Data

  • 描述：扎耶德大学开放数据。
  • 链接：Zayed University Open Data

• Vanderbilt University

  • 描述：范德堡大学数据集。
  • 链接：Vanderbilt University

• Ministry Of Education (KSA)

  • 描述：沙特教育部数据。

搜集汇总

数据集介绍

构建方式

Awesome Open Datasets 数据集的构建方式是通过广泛收集和整理来自全球多个领域的公开数据集。这些数据集涵盖了从社会科学、自然科学到技术领域的广泛主题，包括但不限于幸福指数、政府质量、咖啡消费、地震数据、航空数据、能源信息等。数据集的来源多样，包括政府机构、国际组织、学术研究机构以及商业平台，如Kaggle、OpenML、FiveThirtyEight等。通过这种方式，数据集构建者确保了数据的多样性和广泛性，以满足不同研究需求。

特点

Awesome Open Datasets 数据集的特点在于其多样性和全球覆盖范围。数据集不仅包括传统的统计数据，还涵盖了实时数据、地理空间数据、卫星数据、金融数据等多种类型。此外，数据集的来源广泛，涵盖了多个国家和国际组织，确保了数据的权威性和可靠性。数据集的多样性使得研究人员和开发者能够从中找到适合其特定需求的数据，从而支持从基础研究到应用开发的广泛应用场景。

使用方法

使用 Awesome Open Datasets 数据集时，用户可以根据自己的需求选择合适的数据集。大多数数据集提供了直接下载的选项，用户可以通过链接访问并下载所需的数据。部分数据集还提供了API接口，方便用户进行实时数据访问和集成。此外，数据集的README文件中通常包含了详细的使用说明和数据格式信息，帮助用户快速上手。对于需要进行数据分析的用户，数据集的多样性和详细文档提供了极大的便利，使得数据处理和分析过程更加高效。

背景与挑战

背景概述

Awesome Open Datasets 是一个汇集了全球各类开放数据集的资源库，旨在为研究人员、数据科学家和开发者提供丰富的数据资源。该数据集由多个机构和个人贡献，涵盖了从社会幸福指数、政府质量评估到地震数据、金融统计等多个领域。其创建时间不详，但主要研究人员或机构包括Ipsos、Microsoft、Kaggle等知名机构。核心研究问题涉及多个领域，如公共政策、经济发展、健康监测等。该数据集对相关领域的影响力显著，为全球范围内的数据分析和研究提供了坚实的基础。

当前挑战

Awesome Open Datasets 面临的挑战主要集中在数据的质量和多样性上。首先，不同数据集的来源和格式各异，导致数据整合和处理的复杂性增加。其次，部分数据集可能存在更新不及时或数据缺失的问题，影响研究的准确性和可靠性。此外，数据隐私和安全问题也是构建过程中需要重点考虑的挑战，尤其是在涉及个人敏感信息的数据集时。最后，如何确保数据集的开放性和可访问性，同时保护数据提供者的权益，也是一个亟待解决的问题。

常用场景

经典使用场景

Awesome Open Datasets 数据集汇集了来自全球的多样化开放数据资源，涵盖了从社会幸福指数到政府质量、从咖啡消费到石油价格的广泛领域。经典的使用场景包括数据科学研究、机器学习模型的训练与验证、以及商业智能分析。例如，研究者可以利用 COVID-19 幸福指数数据集分析全球幸福感的变化趋势，或使用 Divvy 自行车数据集进行城市交通模式的探索。

实际应用

在实际应用中，Awesome Open Datasets 数据集被广泛用于商业决策、政策制定和市场分析。例如，企业可以利用消费者行为数据优化营销策略，政府机构则可以通过分析城市交通数据改善基础设施规划。此外，教育机构和研究组织也利用这些数据进行教学和科研，提升数据驱动的决策能力。

衍生相关工作

基于 Awesome Open Datasets 数据集，衍生了许多经典的研究和应用工作。例如，COVID-19 数据集启发了多篇关于全球疫情影响的学术论文，而 Divvy 自行车数据集则被用于开发智能交通系统。此外，许多商业智能工具和数据分析平台也利用这些数据集进行产品优化和市场验证，进一步推动了数据科学领域的发展。