awesome-public-datasets

一个包含高质量公开数据集的列表，涵盖多个领域，如农业、生物学等。

A list of high-quality public datasets covering multiple fields such as agriculture, biology, etc.

原始信息汇总

数据集概述

本数据集详情页面提供了多个领域的公共数据集链接，涵盖了农业、生物学、气候/天气、复杂网络、计算机网络、上下文数据、数据挑战、经济学、教育、能源、金融、地质、GIS/环境、政府、医疗保健、图像处理、机器学习、博物馆、自然语言等多个领域。以下是各领域部分数据集的概述：

农业

• U.S. Department of Agricultures PLANTS Database
  • 链接: http://www.plants.usda.gov/dl_all.html

生物学

• 1000 Genomes
  • 链接: http://www.1000genomes.org/data
• American Gut (Microbiome Project)
  • 链接: https://github.com/biocore/American-Gut

气候/天气

• Australian Weather
  • 链接: http://www.bom.gov.au/climate/dwo/
• Global Climate Data Since 1929
  • 链接: http://en.tutiempo.net/climate

计算机网络

• 3.5B Web Pages from CommonCraw 2012
  • 链接: http://www.bigdatanews.com/profiles/blogs/big-data-set-3-5-billion-web-pages-made-available-for-all-of-us

经济学

• American Economic Ass (AEA)
  • 链接: https://www.aeaweb.org/RFE/toc.php?show=complete

教育

• Student Data from Free Code Camp
  • 链接: http://academictorrents.com/details/030b10dad0846b5aecc3905692890fb02404adbf

能源

• AMPds
  • 链接: http://ampds.org/

金融

• CBOE Futures Exchange
  • 链接: http://cfe.cboe.com/Data/

地质

• USGS Earthquake Archives
  • 链接: http://earthquake.usgs.gov/earthquakes/search/

GIS/环境

• OpenStreetMap (OSM)
  • 链接: http://wiki.openstreetmap.org/wiki/Downloading_data

政府

• OpenDataSofts list of 1,600 open data portals
  • 链接: https://www.opendatasoft.com/a-comprehensive-list-of-all-open-data-portals-around-the-world/

医疗保健

• Medicare Coverage Database (MCD), U.S.
  • 链接: https://www.cms.gov/medicare-coverage-database/

图像处理

• ImageNet (in WordNet hierarchy)
  • 链接: http://www.image-net.org/

机器学习

• IMDb Database
  • 链接: http://www.imdb.com/interfaces

博物馆

• Cooper-Hewitts Collection Database
  • 链接: https://github.com/cooperhewitt/collection

自然语言

• DBpedia - 4.58M things with 583M facts
  • 链接: http://wiki.dbpedia.org/Datasets

这些数据集为研究人员和开发者提供了丰富的资源，以支持各种研究和应用开发。

搜集汇总

数据集介绍

构建方式

该数据集通过从博客、回答和用户响应中收集和整理公共数据源而构建，涵盖了多个领域的公共数据集，大部分数据集是免费的，但也有一些不是。

特点

数据集的特点在于其多样性，包含了农业、生物学、气候/天气、复杂网络、计算机网络等多个领域的公共数据集，来源广泛，格式多样，既有结构化数据也有非结构化数据。

使用方法

用户可以通过GitHub页面浏览和下载所需的数据集，每个数据集都有详细的描述和链接，便于用户根据需求选择和使用。

背景与挑战

背景概述

awesome-public-datasets是一个收集和整理自博客、回答和用户响应的公共数据集列表。该数据集由sindresorhus创建，并托管在GitHub上。它包含了多个领域的公共数据集，如农业、生物学、气候/天气、复杂网络、计算机网络、上下文数据、数据挑战、经济学、教育、能源、金融、地质学、GIS/环境、政府、健康护理、图像处理、机器学习、博物馆、自然语言处理等。这些数据集大多数是免费的，但也有一部分不是。该数据集的创建旨在为研究人员和开发者提供方便，以促进数据驱动的研究和开发工作。

当前挑战

awesome-public-datasets面临的挑战主要包括：1)数据集的多样性和异构性，导致整合和处理的复杂性；2)数据集的质量和一致性，需要持续维护和更新以保证其可用性和准确性；3)数据集的发现和访问，尽管数据集被列出在GitHub上，但用户可能仍然难以找到和访问特定的数据集；4)数据集的许可和使用条款，不同的数据集可能有不同的使用限制，需要用户仔细审查。

常用场景

经典使用场景

该数据集广泛用于收集和整理各类公开数据资源，经典的使用场景包括数据挖掘、机器学习、自然语言处理等领域的研究者和开发者查找和利用这些数据进行研究和开发。

解决学术问题

数据集解决了学术研究中数据获取和整理的难题，提供了丰富的数据资源，有助于推动各学科领域的研究进展，特别是在大数据时代背景下，为研究者提供了宝贵的数据支持。

衍生相关工作

该数据集衍生了大量的相关工作，包括但不限于数据集的扩展、数据质量的提升、以及基于这些数据集的新算法和模型的开发，进一步推动了相关领域的研究和应用。