awesome-public-datasets

一个包含高质量公开数据集的列表，涵盖多个领域，如农业、生物学、气候/天气等。

A compilation of high-quality public datasets spanning various domains, including agriculture, biology, climate/weather, and more.

原始信息汇总

数据集概述

农业

• U.S. Department of Agricultures PLANTS Database
  • 链接: http://www.plants.usda.gov/dl_all.html

生物学

• 1000 Genomes
  • 链接: http://www.1000genomes.org/data
• American Gut (Microbiome Project)
  • 链接: https://github.com/biocore/American-Gut
• Collaborative Research in Computational Neuroscience (CRCNS)
  • 链接: http://crcns.org/data-sets
• EBI ArrayExrepss
  • 链接: http://www.ebi.ac.uk/arrayexpress/
• ENCODE project
  • 链接: https://www.encodeproject.org
• Ensembl Genomes
  • 链接: http://ensemblgenomes.org/info/genomes
• Gene Expression Omnibus (GEO)
  • 链接: http://www.ncbi.nlm.nih.gov/geo/
• Gene Ontology (GO)
  • 链接: http://geneontology.org/page/download-annotations
• Global Biotic Interations (GloBI)
  • 链接: https://github.com/jhpoelen/eol-globi-data/wiki#accessing-species-interaction-data
• Human Microbiome Project (HMP)
  • 链接: http://www.hmpdacc.org/reference_genomes/reference_genomes.php
• ICOS PSP Benchmark
  • 链接: http://ico2s.org/datasets/psp_benchmark.html
• MIT Cancer Genomics Data
  • 链接: http://www.broadinstitute.org/cgi-bin/cancer/datasets.cgi
• NIH Microarray data
  • 链接: http://bit.do/VVW6 或 FTP
• OpenSNP genotypes data
  • 链接: https://opensnp.org/
• Pathguid - Protein-Protein Interactions Catalog
  • 链接: http://www.pathguide.org/
• Protein Data Bank
  • 链接: http://www.rcsb.org/
• PubChem Project
  • 链接: https://pubchem.ncbi.nlm.nih.gov/
• PubGene (now Coremine Medical)
  • 链接: http://www.pubgene.org/
• Sequence Read Archive(SRA)
  • 链接: http://www.ncbi.nlm.nih.gov/Traces/sra/
• Stanford Microarray Data
  • 链接: http://smd.stanford.edu/
• The Catalogue of Life
  • 链接: http://www.catalogueoflife.org/content/annual-checklist-archive
• The Personal Genome Project
  • 链接: http://www.personalgenomes.org/ 或 PGP
• UCSC Public Data
  • 链接: http://hgdownload.soe.ucsc.edu/downloads.html
• UniGene
  • 链接: http://www.ncbi.nlm.nih.gov/unigene

气候/天气

• Australian Weather
  • 链接: http://www.bom.gov.au/climate/dwo/
• Brazilian Weather - Historical data (In Portuguese)
  • 链接: http://sinda.crn2.inpe.br/PCD/SITE/novo/site/
• Canadian Meteorological Centre
  • 链接: http://weather.gc.ca/grib/index_e.html
• Climate Data from UEA (updated monthly)
  • 链接: https://crudata.uea.ac.uk/cru/data/temperature/#datter 和 ftp://ftp.cmdl.noaa.gov/
• European Climate Assessment & Dataset
  • 链接: http://eca.knmi.nl/
• Global Climate Data Since 1929
  • 链接: http://en.tutiempo.net/climate
• NASA Global Imagery Browse Services
  • 链接: https://wiki.earthdata.nasa.gov/display/GIBS
• NOAA Bering Sea Climate
  • 链接: http://www.beringclimate.noaa.gov/
• NOAA Climate Datasets
  • 链接: http://www.ncdc.noaa.gov/data-access/quick-links
• NOAA Realtime Weather Models
  • 链接: http://www.ncdc.noaa.gov/data-access/model-data/model-datasets/numerical-weather-prediction
• The World Bank Open Data Resources for Climate Change
  • 链接: http://data.worldbank.org/developers/climate-data-api
• UEA Climatic Research Unit
  • 链接: http://www.cru.uea.ac.uk/data
• WorldClim - Global Climate Data
  • 链接: http://www.worldclim.org/
• WU Historical Weather Worldwide
  • 链接: https://www.wunderground.com/history/index.html

复杂网络

• CrossRef DOI URLs
  • 链接: https://archive.org/details/doi-urls
• DBLP Citation dataset
  • 链接: https://kdl.cs.umass.edu/display/public/DBLP
• NBER Patent Citations
  • 链接: http://nber.org/patents/
• NIST complex networks data collection
  • 链接: http://math.nist.gov/~RPozo/complex_datasets.html
• Protein-protein interaction network
  • 链接: http://vlado.fmf.uni-lj.si/pub/networks/data/bio/Yeast/Yeast.htm
• PyPI and Maven Dependency Network
  • 链接: https://ogirardot.wordpress.com/2013/01/31/sharing-pypimaven-dependency-data/
• Scopus Citation Database
  • 链接: https://www.elsevier.com/solutions/scopus
• Small Network Data
  • 链接: http://www-personal.umich.edu/~mejn/netdata/
• Stanford GraphBase (Steven Skiena)
  • 链接: http://www3.cs.stonybrook.edu/~algorith/implement/graphbase/implement.shtml
• Stanford Large Network Dataset Collection
  • 链接: http://snap.stanford.edu/data/
• The Koblenz Network Collection
  • 链接: http://konect.uni-koblenz.de/
• The Laboratory for Web Algorithmics (UNIMI)
  • 链接: http://law.di.unimi.it/datasets.php
• The Nexus Network Repository
  • 链接: http://nexus.igraph.org/
• UCI Network Data Repository
  • 链接: https://networkdata.ics.uci.edu/resources.php
• UFL sparse matrix collection
  • 链接: http://www.cise.ufl.edu/research/sparse/matrices/
• WSU Graph Database
  • 链接: http://www.eecs.wsu.edu/mgd/gdb.html
• Stanford Longitudinal Network Data Sources
  • 链接: http://stanford.edu/group/sonia/dataSources/index.html

计算机网络

• 3.5B Web Pages from CommonCraw 2012
  • 链接: http://www.bigdatanews.com/profiles/blogs/big-data-set-3-5-billion-web-pages-made-available-for-all-of-us
• 53.5B Web clicks of 100K users in Indiana Univ.
  • 链接: http://cnets.indiana.edu/groups/nan/webtraffic/click-dataset/
• CAIDA Internet Datasets
  • 链接: http://www.caida.org/data/overview/
• ClueWeb09 - 1B web pages
  • 链接: http://lemurproject.org/clueweb09/
• ClueWeb12 - 733M web pages
  • 链接: http://lemurproject.org/clueweb12/
• CommonCrawl Web Data over 7 years
  • 链接: http://commoncrawl.org/the-data/get-started/
• CRAWDAD Wireless datasets from Dartmouth Univ.
  • 链接: https://crawdad.cs.dartmouth.edu/
• Criteo click-through data
  • 链接: http://labs.criteo.com/2015/03/criteo-releases-its-new-dataset/
• Open Mobile Data by MobiPerf
  • 链接: https://console.developers.google.com/storage/openmobiledata_public/
• UCSD Network Telescope, IPv4 /8 net
  • 链接: http://www.caida.org/projects/network_telescope/

上下文数据

• Context-aware data sets from five domains
  • 链接: http://students.depaul.edu/~yzheng8/DataSets.html#Data 或 GitHub

数据挑战

• Challenges in Machine Learning
  • 链接: http://www.chalearn.org/
• CrowdANALYTIX dataX
  • 链接: http://data.crowdanalytix.com/
• D4D Challenge of Orange
  • 链接: http://www.d4d.orange.com/en/home
• DrivenData Competitions for Social Good
  • 链接: http://www.drivendata.org/
• ICWSM Data Challenge (since 2009)
  • 链接: http://icwsm.cs.umbc.edu/
• Kaggle Competition Data
  • 链接: https://www.kaggle.com/
• KDD Cup by Tencent 2012
  • 链接: http://www.kddcup2012.org/
• Localytics Data Visualization Challenge
  • 链接: https://github.com/localytics/data-viz-challenge
• Netflix Prize
  • 链接: http://www.netflixprize.com/leaderboard
• Space Apps Challenge
  • 链接: https://2015.spaceappschallenge.org/

• Telecom Italia Big Data Challenge

搜集汇总

数据集介绍

构建方式

该数据集通过广泛收集和整理来自博客、问答平台以及用户反馈的公开数据源构建而成。其构建过程注重数据的多样性和覆盖面，涵盖了从农业、生物学到气候、经济等多个领域的数据集。每个数据集均经过筛选和分类，确保其来源的可靠性和数据的实用性。尽管大部分数据集为免费提供，但也有部分数据集需要付费获取。

特点

该数据集的特点在于其广泛的数据覆盖范围和多样化的数据来源。它不仅包含了来自政府机构、科研机构的权威数据，还整合了来自开源社区和企业的数据资源。数据集按领域分类，便于用户快速查找所需数据。此外，数据集的更新频率较高，确保了数据的时效性和实用性。

使用方法

用户可以通过访问GitHub页面浏览数据集列表，并根据需求选择相应的数据源进行下载或访问。每个数据集均附有详细的描述和链接，用户可以根据领域分类快速定位所需数据。对于需要进一步处理的数据，用户可以参考数据集提供的文档或API接口进行数据提取和分析。该数据集适用于科研、教育、商业等多个领域的应用场景。

背景与挑战

背景概述

awesome-public-datasets 数据集是一个广泛收集和整理公共数据资源的项目，涵盖了从农业、生物学、气候、复杂网络到计算机科学等多个领域。该项目由caesar0301在GitHub上发起，旨在为研究人员、数据科学家和开发者提供一个便捷的公共数据源索引。数据集的内容主要来源于博客、用户反馈和问答社区，大部分数据是免费的，但也包含部分付费资源。该项目的创建时间可追溯至2015年，其影响力逐渐扩大，成为数据科学领域中一个重要的参考资源。通过整合来自全球各地的数据源，awesome-public-datasets为跨学科研究提供了丰富的数据支持，推动了数据驱动的研究和创新。

当前挑战

awesome-public-datasets 数据集面临的主要挑战包括数据源的多样性和数据质量的参差不齐。由于数据来自不同的领域和机构，数据的格式、结构和更新频率差异较大，这给数据整合和使用带来了困难。此外，部分数据源的访问权限和许可限制也可能影响数据的可用性。在构建过程中，项目维护者需要不断验证和更新数据链接，确保数据的有效性和时效性。同时，随着数据量的增加，如何高效地组织和分类数据，以便用户快速找到所需资源，也是一个持续的挑战。这些问题的解决需要依赖社区的贡献和自动化工具的支持，以提升数据集的可维护性和用户体验。

常用场景

经典使用场景

awesome-public-datasets 数据集广泛应用于多个领域的研究与开发，尤其是在数据科学、机器学习和人工智能领域。研究人员和开发者可以通过该数据集快速获取高质量的公开数据，用于模型训练、算法验证和数据分析。其涵盖的领域包括生物学、气候、经济学、能源等，为跨学科研究提供了丰富的数据支持。

实际应用

在实际应用中，awesome-public-datasets 数据集被广泛用于商业分析、政策制定和公共服务优化。例如，企业可以利用其中的经济数据预测市场趋势，政府机构可以借助气候数据制定应对气候变化的政策。此外，该数据集还为教育机构提供了丰富的教学资源，帮助学生和教师更好地理解数据科学的应用。

衍生相关工作

基于 awesome-public-datasets 数据集，许多经典的研究工作得以展开。例如，在机器学习领域，研究人员利用其中的图像数据集开发了先进的图像识别算法；在气候科学领域，学者们通过分析气候数据提出了新的气候变化模型。这些衍生工作不仅推动了各自领域的发展，也为后续研究提供了宝贵的参考。