awesome-public-datasets

一个包含高质量公开数据集的列表，涵盖多个领域，如农业、生物学、气候/天气等。

A list of high-quality open datasets covering multiple domains, including agriculture, biology, climate/weather, and more.

原始信息汇总

数据集概述

农业

• U.S. Department of Agricultures PLANTS Database
  • 链接: http://www.plants.usda.gov/dl_all.html

生物学

• 1000 Genomes
  • 链接: http://www.1000genomes.org/data
• American Gut (Microbiome Project)
  • 链接: https://github.com/biocore/American-Gut
• Collaborative Research in Computational Neuroscience (CRCNS)
  • 链接: http://crcns.org/data-sets
• EBI ArrayExrepss
  • 链接: http://www.ebi.ac.uk/arrayexpress/
• ENCODE project
  • 链接: https://www.encodeproject.org
• Ensembl Genomes
  • 链接: http://ensemblgenomes.org/info/genomes
• Gene Expression Omnibus (GEO)
  • 链接: http://www.ncbi.nlm.nih.gov/geo/
• Gene Ontology (GO)
  • 链接: http://geneontology.org/page/download-annotations
• Global Biotic Interations (GloBI)
  • 链接: https://github.com/jhpoelen/eol-globi-data/wiki#accessing-species-interaction-data
• Human Microbiome Project (HMP)
  • 链接: http://www.hmpdacc.org/reference_genomes/reference_genomes.php
• ICOS PSP Benchmark
  • 链接: http://ico2s.org/datasets/psp_benchmark.html
• MIT Cancer Genomics Data
  • 链接: http://www.broadinstitute.org/cgi-bin/cancer/datasets.cgi
• NIH Microarray data
  • 链接: http://bit.do/VVW6 或 FTP
• OpenSNP genotypes data
  • 链接: https://opensnp.org/
• Pathguid: Protein-Protein Interactions Catalog
  • 链接: http://www.pathguide.org/
• Protein Data Bank
  • 链接: http://www.rcsb.org/
• PubChem Project
  • 链接: https://pubchem.ncbi.nlm.nih.gov/
• PubGene (now Coremine Medical)
  • 链接: http://www.pubgene.org/
• Sequence Read Archive(SRA)
  • 链接: http://www.ncbi.nlm.nih.gov/Traces/sra/
• Stanford Microarray Data
  • 链接: http://smd.stanford.edu/
• The Catalogue of Life
  • 链接: http://www.catalogueoflife.org/content/annual-checklist-archive
• The Personal Genome Project
  • 链接: http://www.personalgenomes.org/ 或 PGP
• UCSC Public Data
  • 链接: http://hgdownload.soe.ucsc.edu/downloads.html
• UniGene
  • 链接: http://www.ncbi.nlm.nih.gov/unigene

气候/天气

• Australian Weather
  • 链接: http://www.bom.gov.au/climate/dwo/
• Brazilian Weather - Historical data (In Portuguese)
  • 链接: http://sinda.crn2.inpe.br/PCD/SITE/novo/site/
• Canadian Meteorological Centre
  • 链接: http://weather.gc.ca/grib/index_e.html
• Climate Data from UEA (updated monthly)
  • 链接: https://crudata.uea.ac.uk/cru/data/temperature/ 和 ftp://ftp.cmdl.noaa.gov/
• European Climate Assessment & Dataset
  • 链接: http://eca.knmi.nl/
• Global Climate Data Since 1929
  • 链接: http://en.tutiempo.net/climate
• NASA Global Imagery Browse Services
  • 链接: https://wiki.earthdata.nasa.gov/display/GIBS
• NOAA Bering Sea Climate
  • 链接: http://www.beringclimate.noaa.gov/
• NOAA Climate Datasets
  • 链接: http://www.ncdc.noaa.gov/data-access/quick-links
• NOAA Realtime Weather Models
  • 链接: http://www.ncdc.noaa.gov/data-access/model-data/model-datasets/numerical-weather-prediction
• The World Bank Open Data Resources for Climate Change
  • 链接: http://data.worldbank.org/developers/climate-data-api
• UEA Climatic Research Unit
  • 链接: http://www.cru.uea.ac.uk/data
• WorldClim - Global Climate Data
  • 链接: http://www.worldclim.org/
• WU Historical Weather Worldwide
  • 链接: https://www.wunderground.com/history/index.html

复杂网络

• CrossRef DOI URLs
  • 链接: https://archive.org/details/doi-urls
• DBLP Citation dataset
  • 链接: https://kdl.cs.umass.edu/display/public/DBLP
• NBER Patent Citations
  • 链接: http://nber.org/patents/
• NIST complex networks data collection
  • 链接: http://math.nist.gov/~RPozo/complex_datasets.html
• Protein-protein interaction network
  • 链接: http://vlado.fmf.uni-lj.si/pub/networks/data/bio/Yeast/Yeast.htm
• PyPI and Maven Dependency Network
  • 链接: https://ogirardot.wordpress.com/2013/01/31/sharing-pypimaven-dependency-data/
• Scopus Citation Database
  • 链接: https://www.elsevier.com/solutions/scopus
• Small Network Data
  • 链接: http://www-personal.umich.edu/~mejn/netdata/
• Stanford GraphBase (Steven Skiena)
  • 链接: http://www3.cs.stonybrook.edu/~algorith/implement/graphbase/implement.shtml
• Stanford Large Network Dataset Collection
  • 链接: http://snap.stanford.edu/data/
• The Koblenz Network Collection
  • 链接: http://konect.uni-koblenz.de/
• The Laboratory for Web Algorithmics (UNIMI)
  • 链接: http://law.di.unimi.it/datasets.php
• The Nexus Network Repository
  • 链接: http://nexus.igraph.org/
• UCI Network Data Repository
  • 链接: https://networkdata.ics.uci.edu/resources.php
• UFL sparse matrix collection
  • 链接: http://www.cise.ufl.edu/research/sparse/matrices/
• WSU Graph Database
  • 链接: http://www.eecs.wsu.edu/mgd/gdb.html

计算机网络

• 3.5B Web Pages from CommonCraw 2012
  • 链接: http://www.bigdatanews.com/profiles/blogs/big-data-set-3-5-billion-web-pages-made-available-for-all-of-us
• 53.5B Web clicks of 100K users in Indiana Univ.
  • 链接: http://cnets.indiana.edu/groups/nan/webtraffic/click-dataset/
• CAIDA Internet Datasets
  • 链接: http://www.caida.org/data/overview/
• ClueWeb09 - 1B web pages
  • 链接: http://lemurproject.org/clueweb09/
• ClueWeb12 - 733M web pages
  • 链接: http://lemurproject.org/clueweb12/
• CommonCrawl Web Data over 7 years
  • 链接: http://commoncrawl.org/the-data/get-started/
• CRAWDAD Wireless datasets from Dartmouth Univ.
  • 链接: https://crawdad.cs.dartmouth.edu/
• Criteo click-through data
  • 链接: http://labs.criteo.com/2015/03/criteo-releases-its-new-dataset/
• Open Mobile Data by MobiPerf
  • 链接: https://console.developers.google.com/storage/openmobiledata_public/
• UCSD Network Telescope, IPv4 /8 net
  • 链接: http://www.caida.org/projects/network_telescope/

上下文数据

• Context-aware data sets from five domains
  • 链接: http://students.depaul.edu/~yzheng8/DataSets.html#Data 或 GitHub

数据挑战

• Challenges in Machine Learning
  • 链接: http://www.chalearn.org/
• CrowdANALYTIX dataX
  • 链接: http://data.crowdanalytix.com/
• D4D Challenge of Orange
  • 链接: http://www.d4d.orange.com/en/home
• DrivenData Competitions for Social Good
  • 链接: http://www.drivendata.org/
• ICWSM Data Challenge (since 2009)
  • 链接: http://icwsm.cs.umbc.edu/
• Kaggle Competition Data
  • 链接: https://www.kaggle.com/
• KDD Cup by Tencent 2012
  • 链接: http://www.kddcup2012.org/
• Localytics Data Visualization Challenge
  • 链接: https://github.com/localytics/data-viz-challenge
• Netflix Prize
  • 链接: http://www.netflixprize.com/leaderboard
• Space Apps Challenge
  • 链接: https://2015.spaceappschallenge.org/
• Telecom Italia Big Data Challenge
  • 链接: https://dandelion.eu/datamine/open-big-data/
• Yelp Dataset Challenge
  • 链接: [http://www.yelp.com/

搜集汇总

数据集介绍

构建方式

awesome-public-datasets 数据集是通过从博客、问答平台和用户反馈中收集并整理公开数据源构建而成。该数据集涵盖了多个领域，包括农业、生物学、气候、复杂网络等，数据来源广泛且多样。大部分数据集是免费的，但也有部分数据集需要付费获取。数据集的构建过程注重数据的多样性和覆盖面，确保用户能够找到适合其研究需求的公开数据。

使用方法

用户可以通过访问 awesome-public-datasets 的 GitHub 页面，浏览不同领域的数据集链接。每个数据集都附有详细的描述和访问链接，用户可以根据需求选择合适的资源进行下载或在线访问。数据集的使用方法简单直观，适合研究人员、数据科学家和开发者快速获取所需的公开数据。此外，用户还可以通过 GitHub 页面提交新的数据源，丰富数据集的内容。

背景与挑战

背景概述

awesome-public-datasets 数据集是一个广泛收集和整理公共数据资源的项目，涵盖了从农业、生物学到气候、复杂网络等多个领域的数据集。该项目由GitHub用户caesar0301于2014年发起，旨在为研究人员、数据科学家和开发者提供一个便捷的公共数据资源库。该数据集的核心研究问题在于如何有效地整合和分类来自不同领域的公开数据，以便于用户快速找到所需的数据集。由于其广泛的数据覆盖和高质量的资源整理，awesome-public-datasets 在数据科学和机器学习领域具有重要的影响力，成为许多研究项目的参考数据源。

当前挑战

awesome-public-datasets 数据集面临的主要挑战包括数据集的多样性和复杂性。首先，由于数据集涵盖的领域广泛，如何确保每个数据集的质量和可用性是一个重要问题。其次，数据集的数量庞大，如何有效地进行分类和索引，以便用户能够快速找到所需的数据集，也是一个技术难题。此外，部分数据集可能涉及版权或访问限制，如何在遵守法律和道德规范的前提下提供这些数据，也是项目维护者需要面对的挑战。最后，随着新数据集的不断涌现，如何保持数据集的更新和维护，确保其持续可用性和相关性，也是一个长期的挑战。

常用场景

经典使用场景

awesome-public-datasets 数据集广泛应用于学术研究、数据分析和机器学习模型的训练与验证。其涵盖的领域包括农业、生物学、气候、复杂网络、计算机网络、经济学、能源、金融、地质学、地理信息系统、政府数据、医疗保健、图像处理、机器学习、博物馆、自然语言处理等。研究人员和开发者可以通过该数据集快速获取高质量、多样化的公开数据，用于探索性数据分析、模型训练和算法验证。

解决学术问题

该数据集解决了学术研究中数据获取困难、数据质量参差不齐的问题。通过整合来自多个领域的公开数据，研究人员可以轻松访问到经过整理和验证的数据集，从而专注于研究问题的解决，而非数据的收集与清洗。此外，该数据集还为跨学科研究提供了丰富的数据资源，促进了不同领域之间的知识融合与创新。

实际应用

在实际应用中，awesome-public-datasets 数据集被广泛用于政府决策支持、企业数据分析、医疗健康研究、气候预测、金融建模等领域。例如，政府机构可以利用该数据集中的气候数据制定应对气候变化的政策；企业可以通过分析消费者行为数据优化市场策略；医疗机构则可以利用基因组数据推动个性化医疗的发展。

数据集最近研究

最新研究方向

近年来，随着数据科学和人工智能技术的迅猛发展，awesome-public-datasets数据集在多个领域的研究中发挥了重要作用。特别是在生物学、气候学和复杂网络分析等前沿领域，该数据集为研究者提供了丰富的数据资源。例如，在生物学领域，1000 Genomes和ENCODE项目的数据被广泛应用于基因组学和表观遗传学研究，推动了精准医学的发展。在气候学领域，NASA和NOAA提供的气候数据为全球气候变化模型的构建和验证提供了关键支持。此外，复杂网络分析领域的研究者利用Stanford Large Network Dataset Collection等数据集，深入探索了社交网络、生物网络和信息传播网络的动态特性。这些研究不仅推动了相关领域的理论进展，也为实际应用提供了有力支撑。