awesome-public-datasets

一个包含高质量公开数据集的列表，这些数据集来自公共领域，持续更新中。

A list of high-quality public datasets sourced from the public domain, continuously updated.

原始信息汇总

数据集概述

农业

• U.S. Department of Agricultures PLANTS Database
  • 链接: http://www.plants.usda.gov/dl_all.html

生物学

• 1000 Genomes
  • 链接: http://www.1000genomes.org/data
• American Gut (Microbiome Project)
  • 链接: https://github.com/biocore/American-Gut
• Broad Cancer Cell Line Encyclopedia (CCLE)
  • 链接: http://www.broadinstitute.org/ccle/home
• Broad Bioimage Benchmark Collection (BBBC)
  • 链接: https://www.broadinstitute.org/bbbc
• Cell Image Library
  • 链接: http://www.cellimagelibrary.org
• Complete Genomics Public Data
  • 链接: http://www.completegenomics.com/public-data/69-genomes/
• EBI ArrayExpress
  • 链接: http://www.ebi.ac.uk/arrayexpress/
• EBI Protein Data Bank in Europe
  • 链接: http://www.ebi.ac.uk/pdbe/emdb/index.html/
• Electron Microscopy Pilot Image Archive (EMPIAR)
  • 链接: http://www.ebi.ac.uk/pdbe/emdb/empiar/
• ENCODE project
  • 链接: https://www.encodeproject.org
• Ensembl Genomes
  • 链接: http://ensemblgenomes.org/info/genomes
• Gene Expression Omnibus (GEO)
  • 链接: http://www.ncbi.nlm.nih.gov/geo/
• Gene Ontology (GO)
  • 链接: http://geneontology.org/page/download-annotations
• Global Biotic Interactions (GloBI)
  • 链接: https://github.com/jhpoelen/eol-globi-data/wiki#accessing-species-interaction-data
• Harvard Medical School (HMS) LINCS Project
  • 链接: http://lincs.hms.harvard.edu
• Human Genome Diversity Project
  • 链接: http://www.hagsc.org/hgdp/files.html
• Human Microbiome Project (HMP)
  • 链接: http://www.hmpdacc.org/reference_genomes/reference_genomes.php
• ICOS PSP Benchmark
  • 链接: http://ico2s.org/datasets/psp_benchmark.html
• International HapMap Project
  • 链接: http://hapmap.ncbi.nlm.nih.gov/downloads/index.html.en
• Journal of Cell Biology DataViewer
  • 链接: http://jcb-dataviewer.rupress.org
• MIT Cancer Genomics Data
  • 链接: http://www.broadinstitute.org/cgi-bin/cancer/datasets.cgi
• NCBI Proteins
  • 链接: http://www.ncbi.nlm.nih.gov/guide/proteins/#databases
• NCBI Taxonomy
  • 链接: http://www.ncbi.nlm.nih.gov/taxonomy
• NIH Microarray data
  • 链接: http://bit.do/VVW6 或 FTP链接在RAW文件中
• OpenSNP genotypes data
  • 链接: https://opensnp.org/
• Pathguid - Protein-Protein Interactions Catalog
  • 链接: http://www.pathguide.org/
• Protein Data Bank
  • 链接: http://www.rcsb.org/
• Psychiatric Genomics Consortium
  • 链接: https://www.med.unc.edu/pgc/downloads
• PubChem Project
  • 链接: https://pubchem.ncbi.nlm.nih.gov/
• PubGene (now Coremine Medical)
  • 链接: http://www.pubgene.org/
• Sanger Catalogue of Somatic Mutations in Cancer (COSMIC)
  • 链接: http://cancer.sanger.ac.uk/cosmic
• Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC)
  • 链接: http://www.cancerrxgene.org/
• Sequence Read Archive(SRA)
  • 链接: http://www.ncbi.nlm.nih.gov/Traces/sra/
• Stanford Microarray Data
  • 链接: http://smd.stanford.edu/
• Stowers Institute Original Data Repository
  • 链接: http://www.stowers.org/research/publications/odr
• Systems Science of Biological Dynamics (SSBD) Database
  • 链接: http://ssbd.qbic.riken.jp
• The Cancer Genome Atlas (TCGA), available via Broad GDAC
  • 链接: https://gdac.broadinstitute.org/
• The Catalogue of Life
  • 链接: http://www.catalogueoflife.org/content/annual-checklist-archive
• The Personal Genome Project
  • 链接: http://www.personalgenomes.org/ 或 PGP链接在RAW文件中
• UCSC Public Data
  • 链接: http://hgdownload.soe.ucsc.edu/downloads.html
• Universal Protein Resource (UnitProt)
  • 链接: http://www.uniprot.org/downloads
• UniGene
  • 链接: http://www.ncbi.nlm.nih.gov/unigene

气候/天气

• Australian Weather
  • 链接: http://www.bom.gov.au/climate/dwo/
• Aviation Weather Center - Consistent, timely and accurate weather information for the world airspace system
  • 链接: https://aviationweather.gov/adds/dataserver
• Brazilian Weather - Historical data (In Portuguese)
  • 链接: http://sinda.crn2.inpe.br/PCD/SITE/novo/site/
• Canadian Meteorological Centre
  • 链接: http://weather.gc.ca/grib/index_e.html
• Climate Data from UEA (updated monthly)
  • 链接: https://crudata.uea.ac.uk/cru/data/temperature/ 和 ftp://ftp.cmdl.noaa.gov/
• European Climate Assessment & Dataset
  • 链接: http://eca.knmi.nl/
• Global Climate Data Since 1929
  • 链接: http://en.tutiempo.net/climate
• NASA Global Imagery Browse Services
  • 链接: https://wiki.earthdata.nasa.gov/display/GIBS
• NOAA Bering Sea Climate
  • 链接: http://www.beringclimate.noaa.gov/
• NOAA Climate Datasets
  • 链接: http://www.ncdc.noaa.gov/data-access/quick-links
• NOAA Realtime Weather Models
  • 链接: http://www.ncdc.noaa.gov/data-access/model-data/model-datasets/numerical-weather-prediction
• The World Bank Open Data Resources for Climate Change
  • 链接: http://data.worldbank.org/developers/climate-data-api
• UEA Climatic Research Unit
  • 链接: http://www.cru.uea.ac.uk/data
• WorldClim - Global Climate Data
  • 链接: http://www.worldclim.org
• WU Historical Weather Worldwide
  • 链接: https://www.wunderground.com/history/index.html

复杂网络

• AMiner Citation Network Dataset
  • 链接: http://aminer.org/citation
• CrossRef DOI URLs
  • 链接: https://archive.org/details/doi-urls
• DBLP Citation dataset
  • 链接: https://kdl.cs.umass.edu/display/public/DBLP
• NBER Patent Citations
  • 链接: http://nber.org/patents/
• Network Repository with Interactive Exploratory Analysis Tools
  • 链接: http://networkrepository.com/
• NIST complex networks data collection
  • 链接: http://math.nist.gov/~RPozo/complex_datasets.html
• Protein-protein interaction network
  • 链接: http://vlado.fmf.uni-lj.si/pub/networks/data/bio/Yeast/Yeast.htm
• PyPI and Maven Dependency Network
  • 链接: https://ogirardot.wordpress.com/2013/01/31/sharing-pypimaven-dependency-data/
• Scopus Citation Database
  • 链接: https://www.elsevier.com/solutions/scopus
• Small Network Data
  • 链接: http://www-personal.umich.edu/~mejn/netdata/
• Stanford GraphBase (Steven Skiena)
  • 链接: http://www3.cs.stonybrook.edu/~algorith/implement/graphbase/implement.shtml
• Stanford Large Network Dataset Collection
  • 链接: http://snap.stanford.edu/data/
• Stanford Longitudinal Network Data Sources
  • 链接: http://stanford.edu/group/sonia/dataSources/index.html
• The Koblenz Network Collection
  • 链接: http://konect.uni-koblenz.de/
• The Laboratory for Web Algorithmics (UNIMI)
  • 链接: http://law.di.unimi.it/datasets.php
• The Nexus Network Repository
  • 链接: http://nexus.igraph.org/
• UCI Network Data Repository
  • 链接: https://networkdata.ics.uci.edu/resources.php
• UFL sparse matrix collection
  • 链接: http://www.cise.ufl.edu/research/sparse/matrices/
• WSU Graph Database
  • 链接: http://www.eecs.wsu.edu/mgd/gdb.html
• DIMACS Road Networks Collection
  • 链接: http://www.dis.uniroma1.it/challenge9/download.shtml

计算机网络

• 3.5B Web Pages from CommonCraw 2012
  • 链接: http://www.bigdatanews.com/profiles/blogs/big-data-set-3-5-billion-web-pages-made-available-for-all-of-us
• 53.5B Web clicks of 100K users in Indiana Univ.
  • 链接: http://cnets.indiana.edu/groups/nan/webtraffic/click-dataset/
• CAIDA Internet Datasets
  • 链接: http://www.caida.org/data/overview/
• ClueWeb09 - 1B web pages
  • 链接: http://lemurproject.org/clueweb09/
• ClueWeb12 - 733M web pages
  • 链接: http://lemurproject.org/clueweb12/
• CommonCrawl Web Data over 7 years
  • 链接: http://commoncrawl.org/the-data/get-started/
• CRAWDAD Wireless datasets from Dartmouth Univ.
  • 链接: https://crawdad.cs.dartmouth.edu/
• Criteo click-through data
  • 链接: http://labs.criteo.com/2015/03/criteo-releases-its-new-dataset/
• Open Mobile Data by MobiPerf
  • 链接: https://console.developers.google.com/storage/openmobiledata_public/
• Rapid7 Sonar Internet Scans
  • 链接: https://sonar.labs.rapid7.com/
• UCSD Network Telescope, IPv4 /8 net
  • 链接: http://www.caida.org/projects/network_telescope/

上下文数据

• Context-aware data sets from five domains
  • 链接: http://students.depaul.edu/~yzheng8/DataSets.html#Data 或 GitHub链接在RAW文件中

数据挑战

• Challenges in Machine Learning
  • 链接: http://www.chalearn.org/
• CrowdANALYTIX dataX
  • 链接: http://data.crowdanalytix.com/
• D4D Challenge of Orange
  • 链接: http://www.d4d.orange.com/en/home
• DrivenData Competitions for Social Good
  • 链接: http://www.drivendata.org/
• ICWSM Data Challenge (since 2009)
  • 链接: http://icwsm.cs.umbc.edu/
• Kaggle Competition Data
  • 链接: https://www.kaggle.com/
• KDD Cup by Tencent 2012
  • 链接: http://www.kddcup2012.org/
• Localytics Data Visualization Challenge
  • 链接: https://github.com/localytics/data-viz-challenge
• Netflix Prize
  • 链接: http://netflixprize.com/leaderboard.html
• Space Apps Challenge
  • 链接: https://2015.spaceappschallenge.org/
• Telecom Italia Big Data Challenge
  • 链接: https://dandelion.eu/datamine/open-big-data/
• Yelp Dataset Challenge
  • 链接: http://www.yelp.com/dataset_challenge
• Bruteforce Database
  • 链接: https://github.com/duyetdev/bruteforce-database

地球科学

• AQUASTAT - Global water resources and uses
  • 链接: http://www.fao.org/nr/water/aquastat/data/query/index.html?lang=en
• BODC - marine data of ~22K vars
  • 链接: http://www.bodc.ac.uk/data/where_to_find_data/
• Earth Models
  • 链接: http://www.earthmodels.org/
• EOSDIS - NASAs earth observing system data
  • 链接: http://sedac.ciesin.columbia.edu/data/sets/browse
• Integrated Marine Observing System (IMOS) - roughly 30TB of ocean measurements
  • 链接: https://imos.aodn.org.au/ 或 S3链接在RAW文件中
• Marinexplore - Open Oceanographic Data
  • 链接: http://marinexplore.org/
• Smithsonian Institution Global Volcano and Eruption Database
  • 链接: http://volcano.si.edu/
• USGS Earthquake Archives
  • 链接: http://earthquake.usgs.gov/earthquakes/search/

经济学

• American Economic Association (AEA)
  • 链接: https://www.aeaweb.org/resources/data
• EconData from UMD
  • 链接: http://inforumweb.umd.edu/econdata/econdata.html
• Economic Freedom of the World Data
  • 链接: http://www.freetheworld.com/datasets_efw.html
• Historical MacroEconomic Statistics
  • 链接: http://www.historicalstatistics.org/
• International Economics Database
  • 链接: http://widukind.cepremap.org/ 和 各种数据工具链接在RAW文件中
• International Trade Statistics
  • 链接: http://www.econostatistics.co.za/
• Internet Product Code Database
  • 链接: http://www.upcdatabase.com/
• Joint External Debt Data Hub
  • 链接: http://www.jedh.org/
• Jon Haveman International Trade Data Links
  • 链接: http://www.macalester.edu/research/economics/PAGE/HAVEMAN/Trade.Resources/TradeData.html
• OpenCorporates Database of Companies in the World
  • 链接: https://opencorporates.com/
• Our World in Data
  • 链接: http://ourworldindata.org/
• SciencesPo World Trade Gravity Datasets
  • 链接: http://econ.sciences-po

搜集汇总

数据集介绍

构建方式

awesome-public-datasets 数据集是通过广泛收集和整理来自博客、问答平台以及用户反馈的公开数据源构建而成。该数据集涵盖了多个领域，包括农业、生物学、气候、复杂网络、计算机科学等，旨在为研究人员和开发者提供一个全面且易于访问的公共数据集集合。数据集的构建过程注重数据的多样性和覆盖面，确保每个领域都有代表性的数据源。

特点

该数据集的特点在于其广泛的覆盖范围和多样化的数据源。它不仅包含了来自政府机构、科研机构和企业的数据，还涵盖了多个学科领域的数据集。数据集中的大部分数据是免费的，但也有一些需要付费获取。此外，数据集还提供了详细的分类和链接，方便用户快速找到所需的数据资源。这种结构化的组织方式使得数据集在科研和开发中具有很高的实用价值。

使用方法

使用 awesome-public-datasets 数据集时，用户可以通过浏览其分类目录快速定位到感兴趣的领域。每个分类下都列出了相关的数据集及其链接，用户可以直接访问这些链接获取数据。数据集还提供了详细的元数据信息，帮助用户了解数据的来源、格式和使用限制。对于需要进一步处理的数据，用户可以根据数据集提供的指南或文档进行数据清洗、分析和建模。该数据集特别适合用于跨学科研究、数据科学项目以及机器学习模型的训练和验证。

背景与挑战

背景概述

awesome-public-datasets 数据集是一个广泛收集和整理公共数据资源的项目，涵盖了从农业、生物学到计算机科学、经济学等多个领域的数据集。该项目由社区驱动，主要贡献者包括来自全球的研究人员和数据爱好者。其核心目标是为研究人员、开发者和数据科学家提供一个便捷的公共数据资源库，以支持跨学科的研究和应用。自创建以来，该数据集已成为许多领域研究的重要参考，尤其是在数据驱动的科学研究和机器学习领域，极大地促进了数据的开放共享和再利用。

当前挑战

awesome-public-datasets 数据集面临的主要挑战包括：1) 数据集的多样性和广泛性导致数据质量参差不齐，部分数据集可能存在格式不统一、数据缺失或更新不及时的问题；2) 数据集的整合与分类工作复杂，尤其是在跨学科领域，如何有效组织和管理海量数据资源是一个持续的挑战；3) 部分数据集涉及隐私或版权问题，如何在开放共享与数据保护之间找到平衡点仍需进一步探讨；4) 数据集的维护和更新需要持续的社区参与和资源投入，如何保持项目的长期活跃性也是一个重要问题。

常用场景

经典使用场景

Awesome Public Datasets 是一个广泛收集和整理公共数据源的资源库，涵盖了从农业、生物学到气候、经济等多个领域的数据集。该数据集最经典的使用场景是为研究人员、数据科学家和开发者提供一个集中的平台，方便他们快速找到并下载所需的公开数据集，从而加速数据驱动的科研和开发工作。

解决学术问题

Awesome Public Datasets 解决了学术研究中数据获取困难的问题。通过整合来自不同领域的公开数据集，研究人员可以轻松访问到高质量的数据资源，避免了数据收集的繁琐过程。这不仅提高了研究效率，还为跨学科研究提供了便利，推动了数据科学、生物学、气候学等多个领域的学术进展。

衍生相关工作

Awesome Public Datasets 衍生了许多经典的研究工作。例如，基于该数据集中的生物学数据，研究人员开发了新的基因编辑技术；利用气候数据，科学家们构建了更精确的气候预测模型。此外，该数据集还促进了多个开源工具和平台的开发，如数据可视化工具和机器学习框架，进一步推动了数据科学领域的发展。