Awesome Public Datasets

这是一个收集并整理自博客、问答和用户反馈的公共数据源列表。列表中的大多数数据集都是免费的，但也有一些不是。

This is a list of public data sources collected and curated from blogs, question-and-answer forums, and user feedback. Most of the datasets in this list are free of charge, while some are not.

原始信息汇总

数据集概述

农业

• U.S. Department of Agricultures PLANTS Database
  • 链接: http://www.plants.usda.gov/dl_all.html

生物学

• 1000 Genomes
  • 链接: http://www.1000genomes.org/data
• American Gut (Microbiome Project)
  • 链接: https://github.com/biocore/American-Gut
• Broad Cancer Cell Line Encyclopedia (CCLE)
  • 链接: http://www.broadinstitute.org/ccle/home
• Cell Image Library
  • 链接: http://www.cellimagelibrary.org
• Collaborative Research in Computational Neuroscience (CRCNS)
  • 链接: http://crcns.org/data-sets
• Complete Genomics Public Data
  • 链接: http://www.completegenomics.com/public-data/69-genomes/
• EBI ArrayExpress
  • 链接: http://www.ebi.ac.uk/arrayexpress/
• EBI Protein Data Bank in Europe
  • 链接: http://www.ebi.ac.uk/pdbe/emdb/index.html/
• ENCODE project
  • 链接: https://www.encodeproject.org
• Ensembl Genomes
  • 链接: http://ensemblgenomes.org/info/genomes
• Gene Expression Omnibus (GEO)
  • 链接: http://www.ncbi.nlm.nih.gov/geo/
• Gene Ontology (GO)
  • 链接: http://geneontology.org/page/download-annotations
• Global Biotic Interactions (GloBI)
  • 链接: https://github.com/jhpoelen/eol-globi-data/wiki#accessing-species-interaction-data
• Harvard Medical School (HMS) LINCS Project
  • 链接: http://lincs.hms.harvard.edu
• Human Genome Diversity Project
  • 链接: http://www.hagsc.org/hgdp/files.html
• Human Microbiome Project (HMP)
  • 链接: http://www.hmpdacc.org/reference_genomes/reference_genomes.php
• ICOS PSP Benchmark
  • 链接: http://ico2s.org/datasets/psp_benchmark.html
• International HapMap Project
  • 链接: http://hapmap.ncbi.nlm.nih.gov/downloads/index.html.en
• Journal of Cell Biology DataViewer
  • 链接: http://jcb-dataviewer.rupress.org
• MIT Cancer Genomics Data
  • 链接: http://www.broadinstitute.org/cgi-bin/cancer/datasets.cgi
• NCBI Proteins
  • 链接: http://www.ncbi.nlm.nih.gov/guide/proteins/#databases
• NCBI Taxonomy
  • 链接: http://www.ncbi.nlm.nih.gov/taxonomy
• NeuroData
  • 链接: http://neurodata.io
• NIH Microarray data
  • 链接: http://bit.do/VVW6 或 FTP
• OpenSNP genotypes data
  • 链接: https://opensnp.org/
• Pathguid - Protein-Protein Interactions Catalog
  • 链接: http://www.pathguide.org/
• Protein Data Bank
  • 链接: http://www.rcsb.org/
• Psychiatric Genomics Consortium
  • 链接: https://www.med.unc.edu/pgc/downloads
• PubChem Project
  • 链接: https://pubchem.ncbi.nlm.nih.gov/
• PubGene (now Coremine Medical)
  • 链接: http://www.pubgene.org/
• Sanger Catalogue of Somatic Mutations in Cancer (COSMIC)
  • 链接: http://cancer.sanger.ac.uk/cosmic
• Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC)
  • 链接: http://www.cancerrxgene.org/
• Sequence Read Archive(SRA)
  • 链接: http://www.ncbi.nlm.nih.gov/Traces/sra/
• Stanford Microarray Data
  • 链接: http://smd.stanford.edu/
• Stowers Institute Original Data Repository
  • 链接: http://www.stowers.org/research/publications/odr
• Systems Science of Biological Dynamics (SSBD) Database
  • 链接: http://ssbd.qbic.riken.jp
• Temple University Hospital EEG Database
  • 链接: https://www.nedcdata.org/drupal/node/12
• The Cancer Genome Atlas (TCGA), available via Broad GDAC
  • 链接: https://gdac.broadinstitute.org/
• The Catalogue of Life
  • 链接: http://www.catalogueoflife.org/content/annual-checklist-archive
• The Personal Genome Project
  • 链接: http://www.personalgenomes.org/ 或 PGP
• UCSC Public Data
  • 链接: http://hgdownload.soe.ucsc.edu/downloads.html
• Universal Protein Resource (UnitProt)
  • 链接: http://www.uniprot.org/downloads
• UniGene
  • 链接: http://www.ncbi.nlm.nih.gov/unigene

气候/天气

• Australian Weather
  • 链接: http://www.bom.gov.au/climate/dwo/
• Brazilian Weather - Historical data (In Portuguese)
  • 链接: http://sinda.crn2.inpe.br/PCD/SITE/novo/site/
• Canadian Meteorological Centre
  • 链接: http://weather.gc.ca/grib/index_e.html
• Climate Data from UEA (updated monthly)
  • 链接: https://crudata.uea.ac.uk/cru/data/temperature/#datter 和 FTP
• European Climate Assessment & Dataset
  • 链接: http://eca.knmi.nl/
• Global Climate Data Since 1929
  • 链接: http://en.tutiempo.net/climate
• NASA Global Imagery Browse Services
  • 链接: https://wiki.earthdata.nasa.gov/display/GIBS
• NOAA Bering Sea Climate
  • 链接: http://www.beringclimate.noaa.gov/
• NOAA Climate Datasets
  • 链接: http://www.ncdc.noaa.gov/data-access/quick-links
• NOAA Realtime Weather Models
  • 链接: http://www.ncdc.noaa.gov/data-access/model-data/model-datasets/numerical-weather-prediction
• The World Bank Open Data Resources for Climate Change
  • 链接: http://data.worldbank.org/developers/climate-data-api
• UEA Climatic Research Unit
  • 链接: http://www.cru.uea.ac.uk/data
• WorldClim - Global Climate Data
  • 链接: http://www.worldclim.org
• WU Historical Weather Worldwide
  • 链接: https://www.wunderground.com/history/index.html

复杂网络

• AMiner Citation Network Dataset
  • 链接: http://aminer.org/citation
• CrossRef DOI URLs
  • 链接: https://archive.org/details/doi-urls
• DBLP Citation dataset
  • 链接: https://kdl.cs.umass.edu/display/public/DBLP
• NBER Patent Citations
  • 链接: http://nber.org/patents/
• Network Repository with Interactive Exploratory Analysis Tools
  • 链接: http://networkrepository.com/
• NIST complex networks data collection
  • 链接: http://math.nist.gov/~RPozo/complex_datasets.html
• Protein-protein interaction network
  • 链接: http://vlado.fmf.uni-lj.si/pub/networks/data/bio/Yeast/Yeast.htm
• PyPI and Maven Dependency Network
  • 链接: https://ogirardot.wordpress.com/2013/01/31/sharing-pypimaven-dependency-data/
• Scopus Citation Database
  • 链接: https://www.elsevier.com/solutions/scopus
• Small Network Data
  • 链接: http://www-personal.umich.edu/~mejn/netdata/
• Stanford GraphBase (Steven Skiena)
  • 链接: http://www3.cs.stonybrook.edu/~algorith/implement/graphbase/implement.shtml
• Stanford Large Network Dataset Collection
  • 链接: http://snap.stanford.edu/data/
• Stanford Longitudinal Network Data Sources
  • 链接: http://stanford.edu/group/sonia/dataSources/index.html
• The Koblenz Network Collection
  • 链接: http://konect.uni-koblenz.de/
• The Laboratory for Web Algorithmics (UNIMI)
  • 链接: http://law.di.unimi.it/datasets.php
• The Nexus Network Repository
  • 链接: http://nexus.igraph.org/
• UCI Network Data Repository
  • 链接: https://networkdata.ics.uci.edu/resources.php
• UFL sparse matrix collection
  • 链接: http://www.cise.ufl.edu/research/sparse/matrices/
• WSU Graph Database
  • 链接: http://www.eecs.wsu.edu/mgd/gdb.html
• DIMACS Road Networks Collection
  • 链接: http://www.dis.uniroma1.it/challenge9/download.shtml

计算机网络

• 3.5B Web Pages from CommonCraw 2012
  • 链接: http://www.bigdatanews.com/profiles/blogs/big-data-set-3-5-billion-web-pages-made-available-for-all-of-us
• **53.5B Web clicks of 100K users in Indiana Univ.

搜集汇总

数据集介绍

构建方式

Awesome Public Datasets 是一个收集自博客、回答和用户响应的公共数据集列表。数据集的构建主要通过整理和汇总网络上可公开访问的数据资源，涵盖了多个领域，包括农业、生物学、气候/天气、复杂网络、计算机网络、上下文数据、数据挑战、经济学、教育、能源、金融、地质学、GIS/环境、政府、健康等多个方面。

使用方法

用户可以通过数据集的README文件了解每个数据集的详细信息，包括数据集的来源、类型、使用方法和相关链接。用户可以直接访问数据集的URL，或者通过提供的链接了解更多关于数据集的背景知识和使用技巧。对于需要特定数据集的用户，可以根据数据集的描述和链接进行下载和使用。

背景与挑战

背景概述

‘Awesome Public Datasets’是一个收集和整理自博客、回答和用户响应的公开数据集列表。该数据集主要由sindresorhus维护，收录了大量免费的公开数据集，部分数据集可能需要付费。该数据集的创建旨在为研究人员提供便捷的数据资源，帮助他们在各自领域进行探索和研究。自发布以来，它已经对相关领域的研究产生了积极的影响，成为了一个受欢迎的资源库。

当前挑战

在构建‘Awesome Public Datasets’的过程中，主要面临的挑战包括：1) 识别和筛选高质量的数据集；2) 维护和更新数据集列表，确保数据的时效性和准确性；3) 数据集的分类和描述，以便用户能够快速找到所需数据；4) 处理数据集的版权和访问权限问题。此外，该数据集在解决领域问题，如提供图像分类、生物信息学、气候研究等方面的数据时，也面临着数据质量、数据标注一致性、以及数据隐私等挑战。

常用场景

经典使用场景

Awesome Public Datasets 是一个汇总了众多公开数据集的列表，其经典使用场景在于为研究者提供一站式资源查找服务，便于学者和开发者快速定位和获取所需的数据集，从而推动各类学术研究和应用开发。

解决学术问题

该数据集解决了研究者获取高质量数据集的难题，涵盖了从生物学、气候学、复杂网络到政府数据等众多领域，极大地降低了学术研究中数据收集的门槛，提高了研究效率。

实际应用

在实际应用中，Awesome Public Datasets 促进了数据驱动的决策制定，支持了教育、金融、地理信息系统等多个行业的数据分析需求，为公共政策制定和商业智能提供了数据支撑。

数据集最近研究

最新研究方向

Awesome Public Datasets数据集的最近研究方向主要集中于数据的收集、整理和共享，涵盖了多个领域，如农业、生物学、气候/天气、复杂网络、计算机网络、语境数据、数据挑战、经济学、教育、能源、金融、地质学、GIS/环境、政府等多个方面。研究者们正致力于探索这些数据集在各自领域的应用，如生物信息学中的基因序列分析、气候科学中的天气模式预测、复杂网络分析中的社交网络研究等，以推动 respective 领域的发展。