多个数据集

这是一个包含多个高质量公开数据集的列表，涵盖农业、生物学等多个领域。

This is a list comprising multiple high-quality public datasets, spanning various fields such as agriculture and biology.

原始信息汇总

数据集概述

生物学

• 1000 Genomes: 数据集链接: http://www.1000genomes.org/data
• American Gut (Microbiome Project): 数据集链接: https://github.com/biocore/American-Gut
• Broad Cancer Cell Line Encyclopedia (CCLE): 数据集链接: http://www.broadinstitute.org/ccle/home
• Broad Bioimage Benchmark Collection (BBBC): 数据集链接: https://www.broadinstitute.org/bbbc
• Cell Image Library: 数据集链接: http://www.cellimagelibrary.org
• Collaborative Research in Computational Neuroscience (CRCNS): 数据集链接: http://crcns.org/data-sets
• Complete Genomics Public Data: 数据集链接: http://www.completegenomics.com/public-data/69-genomes/
• EBI ArrayExpress: 数据集链接: http://www.ebi.ac.uk/arrayexpress/
• EBI Protein Data Bank in Europe: 数据集链接: http://www.ebi.ac.uk/pdbe/emdb/index.html/
• Electron Microscopy Pilot Image Archive (EMPIAR): 数据集链接: http://www.ebi.ac.uk/pdbe/emdb/empiar/
• ENCODE project: 数据集链接: https://www.encodeproject.org
• Ensembl Genomes: 数据集链接: http://ensemblgenomes.org/info/genomes
• Gene Expression Omnibus (GEO): 数据集链接: http://www.ncbi.nlm.nih.gov/geo/
• Gene Ontology (GO): 数据集链接: http://geneontology.org/page/download-annotations
• Global Biotic Interactions (GloBI): 数据集链接: https://github.com/jhpoelen/eol-globi-data/wiki#accessing-species-interaction-data
• Harvard Medical School (HMS) LINCS Project: 数据集链接: http://lincs.hms.harvard.edu
• Human Genome Diversity Project: 数据集链接: http://www.hagsc.org/hgdp/files.html
• Human Microbiome Project (HMP): 数据集链接: http://www.hmpdacc.org/reference_genomes/reference_genomes.php
• ICOS PSP Benchmark: 数据集链接: http://ico2s.org/datasets/psp_benchmark.html
• International HapMap Project: 数据集链接: http://hapmap.ncbi.nlm.nih.gov/downloads/index.html.en
• Journal of Cell Biology DataViewer: 数据集链接: http://jcb-dataviewer.rupress.org
• MIT Cancer Genomics Data: 数据集链接: http://www.broadinstitute.org/cgi-bin/cancer/datasets.cgi
• NCBI Proteins: 数据集链接: http://www.ncbi.nlm.nih.gov/guide/proteins/#databases
• NCBI Taxonomy: 数据集链接: http://www.ncbi.nlm.nih.gov/taxonomy
• NeuroData: 数据集链接: http://neurodata.io
• NIH Microarray data: 数据集链接: http://bit.do/VVW6 或 FTP
• OpenSNP genotypes data: 数据集链接: https://opensnp.org/
• Pathguid - Protein-Protein Interactions Catalog: 数据集链接: http://www.pathguide.org/
• Protein Data Bank: 数据集链接: http://www.rcsb.org/
• Psychiatric Genomics Consortium: 数据集链接: https://www.med.unc.edu/pgc/downloads
• PubChem Project: 数据集链接: https://pubchem.ncbi.nlm.nih.gov/
• PubGene (now Coremine Medical): 数据集链接: http://www.pubgene.org/
• Sanger Catalogue of Somatic Mutations in Cancer (COSMIC): 数据集链接: http://cancer.sanger.ac.uk/cosmic
• Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC): 数据集链接: http://www.cancerrxgene.org/
• Sequence Read Archive(SRA): 数据集链接: http://www.ncbi.nlm.nih.gov/Traces/sra/
• Stanford Microarray Data: 数据集链接: http://smd.stanford.edu/
• Stowers Institute Original Data Repository: 数据集链接: http://www.stowers.org/research/publications/odr
• Systems Science of Biological Dynamics (SSBD) Database: 数据集链接: http://ssbd.qbic.riken.jp
• Temple University Hospital EEG Database: 数据集链接: https://www.nedcdata.org/drupal/node/12
• The Cancer Genome Atlas (TCGA), available via Broad GDAC: 数据集链接: https://gdac.broadinstitute.org/
• The Catalogue of Life: 数据集链接: http://www.catalogueoflife.org/content/annual-checklist-archive
• The Personal Genome Project: 数据集链接: http://www.personalgenomes.org/ 或 PGP
• UCSC Public Data: 数据集链接: http://hgdownload.soe.ucsc.edu/downloads.html
• Universal Protein Resource (UnitProt): 数据集链接: http://www.uniprot.org/downloads
• UniGene: 数据集链接: http://www.ncbi.nlm.nih.gov/unigene

气候/天气

• Australian Weather: 数据集链接: http://www.bom.gov.au/climate/dwo/
• Brazilian Weather - Historical data (In Portuguese): 数据集链接: http://sinda.crn2.inpe.br/PCD/SITE/novo/site/
• Canadian Meteorological Centre: 数据集链接: http://weather.gc.ca/grib/index_e.html
• Climate Data from UEA (updated monthly): 数据集链接: https://crudata.uea.ac.uk/cru/data/temperature/#datter 和 ftp://ftp.cmdl.noaa.gov/
• European Climate Assessment & Dataset: 数据集链接: http://eca.knmi.nl/
• Global Climate Data Since 1929: 数据集链接: http://en.tutiempo.net/climate
• NASA Global Imagery Browse Services: 数据集链接: https://wiki.earthdata.nasa.gov/display/GIBS
• NOAA Bering Sea Climate: 数据集链接: http://www.beringclimate.noaa.gov/
• NOAA Climate Datasets: 数据集链接: http://www.ncdc.noaa.gov/data-access/quick-links
• NOAA Realtime Weather Models: 数据集链接: http://www.ncdc.noaa.gov/data-access/model-data/model-datasets/numerical-weather-prediction
• The World Bank Open Data Resources for Climate Change: 数据集链接: http://data.worldbank.org/developers/climate-data-api
• UEA Climatic Research Unit: 数据集链接: http://www.cru.uea.ac.uk/data
• WorldClim - Global Climate Data: 数据集链接: http://www.worldclim.org
• WU Historical Weather Worldwide: 数据集链接: https://www.wunderground.com/history/index.html

复杂网络

• AMiner Citation Network Dataset: 数据集链接: http://aminer.org/citation
• CrossRef DOI URLs: 数据集链接: https://archive.org/details/doi-urls
• DBLP Citation dataset: 数据集链接: https://kdl.cs.umass.edu/display/public/DBLP
• NBER Patent Citations: 数据集链接: http://nber.org/patents/
• Network Repository with Interactive Exploratory Analysis Tools: 数据集链接: http://networkrepository.com/
• NIST complex networks data collection: 数据集链接: http://math.nist.gov/~RPozo/complex_datasets.html
• Protein-protein interaction network: 数据集链接: http://vlado.fmf.uni-lj.si/pub/networks/data/bio/Yeast/Yeast.htm
• PyPI and Maven Dependency Network: 数据集链接: https://ogirardot.wordpress.com/2013/01/31/sharing-pypimaven-dependency-data/
• Scopus Citation Database: 数据集链接: https://www.elsevier.com/solutions/scopus
• Small Network Data: 数据集链接: http://www-personal.umich.edu/~mejn/netdata/
• Stanford GraphBase (Steven Skiena): 数据集链接: http://www3.cs.stonybrook.edu/~algorith/implement/graphbase/implement.shtml
• Stanford Large Network Dataset Collection: 数据集链接: http://snap.stanford.edu/data/
• Stanford Longitudinal Network Data Sources: 数据集链接: http://stanford.edu/group/sonia/dataSources/index.html
• The Koblenz Network Collection: 数据集链接: http://konect.uni-koblenz.de/
• The Laboratory for Web Algorithmics (UNIMI): 数据集链接: http://law.di.unimi.it/datasets.php
• The Nexus Network Repository: 数据集链接: http://nexus.igraph.org/
• UCI Network Data Repository: 数据集链接: https://networkdata.ics.uci.edu/resources.php
• UFL sparse matrix collection: 数据集链接: http://www.cise.ufl.edu/research/sparse/matrices/
• WSU Graph Database: 数据集链接: http://www.eecs.wsu.edu/mgd/gdb.html
• DIMACS Road Networks Collection: 数据集链接: http://www.dis.uniroma1.it/challenge9/download.shtml

计算机网络

• 3.5B Web Pages from CommonCraw 2012: 数据集链接: http://www.bigdatanews.com/profiles/blogs/big-data-set-3-5-billion-web-pages-made-available-for-all-of-us
• 53.5B Web clicks of 100K users in Indiana Univ.: 数据集链接: [http://cnets.indiana.edu/groups/nan/

搜集汇总

数据集介绍

构建方式

该数据集是一个收集自多个来源的公共数据集列表，包含了农业、生物学、气候、复杂网络、计算机网络、上下文数据、数据挑战、经济学、教育、能源、金融、地质学、GIS/环境、政府、健康护理、图像处理、机器学习、博物馆、自然语言处理等多个领域的公共数据集。这些数据集的构建主要依赖于网络资源的整理和归纳，以及社区贡献的数据集信息。

特点

该数据集的特点在于其广泛性、多样性和开放性。它涵盖了不同学科和领域的公共数据集，不仅包括结构化数据，还包括非结构化数据。这些数据集可供研究人员、开发者以及公众自由使用，以促进数据共享和知识发现。

使用方法

用户可以通过数据集的GitHub页面获取数据集的详细信息，包括数据集的描述、下载链接、使用条款等。用户应当遵循相应的数据使用协议和版权声明，合法合规地使用这些数据集。对于特定的数据集，可能需要特定的软件或工具来处理和分析数据。

背景与挑战

背景概述

该数据集是一个收集自多个来源的公共数据集列表，涵盖了从农业、生物学到自然语言处理、机器学习等众多领域。创建时间不详，主要研究人员或机构为GitHub用户caesar0301。该数据集的核心研究问题是整理和分类各种公共数据集，以便于研究者和开发者查找和使用。其对相关领域的影响力体现在为研究人员提供了便捷的数据集访问途径，推动了开源数据集文化的发展。

当前挑战

数据集构建过程中的挑战主要包括：1)数据的收集和整理依赖于社区贡献，质量参差不齐；2)数据集的多样性和规模给维护和更新带来了困难；3)某些数据集可能存在版权或隐私问题，使用时需谨慎。所解决的领域问题挑战包括：不同领域的数据集在数据格式、标注方式和适用算法上存在差异，需要针对具体问题选择合适的数据集和方法。

常用场景

经典使用场景

多个数据集的经典使用场景主要集中于数据挖掘、机器学习、图像处理、自然语言处理等领域。例如，在机器学习领域，可用Keel Repository进行分类、回归和时间序列分析；在图像处理领域，可用ImageNet进行图像识别和分类；在自然语言处理领域，可用Blogger Corpus进行文本分析和情感识别。

解决学术问题

该数据集解决了多种学术研究问题，如机器学习中数据分类和预测的准确性问题，图像处理中的特征提取和模式识别问题，自然语言处理中的文本理解和情感分析问题。通过提供这些数据集，研究人员能够基于真实世界的数据进行模型训练和验证，从而提高研究的实用性和可靠性。

衍生相关工作

该数据集衍生了众多相关的工作，如基于ImageNet的深度学习模型训练，基于Keel Repository的机器学习算法研究，以及基于Blogger Corpus的情感分析工具开发等。这些工作不仅扩展了数据集的应用范围，也为学术界和工业界提供了宝贵的研究资源。