Awesome Public Datasets

一个主题中心的高质量公开数据集列表，收集并整理自博客、问答和用户反馈。

A curated list of high-quality public datasets centered around specific themes, collected and organized from blogs, Q&A platforms, and user feedback.

原始信息汇总

数据集概述

农业

• Hyperspectral benchmark dataset on soil moisture: 数据集链接: Hyperspectral benchmark dataset on soil moisture
• U.S. Department of Agricultures Nutrient Database: 数据集链接: U.S. Department of Agricultures Nutrient Database
• U.S. Department of Agricultures PLANTS Database: 数据集链接: U.S. Department of Agricultures PLANTS Database

生物学

• 1000 Genomes: 数据集链接: 1000 Genomes
• American Gut (Microbiome Project): 数据集链接: American Gut (Microbiome Project)
• Broad Bioimage Benchmark Collection (BBBC): 数据集链接: Broad Bioimage Benchmark Collection (BBBC)
• Broad Cancer Cell Line Encyclopedia (CCLE): 数据集链接: Broad Cancer Cell Line Encyclopedia (CCLE)
• Cell Image Library: 数据集链接: Cell Image Library
• Complete Genomics Public Data: 数据集链接: Complete Genomics Public Data
• EBI ArrayExpress: 数据集链接: EBI ArrayExpress
• EBI Protein Data Bank in Europe: 数据集链接: EBI Protein Data Bank in Europe
• ENCODE project: 数据集链接: ENCODE project
• Electron Microscopy Pilot Image Archive (EMPIAR): 数据集链接: Electron Microscopy Pilot Image Archive (EMPIAR)
• Ensembl Genomes: 数据集链接: Ensembl Genomes
• Gene Expression Omnibus (GEO): 数据集链接: Gene Expression Omnibus (GEO)
• Gene Ontology (GO) - GO annotation files: 数据集链接: Gene Ontology (GO) - GO annotation files
• Global Biotic Interactions (GloBI): 数据集链接: Global Biotic Interactions (GloBI)
• Harvard Medical School (HMS) LINCS Project: 数据集链接: Harvard Medical School (HMS) LINCS Project
• Human Genome Diversity Project: 数据集链接: Human Genome Diversity Project
• Human Microbiome Project (HMP): 数据集链接: Human Microbiome Project (HMP)
• ICOS PSP Benchmark: 数据集链接: ICOS PSP Benchmark
• International HapMap Project: 数据集链接: International HapMap Project
• Journal of Cell Biology DataViewer: 数据集链接: Journal of Cell Biology DataViewer
• KEGG - KEGG is a database resource for understanding high-level functions [...]: 数据集链接: KEGG - KEGG is a database resource for understanding high-level functions [...]
• MIT Cancer Genomics Data: 数据集链接: MIT Cancer Genomics Data
• NCBI Proteins: 数据集链接: NCBI Proteins
• NCBI Taxonomy: 数据集链接: NCBI Taxonomy
• NCI Genomic Data Commons: 数据集链接: NCI Genomic Data Commons
• NIH Microarray data: 数据集链接: NIH Microarray data
• OpenSNP genotypes data: 数据集链接: OpenSNP genotypes data
• Pathguid - Protein-Protein Interactions Catalog: 数据集链接: Pathguid - Protein-Protein Interactions Catalog
• Protein Data Bank: 数据集链接: Protein Data Bank
• Psychiatric Genomics Consortium: 数据集链接: Psychiatric Genomics Consortium
• PubChem Project: 数据集链接: PubChem Project
• PubGene (now Coremine Medical): 数据集链接: PubGene (now Coremine Medical)
• Sanger Catalogue of Somatic Mutations in Cancer (COSMIC): 数据集链接: Sanger Catalogue of Somatic Mutations in Cancer (COSMIC)
• Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC): 数据集链接: Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC)
• Sequence Read Archive(SRA): 数据集链接: Sequence Read Archive(SRA)
• Stanford Microarray Data: 数据集链接: Stanford Microarray Data
• Stowers Institute Original Data Repository: 数据集链接: Stowers Institute Original Data Repository
• Systems Science of Biological Dynamics (SSBD) Database: 数据集链接: Systems Science of Biological Dynamics (SSBD) Database
• The Cancer Genome Atlas (TCGA), available via Broad GDAC: 数据集链接: The Cancer Genome Atlas (TCGA), available via Broad GDAC
• The Catalogue of Life: 数据集链接: The Catalogue of Life
• The Personal Genome Project: 数据集链接: The Personal Genome Project
• UCSC Public Data: 数据集链接: UCSC Public Data
• UniGene: 数据集链接: UniGene
• Universal Protein Resource (UnitProt): 数据集链接: Universal Protein Resource (UnitProt)

气候+天气

• Actuaries Climate Index: 数据集链接: Actuaries Climate Index
• Australian Weather: 数据集链接: Australian Weather
• Aviation Weather Center - Consistent, timely and accurate weather [...]: 数据集链接: Aviation Weather Center - Consistent, timely and accurate weather [...]
• Brazilian Weather - Historical data (In Portuguese) - Data related to [...]: 数据集链接: Brazilian Weather - Historical data (In Portuguese) - Data related to [...]
• Canadian Meteorological Centre: 数据集链接: Canadian Meteorological Centre
• Climate Data from UEA (updated monthly): 数据集链接: Climate Data from UEA (updated monthly)
• Dutch Weather - The KNMI Data Center (KDC) portal provides access to KNMI [...]: 数据集链接: Dutch Weather - The KNMI Data Center (KDC) portal provides access to KNMI [...]
• European Climate Assessment & Dataset: 数据集链接: European Climate Assessment & Dataset
• Global Climate Data Since 1929: 数据集链接: Global Climate Data Since 1929
• NASA Global Imagery Browse Services: 数据集链接: NASA Global Imagery Browse Services
• NOAA Bering Sea Climate: 数据集链接: NOAA Bering Sea Climate
• NOAA Climate Datasets: 数据集链接: NOAA Climate Datasets
• NOAA Realtime Weather Models: 数据集链接: NOAA Realtime Weather Models
• NOAA SURFRAD Meteorology and Radiation Datasets: 数据集链接: NOAA SURFRAD Meteorology and Radiation Datasets
• The World Bank Open Data Resources for Climate Change: 数据集链接: The World Bank Open Data Resources for Climate Change
• UEA Climatic Research Unit: 数据集链接: UEA Climatic Research Unit
• WU Historical Weather Worldwide: 数据集链接: WU Historical Weather Worldwide
• WorldClim - Global Climate Data: 数据集链接: WorldClim - Global Climate Data

复杂网络

• AMiner Citation Network Dataset: 数据集链接: AMiner Citation Network Dataset
• CrossRef DOI URLs: 数据集链接: CrossRef DOI URLs
• DBLP Citation dataset: 数据集链接: DBLP Citation dataset
• DIMACS Road Networks Collection: 数据集链接: DIMACS Road Networks Collection
• NBER Patent Citations: 数据集链接: NBER Patent Citations
• NIST complex networks data collection: 数据集链接: NIST complex networks data collection
• Network Repository with Interactive Exploratory Analysis Tools: 数据集链接: Network Repository with Interactive Exploratory Analysis Tools
• Protein-protein interaction network: 数据集链接: Protein-protein interaction network
• PyPI and Maven Dependency Network: 数据集链接: PyPI and Maven Dependency Network
• Scopus Citation Database: 数据集链接: Scopus Citation Database
• Small Network Data: 数据集链接: Small Network Data
• Stanford GraphBase: 数据集链接: Stanford GraphBase
• Stanford Large Network Dataset Collection: 数据集链接: Stanford Large Network Dataset Collection
• Stanford Longitudinal Network Data Sources: 数据集链接: Stanford Longitudinal Network Data Sources
• The Koblenz Network Collection: 数据集链接: The Koblenz Network Collection
• The Laboratory for Web Algorithmics (UNIMI): 数据集链接: The Laboratory for Web Algorithmics (UNIMI)
• UCI Network Data Repository: 数据集链接: UCI Network Data Repository
• UFL sparse matrix collection: 数据集链接: UFL sparse matrix collection
• WSU Graph Database: 数据集链接: WSU Graph Database

计算机网络

• 3.5B Web Pages from CommonCrawl 2012: 数据集链接: 3.5B Web Pages from CommonCrawl 2012
• 53.5B Web clicks of 100K users in Indiana Univ.: 数据集链接: 53.5B Web clicks of 100K users in Indiana Univ.
• CAIDA Internet Datasets: 数据集链接: CAIDA Internet Datasets
• CRAWDAD Wireless datasets from Dartmouth Univ.: 数据集链接: CRAWDAD Wireless datasets from Dartmouth Univ.
• ClueWeb09 - 1B web pages: 数据集链接: ClueWeb09 - 1B web pages
• ClueWeb12 - 733M web pages: 数据集链接: ClueWeb12 - 733M web pages
• CommonCrawl Web Data over 7 years: 数据集链接: CommonCrawl Web Data over 7 years
• Criteo click-through data: 数据集链接: Criteo click-through data
• Internet-Wide Scan Data Repository: 数据集链接: Internet-Wide Scan Data Repository
• MIRAGE-2019 - MIRAGE-2019 is a human-generated dataset for mobile traffic [...]: 数据集链接: MIRAGE-2019 - MIRAGE-2019 is a human-generated dataset for mobile traffic [...]
• **OONI: Open Observatory of Network Interference - Internet censorship

搜集汇总

数据集介绍

构建方式

Awesome Public Datasets 是一个由社区维护的公共数据集列表，涵盖了多个领域。数据集的构建主要通过从博客、回答和用户响应中收集和整理高质量的数据源。大多数列出的数据集是免费的，但也有一些不是。该仓库由 apd-core 自动生成，用户可以通过提议新的数据集或修复现有条目来贡献。

使用方法

用户可以通过浏览 README 文件中的目录来找到感兴趣的数据集。每个数据集的详细信息通常包括数据描述、获取方式和使用说明。部分数据集可能需要特定的工具或软件来处理。用户应遵循数据集的使用条款和条件。

背景与挑战

背景概述

Awesome Public Datasets是一个由社区驱动的开源项目，旨在收集和整理高质量的公共数据集。该项目创建于2013年，由sindresorhus维护，汇集了来自博客、回答和用户响应的各类数据集。这些数据集大多免费，但部分可能需要付费。Awesome Public Datasets项目是sindresorhus的awesome列表的一部分，后者是一个包含了各种令人惊叹的列表的项目。

当前挑战

该数据集的构建过程中遇到的挑战主要包括数据的收集、整理和持续更新。由于数据集是自动生成的，因此直接在仓库中修改是不被推荐的。此外，数据集的多样性带来了整合和标准化的挑战，特别是在保证数据质量、准确性和可用性方面。具体挑战包括数据集的持续维护、错误修正以及新数据集的添加。

常用场景

经典使用场景

Awesome Public Datasets作为一个集成了众多领域公共数据集的资源库，其经典使用场景主要集中于为研究人员、开发者以及数据科学家提供丰富多样的数据资源。用户可以在这里找到从生物学、气候学到计算机科学等多个领域的高质量数据集，用于学术研究、项目开发或数据分析等。

解决学术问题

该数据集解决了学术研究中数据获取的难题，尤其是对于那些难以获取或构建的数据集。它为研究人员提供了即时的数据资源，有助于加快研究进度，提高研究的质量和深度。同时，它也避免了数据重复采集的问题，促进了学术资源的共享。

实际应用

在实际应用中，Awesome Public Datasets可以为各类数据分析项目提供数据支持，例如市场分析、气候变化研究、医疗健康分析等。企业或机构可以利用这些数据进行决策支持，优化业务流程，或者开发新的产品和服务。

数据集最近研究

最新研究方向

Awesome Public Datasets数据集涵盖了多个领域，其最新研究方向主要集中于数据的整合、清洗以及在不同领域的应用研究。例如，在生物学领域，研究人员正利用该数据集进行基因组学、微生物组学以及生物图像分析等方向的研究。在气候与天气领域，数据集被用于气候模型分析、天气预测以及气候变化影响评估等研究。此外，在复杂网络、计算机网络、数据挑战、地球科学、经济学、教育、能源和金融等领域，研究人员也在利用这些公共数据集进行深入的数据挖掘和分析，以推动各自领域的研究进展。