Awesome Public Datasets

一个主题中心的高质量公开数据集列表，收集并整理自博客、问答和用户反馈。

A curated list of high-quality public datasets centered around specific themes, compiled from blogs, Q&A platforms, and user feedback.

原始信息汇总

数据集概述

农业

• U.S. Department of Agricultures Nutrient Database

  • 链接: U.S. Department of Agricultures Nutrient Database

• U.S. Department of Agricultures PLANTS Database

  • 链接: U.S. Department of Agricultures PLANTS Database

生物学

• 1000 Genomes

  • 链接: 1000 Genomes

• American Gut (Microbiome Project)

  • 链接: American Gut (Microbiome Project)

• Broad Bioimage Benchmark Collection (BBBC)

  • 链接: Broad Bioimage Benchmark Collection (BBBC)

• Broad Cancer Cell Line Encyclopedia (CCLE)

  • 链接: Broad Cancer Cell Line Encyclopedia (CCLE)

• Cell Image Library

  • 链接: Cell Image Library

• Complete Genomics Public Data

  • 链接: Complete Genomics Public Data

• EBI ArrayExpress

  • 链接: EBI ArrayExpress

• EBI Protein Data Bank in Europe

  • 链接: EBI Protein Data Bank in Europe

• ENCODE project

  • 链接: ENCODE project

• Electron Microscopy Pilot Image Archive (EMPIAR)

  • 链接: Electron Microscopy Pilot Image Archive (EMPIAR)

• Ensembl Genomes

  • 链接: Ensembl Genomes

• Gene Expression Omnibus (GEO)

  • 链接: Gene Expression Omnibus (GEO)

• Gene Ontology (GO)

  • 链接: Gene Ontology (GO)

• Global Biotic Interactions (GloBI)

  • 链接: Global Biotic Interactions (GloBI)

• Harvard Medical School (HMS) LINCS Project

  • 链接: Harvard Medical School (HMS) LINCS Project

• Human Genome Diversity Project

  • 链接: Human Genome Diversity Project

• Human Microbiome Project (HMP)

  • 链接: Human Microbiome Project (HMP)

• ICOS PSP Benchmark

  • 链接: ICOS PSP Benchmark

• International HapMap Project

  • 链接: International HapMap Project

• Journal of Cell Biology DataViewer

  • 链接: Journal of Cell Biology DataViewer

• KEGG - KEGG is a database resource for understanding high-level functions [...]

  • 链接: KEGG

• MIT Cancer Genomics Data

  • 链接: MIT Cancer Genomics Data

• NCBI Proteins

  • 链接: NCBI Proteins

• NCBI Taxonomy

  • 链接: NCBI Taxonomy

• NCI Genomic Data Commons

  • 链接: NCI Genomic Data Commons

• NIH Microarray data

  • 链接: NIH Microarray data
  • 状态: 待修复

• OpenSNP genotypes data

  • 链接: OpenSNP genotypes data

• Pathguid - Protein-Protein Interactions Catalog

  • 链接: Pathguid - Protein-Protein Interactions Catalog

• Protein Data Bank

  • 链接: Protein Data Bank

• Psychiatric Genomics Consortium

  • 链接: Psychiatric Genomics Consortium

• PubChem Project

  • 链接: PubChem Project

• PubGene (now Coremine Medical)

  • 链接: PubGene (now Coremine Medical)

• Sanger Catalogue of Somatic Mutations in Cancer (COSMIC)

  • 链接: Sanger Catalogue of Somatic Mutations in Cancer (COSMIC)

• Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC)

  • 链接: Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC)

• Sequence Read Archive(SRA)

  • 链接: Sequence Read Archive(SRA)

• Stanford Microarray Data

  • 链接: Stanford Microarray Data
  • 状态: 待修复

• Stowers Institute Original Data Repository

  • 链接: Stowers Institute Original Data Repository

• Systems Science of Biological Dynamics (SSBD) Database

  • 链接: Systems Science of Biological Dynamics (SSBD) Database

• The Cancer Genome Atlas (TCGA), available via Broad GDAC

  • 链接: The Cancer Genome Atlas (TCGA), available via Broad GDAC

• The Catalogue of Life

  • 链接: The Catalogue of Life

• The Personal Genome Project

  • 链接: The Personal Genome Project

• UCSC Public Data

  • 链接: UCSC Public Data

• UniGene

  • 链接: UniGene

• Universal Protein Resource (UnitProt)

  • 链接: Universal Protein Resource (UnitProt)

气候+天气

• Actuaries Climate Index

  • 链接: Actuaries Climate Index

• Australian Weather

  • 链接: Australian Weather

• Aviation Weather Center - Consistent, timely and accurate weather [...]

  • 链接: Aviation Weather Center

• Brazilian Weather - Historical data (In Portuguese)

  • 链接: Brazilian Weather - Historical data (In Portuguese)

• Canadian Meteorological Centre

  • 链接: Canadian Meteorological Centre

• Climate Data from UEA (updated monthly)

  • 链接: [Climate Data from UEA (updated monthly)](https://crudata.uea.ac.uk/cru/data/temperature/#datter and ftp://ftp.cmdl.noaa.gov/)

• European Climate Assessment & Dataset

  • 链接: European Climate Assessment & Dataset
  • 状态: 待修复

• Global Climate Data Since 1929

  • 链接: Global Climate Data Since 1929

• NASA Global Imagery Browse Services

  • 链接: NASA Global Imagery Browse Services

• NOAA Bering Sea Climate

  • 链接: NOAA Bering Sea Climate

• NOAA Climate Datasets

  • 链接: NOAA Climate Datasets

• NOAA Realtime Weather Models

  • 链接: NOAA Realtime Weather Models

• NOAA SURFRAD Meteorology and Radiation Datasets

  • 链接: NOAA SURFRAD Meteorology and Radiation Datasets

• The World Bank Open Data Resources for Climate Change

  • 链接: The World Bank Open Data Resources for Climate Change

• UEA Climatic Research Unit

  • 链接: UEA Climatic Research Unit

• WU Historical Weather Worldwide

  • 链接: WU Historical Weather Worldwide

• WorldClim - Global Climate Data

  • 链接: WorldClim - Global Climate Data

复杂网络

• AMiner Citation Network Dataset

  • 链接: AMiner Citation Network Dataset

• CrossRef DOI URLs

  • 链接: CrossRef DOI URLs

• DBLP Citation dataset

  • 链接: DBLP Citation dataset
  • 状态: 待修复

• DIMACS Road Networks Collection

  • 链接: DIMACS Road Networks Collection

• NBER Patent Citations

  • 链接: NBER Patent Citations

• NIST complex networks data collection

  • 链接: NIST complex networks data collection

• Network Repository with Interactive Exploratory Analysis Tools

  • 链接: Network Repository with Interactive Exploratory Analysis Tools

• Protein-protein interaction network

  • 链接: Protein-protein interaction network

• PyPI and Maven Dependency Network

  • 链接: PyPI and Maven Dependency Network

• Scopus Citation Database

  • 链接: Scopus Citation Database

• Small Network Data

  • 链接: Small Network Data

• Stanford GraphBase

  • 链接: Stanford GraphBase

• Stanford Large Network Dataset Collection

  • 链接: Stanford Large Network Dataset Collection

• Stanford Longitudinal Network Data Sources

  • 链接: Stanford Longitudinal Network Data Sources

• The Koblenz Network Collection

  • 链接: The Koblenz Network Collection

• The Laboratory for Web Algorithmics (UNIMI)

  • 链接: The Laboratory for Web Algorithmics (UNIMI)

• The Nexus Network Repository

  • 链接: The Nexus Network Repository
  • 状态: 待修复

• UCI Network Data Repository

  • 链接: UCI Network Data Repository

• UFL sparse matrix collection

  • 链接: UFL sparse matrix collection

• WSU Graph Database

  • 链接: WSU Graph Database

计算机网络

• 3.5B Web Pages from CommonCrawl 2012

  • 链接: 3.5B Web Pages from CommonCrawl 2012

• 53.5B Web clicks of 100K users in Indiana Univ.

  • 链接: 53.5B Web clicks of 100K users in Indiana Univ.

• CAIDA Internet Datasets

  • 链接: CAIDA Internet Datasets

• CRAWDAD Wireless datasets from Dartmouth Univ.

  • 链接: CRAWDAD Wireless datasets from Dartmouth Univ.

• ClueWeb09 - 1B web pages

  • 链接: ClueWeb09 - 1B web pages

• ClueWeb12 - 733M web pages

  • 链接: ClueWeb12 - 733M web pages

• CommonCrawl Web Data over 7 years

  • 链接: CommonCrawl Web Data over 7 years

• Criteo click-through data

  • 链接: Criteo click-through data

• Internet-Wide Scan Data Repository

  • 链接: Internet-Wide Scan Data Repository

• **OONI: Open Observatory of Network Interference -

搜集汇总

数据集介绍

构建方式

Awesome Public Datasets 是一个高质量、主题中心的公共数据源集合，涵盖了从农业到生物、气候、复杂网络、计算机网络、数据挑战、地球科学、经济学、教育、能源、金融和地理信息系统等多个领域。该数据集的构建方式主要依赖于从博客、问答平台和用户反馈中收集和整理数据。数据集通过自动化工具 `apd-core` 生成，确保了数据的持续更新和维护。贡献者可以通过指定的方式提交新的数据集或修正现有数据，确保了数据集的多样性和准确性。

特点

Awesome Public Datasets 的特点在于其广泛的覆盖范围和高质量的数据源。数据集涵盖了多个学科领域，且大多数数据源是免费的，部分数据源可能需要付费访问。数据集中的每个条目都经过严格的筛选和验证，确保其可靠性和实用性。此外，数据集还提供了丰富的元数据信息，帮助用户快速了解每个数据源的内容和用途。数据集的结构清晰，分类明确，便于用户根据需求快速定位所需数据。

使用方法

使用 Awesome Public Datasets 时，用户可以通过 GitHub 页面浏览数据集的不同分类，每个分类下都列出了相关的数据源链接。用户可以直接访问这些链接获取数据，或通过数据集提供的元数据信息进一步了解数据的使用方法和许可协议。对于开发者，数据集还提供了 API 接口，支持自动化数据获取和处理。用户还可以通过提交 Pull Request 或按照贡献指南的方式，向数据集添加新的数据源或修正现有数据，从而参与到数据集的维护和扩展中。

背景与挑战

背景概述

Awesome Public Datasets 是一个由社区驱动的公共数据集集合，旨在为研究人员、数据科学家和开发者提供高质量、主题广泛的开放数据资源。该数据集由 awesomedata 组织维护，涵盖了从农业、生物学到气候、经济学等多个领域的公共数据集。其创建时间可追溯至2010年代初期，随着数据科学的兴起，该数据集逐渐成为学术界和工业界的重要参考资源。通过整合来自博客、用户反馈和其他开放数据源的信息，Awesome Public Datasets 为数据驱动的科学研究提供了坚实的基础，推动了多个领域的数据共享与协作。

当前挑战

Awesome Public Datasets 面临的主要挑战包括数据集的更新与维护问题。由于数据集来源广泛且更新频率不一，部分数据集可能已过时或链接失效，导致用户无法获取最新或有效的数据。此外，数据集的质量控制也是一个重要挑战，尽管大多数数据集经过筛选，但仍存在部分数据集格式不统一或缺乏详细描述的情况，增加了用户的使用难度。构建过程中，如何确保数据集的多样性与覆盖范围，同时保持高质量和可访问性，是该项目的核心挑战之一。

常用场景

经典使用场景

Awesome Public Datasets 是一个广泛收集高质量公共数据源的资源库，涵盖了从农业、生物学到气候、经济等多个领域。该数据集最经典的使用场景是为研究人员提供跨学科的数据支持，尤其是在数据驱动的科学研究中，帮助学者快速获取所需的数据集，从而加速研究进程。例如，生物学家可以通过该数据集获取基因组数据，气候学家则可以访问全球气候数据。

衍生相关工作

Awesome Public Datasets 的发布催生了许多相关的研究和应用。例如，基于该数据集中的基因组数据，研究人员开发了新的生物信息学工具；利用气候数据，科学家们构建了更精确的气候模型。此外，该数据集还激发了多个开源项目的诞生，如数据可视化工具和机器学习算法库，进一步推动了数据科学领域的发展。

数据集最近研究

最新研究方向

近年来，Awesome Public Datasets在数据科学和机器学习领域的应用日益广泛，尤其是在跨学科研究中展现了其独特的价值。该数据集涵盖了从农业、生物学到气候、经济等多个领域的高质量公共数据资源，为研究者提供了丰富的数据支持。特别是在生物信息学和基因组学领域，数据集如1000 Genomes、ENCODE project等被广泛应用于基因变异分析、功能基因组学研究，推动了精准医学的发展。此外，气候和天气数据集的整合与分析，为全球气候变化研究提供了重要依据，尤其是在极端天气事件的预测和应对策略制定中发挥了关键作用。随着数据驱动研究的深入，Awesome Public Datasets在复杂网络分析、计算机网络安全等前沿领域的研究中也逐渐成为不可或缺的工具。