Awesome Public Datasets

一个主题中心的高质量公共数据源列表，收集并整理自博客、答案和用户响应。

A high-quality public data source list centered around a specific theme, collected and organized from blogs, answers, and user responses.

原始信息汇总

数据集概述

农业

• U.S. Department of Agricultures Nutrient Database

  • 链接: U.S. Department of Agricultures Nutrient Database

• U.S. Department of Agricultures PLANTS Database

  • 链接: U.S. Department of Agricultures PLANTS Database

生物学

• 1000 Genomes

  • 链接: 1000 Genomes

• American Gut (Microbiome Project)

  • 链接: American Gut (Microbiome Project)

• Broad Bioimage Benchmark Collection (BBBC)

  • 链接: Broad Bioimage Benchmark Collection (BBBC)

• Broad Cancer Cell Line Encyclopedia (CCLE)

  • 链接: Broad Cancer Cell Line Encyclopedia (CCLE)

• Cell Image Library

  • 链接: Cell Image Library

• Complete Genomics Public Data

  • 链接: Complete Genomics Public Data

• EBI ArrayExpress

  • 链接: EBI ArrayExpress

• EBI Protein Data Bank in Europe

  • 链接: EBI Protein Data Bank in Europe

• ENCODE project

  • 链接: ENCODE project

• Electron Microscopy Pilot Image Archive (EMPIAR)

  • 链接: Electron Microscopy Pilot Image Archive (EMPIAR)

• Ensembl Genomes

  • 链接: Ensembl Genomes

• Gene Expression Omnibus (GEO)

  • 链接: Gene Expression Omnibus (GEO)

• Gene Ontology (GO)

  • 链接: Gene Ontology (GO)

• Global Biotic Interactions (GloBI)

  • 链接: Global Biotic Interactions (GloBI)

• Harvard Medical School (HMS) LINCS Project

  • 链接: Harvard Medical School (HMS) LINCS Project

• Human Genome Diversity Project

  • 链接: Human Genome Diversity Project

• Human Microbiome Project (HMP)

  • 链接: Human Microbiome Project (HMP)

• ICOS PSP Benchmark

  • 链接: ICOS PSP Benchmark

• International HapMap Project

  • 链接: International HapMap Project

• Journal of Cell Biology DataViewer

  • 链接: Journal of Cell Biology DataViewer

• MIT Cancer Genomics Data

  • 链接: MIT Cancer Genomics Data

• NCBI Proteins

  • 链接: NCBI Proteins

• NCBI Taxonomy

  • 链接: NCBI Taxonomy

• NCI Genomic Data Commons

  • 链接: NCI Genomic Data Commons

• OpenSNP genotypes data

  • 链接: OpenSNP genotypes data

• Pathguid - Protein-Protein Interactions Catalog

  • 链接: Pathguid - Protein-Protein Interactions Catalog

• Protein Data Bank

  • 链接: Protein Data Bank

• Psychiatric Genomics Consortium

  • 链接: Psychiatric Genomics Consortium

• PubChem Project

  • 链接: PubChem Project

• PubGene (now Coremine Medical)

  • 链接: PubGene (now Coremine Medical)

• Sanger Catalogue of Somatic Mutations in Cancer (COSMIC)

  • 链接: Sanger Catalogue of Somatic Mutations in Cancer (COSMIC)

• Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC)

  • 链接: Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC)

• Sequence Read Archive(SRA)

  • 链接: Sequence Read Archive(SRA)

• Stowers Institute Original Data Repository

  • 链接: Stowers Institute Original Data Repository

• Systems Science of Biological Dynamics (SSBD) Database

  • 链接: Systems Science of Biological Dynamics (SSBD) Database

• The Cancer Genome Atlas (TCGA), available via Broad GDAC

  • 链接: The Cancer Genome Atlas (TCGA), available via Broad GDAC

• The Catalogue of Life

  • 链接: The Catalogue of Life

• The Personal Genome Project

  • 链接: The Personal Genome Project

• UCSC Public Data

  • 链接: UCSC Public Data

• UniGene

  • 链接: UniGene

• Universal Protein Resource (UnitProt)

  • 链接: Universal Protein Resource (UnitProt)

城市数据（包括shapefiles）

• Austin TX Open Data

  • 链接: Austin TX Open Data

• Boston Open Data

  • 链接: Boston Open Data

• Chicago Data Portal

  • 链接: Chicago Data Portal

• Denver Open Data

  • 链接: Denver Open Data

• Detroit Data Portal

  • 链接: Detroit Data Portal

• Houston Open Data

  • 链接: Houston Open Data

• London (UK) Open Data

  • 链接: London (UK) Open Data

• Los Angeles Open Data

  • 链接: Los Angeles Open Data

• Madison WI Open Data

  • 链接: Madison WI Open Data

• Miami Open Data

  • 链接: Miami Open Data

• NYC Open Data

  • 链接: NYC Open Data

• New Orleans Open Data

  • 链接: New Orleans Open Data

• Philadelphia Open Data

  • 链接: Philadelphia Open Data

• Portland OR Open Data

  • 链接: Portland OR Open Data

• San Francisco Open Data

  • 链接: San Francisco Open Data

• Seattle Open Data

  • 链接: Seattle Open Data

• St. Louis Open Data

  • 链接: St. Louis Open Data

• Washington DC Open Data

  • 链接: Washington DC Open Data

气候+天气

• Actuaries Climate Index

  • 链接: Actuaries Climate Index

• Australian Weather

  • 链接: Australian Weather

• Aviation Weather Center - Consistent, timely and accurate weather information for the world airspace system

  • 链接: Aviation Weather Center - Consistent, timely and accurate weather information for the world airspace system

• Brazilian Weather - Historical data (In Portuguese)

  • 链接: Brazilian Weather - Historical data (In Portuguese)

• Canadian Meteorological Centre

  • 链接: Canadian Meteorological Centre

• Climate Data from UEA (updated monthly)

  • 链接: [Climate Data from UEA (updated monthly)](https://crudata.uea.ac.uk/cru/data/temperature/#datter and ftp://ftp.cmdl.noaa.gov/)

• European Climate Assessment & Dataset

  • 链接: European Climate Assessment & Dataset

• Global Climate Data Since 1929

  • 链接: Global Climate Data Since 1929

• NASA Global Imagery Browse Services

  • 链接: NASA Global Imagery Browse Services

• NOAA Climate Datasets

  • 链接: NOAA Climate Datasets

• NOAA Realtime Weather Models

  • 链接: NOAA Realtime Weather Models

• NOAA SURFRAD Meteorology and Radiation Datasets

  • 链接: NOAA SURFRAD Meteorology and Radiation Datasets

• The World Bank Open Data Resources for Climate Change

  • 链接: The World Bank Open Data Resources for Climate Change

• UEA Climatic Research Unit

  • 链接: UEA Climatic Research Unit

• WU Historical Weather Worldwide

  • 链接: WU Historical Weather Worldwide

• WorldClim - Global Climate Data

  • 链接: WorldClim - Global Climate Data

复杂网络

• AMiner Citation Network Dataset

  • 链接: AMiner Citation Network Dataset

• CrossRef DOI URLs

  • 链接: CrossRef DOI URLs

• DBLP Citation dataset

  • 链接: DBLP Citation dataset

• DIMACS Road Networks Collection

  • 链接: DIMACS Road Networks Collection

• NBER Patent Citations

  • 链接: NBER Patent Citations

• NIST complex networks data collection

  • 链接: NIST complex networks data collection

• Network Repository with Interactive Exploratory Analysis Tools

  • 链接: Network Repository with Interactive Exploratory Analysis Tools

• Protein-protein interaction network

  • 链接: Protein-protein interaction network

• PyPI and Maven Dependency Network

  • 链接: PyPI and Maven Dependency Network

• Scopus Citation Database

  • 链接: Scopus Citation Database

• Small Network Data

  • 链接: Small Network Data

• Stanford GraphBase

  • 链接: Stanford GraphBase

• Stanford Large Network Dataset Collection

  • 链接: Stanford Large Network Dataset Collection

• Stanford Longitudinal Network Data Sources

  • 链接: Stanford Longitudinal Network Data Sources

• The Koblenz Network Collection

  • 链接: The Koblenz Network Collection

• The Laboratory for Web Algorithmics (UNIMI)

  • 链接: The Laboratory for Web Algorithmics (UNIMI)

• UCI Network Data Repository

  • 链接: UCI Network Data Repository

• UFL sparse matrix collection

  • 链接: UFL sparse matrix collection

• WSU Graph Database

  • 链接: WSU Graph Database

计算机网络

• 3.5B Web Pages from CommonCrawl 2012

  • 链接: 3.5B Web Pages from CommonCrawl 2012

搜集汇总

数据集介绍

构建方式

Awesome Public Datasets 是一个高质量公共数据源的聚合列表，涵盖了多个领域的主题。该数据集的构建方式主要依赖于从博客、问答平台和用户反馈中收集和整理的数据源。数据集通过自动化工具 `apd-core` 生成，确保了数据的更新和维护的规范性。贡献者可以通过指定的方式提交新的数据源，确保数据集的持续扩展和优化。

特点

该数据集的特点在于其广泛的覆盖范围和高质量的数据源。它涵盖了农业、生物学、气候、复杂网络、计算机科学、经济学、教育、能源、金融、地理信息系统等多个领域。每个数据源都经过严格的筛选和分类，确保其可用性和可靠性。此外，数据集中的大部分数据源是免费的，部分数据源可能需要付费或特殊权限。

使用方法

使用 Awesome Public Datasets 时，用户可以通过 GitHub 页面浏览不同领域的数据源。每个数据源都附有详细的描述和链接，用户可以直接访问相关网站获取数据。数据集还提供了分类和标签功能，便于用户快速找到所需的数据。对于开发者，可以通过 `apd-core` 工具贡献新的数据源或修复现有数据源的问题，确保数据集的持续更新和改进。

背景与挑战

背景概述

Awesome Public Datasets 是一个由社区驱动的公共数据集集合，旨在为研究人员、开发者和数据科学家提供高质量、多领域的开放数据资源。该数据集由 awesomedata 组织维护，涵盖了从生物学、气候、经济到计算机科学等多个学科的数据集。其创建初衷是为了简化数据获取过程，促进跨学科的研究合作。通过整合来自博客、用户反馈和其他开放数据源的信息，Awesome Public Datasets 已成为全球范围内广泛使用的数据集索引之一，极大地推动了数据驱动的科学研究和技术创新。

当前挑战

Awesome Public Datasets 面临的主要挑战包括数据集的多样性与质量的不一致性。由于数据集来源广泛，部分数据的格式、更新频率和完整性存在差异，这给用户的数据预处理和分析带来了额外的复杂性。此外，数据集的可访问性和许可问题也是潜在挑战，部分数据集可能受到访问限制或使用条款的约束。在构建过程中，维护团队需要不断验证和更新数据集链接，确保其有效性和相关性，同时还需应对数据源的动态变化，如数据集的下架或迁移。这些挑战要求维护者具备高度的技术能力和持续的资源投入。

常用场景

经典使用场景

Awesome Public Datasets 作为一个高质量公共数据源的聚合平台，广泛应用于数据科学、机器学习和人工智能领域的研究与开发。其经典使用场景包括数据挖掘、模型训练和算法验证。研究人员和开发者可以通过该平台获取来自多个领域的公开数据集，如生物学、气候、经济和计算机科学等，从而加速科研进程和技术创新。

实际应用

在实际应用中，Awesome Public Datasets 为企业和政府机构提供了丰富的数据资源，支持决策制定和业务优化。例如，城市数据可用于智慧城市建设，气候数据可用于环境监测和灾害预警，经济数据可用于市场分析和政策制定。这些数据不仅帮助提升公共服务的效率，还为商业智能和数据分析提供了坚实的基础。

衍生相关工作

该数据集衍生了许多经典的研究工作和技术工具。例如，基于其提供的基因组数据，研究人员开发了新的生物信息学算法；利用其城市数据，学者们构建了智能交通系统模型；而其经济数据则被广泛应用于宏观经济分析和预测模型的构建。这些衍生工作不仅推动了相关领域的技术进步，还为学术界和工业界提供了宝贵的参考和工具。