Awesome Public Datasets

一个主题中心的高质量公开数据集列表，收集并整理自博客、答案和用户反馈。

A curated list of high-quality public datasets centered around specific themes, compiled from blogs, answers, and user feedback.

原始信息汇总

数据集概述

农业

• U.S. Department of Agricultures Nutrient Database

  • 链接: U.S. Department of Agricultures Nutrient Database

• U.S. Department of Agricultures PLANTS Database

  • 链接: U.S. Department of Agricultures PLANTS Database

生物学

• 1000 Genomes

  • 链接: 1000 Genomes

• American Gut (Microbiome Project)

  • 链接: American Gut (Microbiome Project)

• Broad Bioimage Benchmark Collection (BBBC)

  • 链接: Broad Bioimage Benchmark Collection (BBBC)

• Broad Cancer Cell Line Encyclopedia (CCLE)

  • 链接: Broad Cancer Cell Line Encyclopedia (CCLE)

• Cell Image Library

  • 链接: Cell Image Library

• Complete Genomics Public Data

  • 链接: Complete Genomics Public Data

• EBI ArrayExpress

  • 链接: EBI ArrayExpress

• EBI Protein Data Bank in Europe

  • 链接: EBI Protein Data Bank in Europe

• ENCODE project

  • 链接: ENCODE project

• Electron Microscopy Pilot Image Archive (EMPIAR)

  • 链接: Electron Microscopy Pilot Image Archive (EMPIAR)

• Ensembl Genomes

  • 链接: Ensembl Genomes

• Gene Expression Omnibus (GEO)

  • 链接: Gene Expression Omnibus (GEO)

• Gene Ontology (GO)

  • 链接: Gene Ontology (GO)

• Global Biotic Interactions (GloBI)

  • 链接: Global Biotic Interactions (GloBI)

• Harvard Medical School (HMS) LINCS Project

  • 链接: Harvard Medical School (HMS) LINCS Project

• Human Genome Diversity Project

  • 链接: Human Genome Diversity Project

• Human Microbiome Project (HMP)

  • 链接: Human Microbiome Project (HMP)

• ICOS PSP Benchmark

  • 链接: ICOS PSP Benchmark

• International HapMap Project

  • 链接: International HapMap Project

• Journal of Cell Biology DataViewer

  • 链接: Journal of Cell Biology DataViewer

• KEGG - KEGG is a database resource for understanding high-level functions [...]

  • 链接: KEGG - KEGG is a database resource for understanding high-level functions [...]

• MIT Cancer Genomics Data

  • 链接: MIT Cancer Genomics Data

• NCBI Proteins

  • 链接: NCBI Proteins

• NCBI Taxonomy

  • 链接: NCBI Taxonomy

• NCI Genomic Data Commons

  • 链接: NCI Genomic Data Commons

• NIH Microarray data

  • 链接: NIH Microarray data
  • 状态: 待修复

• OpenSNP genotypes data

  • 链接: OpenSNP genotypes data

• Pathguid - Protein-Protein Interactions Catalog

  • 链接: Pathguid - Protein-Protein Interactions Catalog

• Protein Data Bank

  • 链接: Protein Data Bank

• Psychiatric Genomics Consortium

  • 链接: Psychiatric Genomics Consortium

• PubChem Project

  • 链接: PubChem Project

• PubGene (now Coremine Medical)

  • 链接: PubGene (now Coremine Medical)

• Sanger Catalogue of Somatic Mutations in Cancer (COSMIC)

  • 链接: Sanger Catalogue of Somatic Mutations in Cancer (COSMIC)

• Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC)

  • 链接: Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC)

• Sequence Read Archive(SRA)

  • 链接: Sequence Read Archive(SRA)

• Stanford Microarray Data

  • 链接: Stanford Microarray Data
  • 状态: 待修复

• Stowers Institute Original Data Repository

  • 链接: Stowers Institute Original Data Repository

• Systems Science of Biological Dynamics (SSBD) Database

  • 链接: Systems Science of Biological Dynamics (SSBD) Database

• The Cancer Genome Atlas (TCGA), available via Broad GDAC

  • 链接: The Cancer Genome Atlas (TCGA), available via Broad GDAC

• The Catalogue of Life

  • 链接: The Catalogue of Life

• The Personal Genome Project

  • 链接: The Personal Genome Project

• UCSC Public Data

  • 链接: UCSC Public Data

• UniGene

  • 链接: UniGene

• Universal Protein Resource (UnitProt)

  • 链接: Universal Protein Resource (UnitProt)

气候+天气

• Actuaries Climate Index

  • 链接: Actuaries Climate Index

• Australian Weather

  • 链接: Australian Weather

• Aviation Weather Center - Consistent, timely and accurate weather [...]

  • 链接: Aviation Weather Center - Consistent, timely and accurate weather [...]

• Brazilian Weather - Historical data (In Portuguese)

  • 链接: Brazilian Weather - Historical data (In Portuguese)

• Canadian Meteorological Centre

  • 链接: Canadian Meteorological Centre

• Climate Data from UEA (updated monthly)

  • 链接: [Climate Data from UEA (updated monthly)](https://crudata.uea.ac.uk/cru/data/temperature/#datter and ftp://ftp.cmdl.noaa.gov/)

• European Climate Assessment & Dataset

  • 链接: European Climate Assessment & Dataset
  • 状态: 待修复

• Global Climate Data Since 1929

  • 链接: Global Climate Data Since 1929

• NASA Global Imagery Browse Services

  • 链接: NASA Global Imagery Browse Services

• NOAA Bering Sea Climate

  • 链接: NOAA Bering Sea Climate

• NOAA Climate Datasets

  • 链接: NOAA Climate Datasets

• NOAA Realtime Weather Models

  • 链接: NOAA Realtime Weather Models

• NOAA SURFRAD Meteorology and Radiation Datasets

  • 链接: NOAA SURFRAD Meteorology and Radiation Datasets

• The World Bank Open Data Resources for Climate Change

  • 链接: The World Bank Open Data Resources for Climate Change

• UEA Climatic Research Unit

  • 链接: UEA Climatic Research Unit

• WU Historical Weather Worldwide

  • 链接: WU Historical Weather Worldwide

• WorldClim - Global Climate Data

  • 链接: WorldClim - Global Climate Data

复杂网络

• AMiner Citation Network Dataset

  • 链接: AMiner Citation Network Dataset

• CrossRef DOI URLs

  • 链接: CrossRef DOI URLs

• DBLP Citation dataset

  • 链接: DBLP Citation dataset
  • 状态: 待修复

• DIMACS Road Networks Collection

  • 链接: DIMACS Road Networks Collection

• NBER Patent Citations

  • 链接: NBER Patent Citations

• NIST complex networks data collection

  • 链接: NIST complex networks data collection

• Network Repository with Interactive Exploratory Analysis Tools

  • 链接: Network Repository with Interactive Exploratory Analysis Tools

• Protein-protein interaction network

  • 链接: Protein-protein interaction network

• PyPI and Maven Dependency Network

  • 链接: PyPI and Maven Dependency Network

• Scopus Citation Database

  • 链接: Scopus Citation Database

• Small Network Data

  • 链接: Small Network Data

• Stanford GraphBase

  • 链接: Stanford GraphBase

• Stanford Large Network Dataset Collection

  • 链接: Stanford Large Network Dataset Collection

• Stanford Longitudinal Network Data Sources

  • 链接: Stanford Longitudinal Network Data Sources

• The Koblenz Network Collection

  • 链接: The Koblenz Network Collection

• The Laboratory for Web Algorithmics (UNIMI)

  • 链接: The Laboratory for Web Algorithmics (UNIMI)

• The Nexus Network Repository

  • 链接: The Nexus Network Repository
  • 状态: 待修复

• UCI Network Data Repository

  • 链接: UCI Network Data Repository

• UFL sparse matrix collection

  • 链接: UFL sparse matrix collection

• WSU Graph Database

  • 链接: WSU Graph Database

计算机网络

• 3.5B Web Pages from CommonCrawl 2012

  • 链接: 3.5B Web Pages from CommonCrawl 2012

• 53.5B Web clicks of 100K users in Indiana Univ.

  • 链接: 53.5B Web clicks of 100K users in Indiana Univ.

• CAIDA Internet Datasets

  • 链接: CAIDA Internet Datasets

• CRAWDAD Wireless datasets from Dartmouth Univ.

  • 链接: CRAWDAD Wireless datasets from Dartmouth Univ.

• ClueWeb09 - 1B web pages

  • 链接: ClueWeb09 - 1B web pages

• ClueWeb12 - 733M web pages

  • 链接: ClueWeb12 - 733M web pages

• CommonCrawl Web Data over 7 years

  • 链接: CommonCrawl Web Data over 7 years

• Criteo click-through data

  • 链接: Criteo click-through data

• Internet-Wide Scan Data Repository

  • 链接: [Internet

搜集汇总

数据集介绍

构建方式

Awesome Public Datasets 是一个由社区驱动的开源项目，旨在收集和整理互联网上高质量的主题中心公共数据源。该数据集通过自动化脚本从博客、回答和用户响应中收集和整理而来，确保了数据的多样性和可用性。

使用方法

用户可以通过数据集的GitHub详情页面了解每个数据集的具体信息，包括数据集的描述、构建方式、使用说明等。用户可以直接从提供的链接下载数据集，或根据数据集的文档进行相应的数据处理和分析。

背景与挑战

背景概述

Awesome Public Datasets是一个由社区维护的、收录了众多高质量公共数据集的项目，旨在为研究人员、数据科学家和开发者提供方便的数据资源。该项目创建于2013年，由sindresorhus在GitHub上发起，汇集了来自不同领域的公共数据集。这些数据集主要来源于学术研究、政府机构、非营利组织等，覆盖了从生物学、气候学、复杂网络到金融、地理信息系统等多个学科领域。Awesome Public Datasets的创建极大地促进了数据共享，对相关领域的研究产生了积极影响。

当前挑战

尽管Awesome Public Datasets为数据共享提供了便利，但在构建和维护过程中也面临了一些挑战。首先，数据集的质量和准确性是关键，需要不断验证和更新。其次，由于数据集来源广泛，整合和标准化数据格式是一项复杂的工作。此外，数据隐私和安全性的问题也需要重视，尤其是在处理个人或敏感数据时。最后，随着数据量的增长，如何高效地存储、索引和访问数据，以及如何确保数据的长期可用性，都是需要解决的问题。

常用场景

经典使用场景

Awesome Public Datasets 作为数据集的集合，其经典使用场景主要集中于为研究人员、数据科学家和开发者提供一站式资源，以便他们能够轻松地发现和访问各种领域的高质量公共数据集。这些数据集广泛应用于学术研究、商业智能分析、政府决策支持以及教育等多个领域。

解决学术问题

该数据集解决了学术研究中数据获取和整合的难题，使得研究人员可以更专注于数据分析本身，而不是花费大量时间在数据的搜集和清洗上。它涵盖了从生物学、气候科学到社会科学等众多学科的数据资源，极大地促进了跨学科的研究工作。

实际应用

在实际应用中，Awesome Public Datasets 被用于构建数据分析模型、支持商业决策、增强教育资源的丰富性以及推动政府开放数据的进程。企业利用这些数据集进行市场分析和产品开发，政府部门则利用它们来提升公共服务的质量和效率。

数据集最近研究

最新研究方向

Awesome Public Datasets数据集涵盖了广泛的研究领域，包括生物学、气候与天气、复杂网络、计算机网络、数据挑战、地球科学、经济学、教育、能源、金融和地理信息系统等。在生物学领域，如1000 Genomes项目和American Gut微生物组项目等数据集，为基因组和微生物组研究提供了重要资源。气候与天气领域的数据集，如NOAA气候数据集，为气候研究和天气预报提供了支持。复杂网络和计算机网络的领域，例如Stanford Large Network Dataset Collection，为网络科学和互联网研究提供了丰富的数据。数据挑战领域，如Kaggle竞赛数据，推动了机器学习和数据科学的发展。地球科学领域的数据集，如Smithsonian Institution Global Volcano and Eruption Database，为火山研究和地质学提供了数据支持。经济学领域的数据集，如American Economic Association，为经济研究提供了详实的数据资源。教育领域的College Scorecard Data数据集，为教育评估和决策提供了依据。能源领域的数据集，如EIA，为能源市场分析和政策制定提供了数据。金融领域的Google Finance和Yahoo Finance等数据集，为金融市场研究和投资决策提供了信息。GIS领域的GeoNames Worldwide，为地理信息系统研究和应用提供了全球地点数据。这些数据集在本领域的前沿研究方向中扮演着重要角色，为相关研究提供了基础数据和热点事件的洞察，对学术界和行业界都产生了深远的影响。