awesome-public-datasets

一个主题中心的高质量开放数据集列表，涵盖农业、生物学等多个领域。

A high-quality open dataset list centered around various themes, covering multiple fields such as agriculture and biology.

原始信息汇总

数据集概述

农业

• Hyperspectral benchmark dataset on soil moisture: 数据集链接: Hyperspectral benchmark dataset on soil moisture
• U.S. Department of Agricultures Nutrient Database: 数据集链接: U.S. Department of Agricultures Nutrient Database
• U.S. Department of Agricultures PLANTS Database: 数据集链接: U.S. Department of Agricultures PLANTS Database

生物学

• 1000 Genomes: 数据集链接: 1000 Genomes
• American Gut (Microbiome Project): 数据集链接: American Gut (Microbiome Project)
• Broad Bioimage Benchmark Collection (BBBC): 数据集链接: Broad Bioimage Benchmark Collection (BBBC)
• Broad Cancer Cell Line Encyclopedia (CCLE): 数据集链接: Broad Cancer Cell Line Encyclopedia (CCLE)
• Cell Image Library: 数据集链接: Cell Image Library
• Complete Genomics Public Data: 数据集链接: Complete Genomics Public Data
• EBI ArrayExpress: 数据集链接: EBI ArrayExpress
• EBI Protein Data Bank in Europe: 数据集链接: EBI Protein Data Bank in Europe
• ENCODE project: 数据集链接: ENCODE project
• Electron Microscopy Pilot Image Archive (EMPIAR): 数据集链接: Electron Microscopy Pilot Image Archive (EMPIAR)
• Ensembl Genomes: 数据集链接: Ensembl Genomes
• Gene Expression Omnibus (GEO): 数据集链接: Gene Expression Omnibus (GEO)
• Gene Ontology (GO) - GO annotation files: 数据集链接: Gene Ontology (GO) - GO annotation files
• Global Biotic Interactions (GloBI): 数据集链接: Global Biotic Interactions (GloBI)
• Harvard Medical School (HMS) LINCS Project: 数据集链接: Harvard Medical School (HMS) LINCS Project
• Human Genome Diversity Project: 数据集链接: Human Genome Diversity Project
• Human Microbiome Project (HMP): 数据集链接: Human Microbiome Project (HMP)
• ICOS PSP Benchmark: 数据集链接: ICOS PSP Benchmark
• International HapMap Project: 数据集链接: International HapMap Project
• Journal of Cell Biology DataViewer: 数据集链接: Journal of Cell Biology DataViewer
• KEGG - KEGG is a database resource for understanding high-level functions [...]: 数据集链接: KEGG
• MIT Cancer Genomics Data: 数据集链接: MIT Cancer Genomics Data
• NCBI Proteins: 数据集链接: NCBI Proteins
• NCBI Taxonomy: 数据集链接: NCBI Taxonomy
• NCI Genomic Data Commons: 数据集链接: NCI Genomic Data Commons
• NIH Microarray data: 数据集链接: NIH Microarray data
• OpenSNP genotypes data: 数据集链接: OpenSNP genotypes data
• Pathguid - Protein-Protein Interactions Catalog: 数据集链接: Pathguid - Protein-Protein Interactions Catalog
• Protein Data Bank: 数据集链接: Protein Data Bank
• Psychiatric Genomics Consortium: 数据集链接: Psychiatric Genomics Consortium
• PubChem Project: 数据集链接: PubChem Project
• PubGene (now Coremine Medical): 数据集链接: PubGene (now Coremine Medical)
• Sanger Catalogue of Somatic Mutations in Cancer (COSMIC): 数据集链接: Sanger Catalogue of Somatic Mutations in Cancer (COSMIC)
• Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC): 数据集链接: Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC)
• Sequence Read Archive(SRA): 数据集链接: Sequence Read Archive(SRA)
• Stanford Microarray Data: 数据集链接: Stanford Microarray Data
• Stowers Institute Original Data Repository: 数据集链接: Stowers Institute Original Data Repository
• Systems Science of Biological Dynamics (SSBD) Database: 数据集链接: Systems Science of Biological Dynamics (SSBD) Database
• The Cancer Genome Atlas (TCGA), available via Broad GDAC: 数据集链接: The Cancer Genome Atlas (TCGA), available via Broad GDAC
• The Catalogue of Life: 数据集链接: The Catalogue of Life
• The Personal Genome Project: 数据集链接: The Personal Genome Project
• UCSC Public Data: 数据集链接: UCSC Public Data
• UniGene: 数据集链接: UniGene
• Universal Protein Resource (UnitProt): 数据集链接: Universal Protein Resource (UnitProt)

气候+天气

• Actuaries Climate Index: 数据集链接: Actuaries Climate Index
• Australian Weather: 数据集链接: Australian Weather
• Aviation Weather Center - Consistent, timely and accurate weather [...]: 数据集链接: Aviation Weather Center - Consistent, timely and accurate weather [...]
• Brazilian Weather - Historical data (In Portuguese) - Data related to [...]: 数据集链接: Brazilian Weather - Historical data (In Portuguese) - Data related to [...]
• Canadian Meteorological Centre: 数据集链接: Canadian Meteorological Centre
• Climate Data from UEA (updated monthly): 数据集链接: Climate Data from UEA (updated monthly)
• European Climate Assessment & Dataset: 数据集链接: European Climate Assessment & Dataset
• Global Climate Data Since 1929: 数据集链接: Global Climate Data Since 1929
• NASA Global Imagery Browse Services: 数据集链接: NASA Global Imagery Browse Services
• NOAA Bering Sea Climate: 数据集链接: NOAA Bering Sea Climate
• NOAA Climate Datasets: 数据集链接: NOAA Climate Datasets
• NOAA Realtime Weather Models: 数据集链接: NOAA Realtime Weather Models
• NOAA SURFRAD Meteorology and Radiation Datasets: 数据集链接: NOAA SURFRAD Meteorology and Radiation Datasets
• The World Bank Open Data Resources for Climate Change: 数据集链接: The World Bank Open Data Resources for Climate Change
• UEA Climatic Research Unit: 数据集链接: UEA Climatic Research Unit
• WU Historical Weather Worldwide: 数据集链接: WU Historical Weather Worldwide
• WorldClim - Global Climate Data: 数据集链接: WorldClim - Global Climate Data

复杂网络

• AMiner Citation Network Dataset: 数据集链接: AMiner Citation Network Dataset
• CrossRef DOI URLs: 数据集链接: CrossRef DOI URLs
• DBLP Citation dataset: 数据集链接: DBLP Citation dataset
• DIMACS Road Networks Collection: 数据集链接: DIMACS Road Networks Collection
• NBER Patent Citations: 数据集链接: NBER Patent Citations
• NIST complex networks data collection: 数据集链接: NIST complex networks data collection
• Network Repository with Interactive Exploratory Analysis Tools: 数据集链接: Network Repository with Interactive Exploratory Analysis Tools
• Protein-protein interaction network: 数据集链接: Protein-protein interaction network
• PyPI and Maven Dependency Network: 数据集链接: PyPI and Maven Dependency Network
• Scopus Citation Database: 数据集链接: Scopus Citation Database
• Small Network Data: 数据集链接: Small Network Data
• Stanford GraphBase: 数据集链接: Stanford GraphBase
• Stanford Large Network Dataset Collection: 数据集链接: Stanford Large Network Dataset Collection
• Stanford Longitudinal Network Data Sources: 数据集链接: Stanford Longitudinal Network Data Sources
• The Koblenz Network Collection: 数据集链接: The Koblenz Network Collection
• The Laboratory for Web Algorithmics (UNIMI): 数据集链接: The Laboratory for Web Algorithmics (UNIMI)
• UCI Network Data Repository: 数据集链接: UCI Network Data Repository
• UFL sparse matrix collection: 数据集链接: UFL sparse matrix collection
• WSU Graph Database: 数据集链接: WSU Graph Database

计算机网络

• 3.5B Web Pages from CommonCrawl 2012: 数据集链接: 3.5B Web Pages from CommonCrawl 2012
• 53.5B Web clicks of 100K users in Indiana Univ.: 数据集链接: 53.5B Web clicks of 100K users in Indiana Univ.
• CAIDA Internet Datasets: 数据集链接: CAIDA Internet Datasets
• CRAWDAD Wireless datasets from Dartmouth Univ.: 数据集链接: CRAWDAD Wireless datasets from Dartmouth Univ.
• ClueWeb09 - 1B web pages: 数据集链接: ClueWeb09 - 1B web pages
• ClueWeb12 - 733M web pages: 数据集链接: ClueWeb12 - 733M web pages
• CommonCrawl Web Data over 7 years: 数据集链接: CommonCrawl Web Data over 7 years
• Criteo click-through data: 数据集链接: Criteo click-through data
• Internet-Wide Scan Data Repository: 数据集链接: Internet-Wide Scan Data Repository
• OONI: Open Observatory of Network Interference - Internet censorship data: 数据集链接: OONI: Open Observatory of Network Interference - Internet censorship data
• Open Mobile Data by MobiPerf: 数据集链接: Open Mobile Data by MobiPerf
• The Peer-to-Peer Trace Archive - Real-world measurements play a key role [...]: 数据集链接: The Peer-to-Peer Trace Archive - Real-world measurements play a key role [...]
• **Rapid7 Sonar Internet Sc

搜集汇总

数据集介绍

构建方式

Awesome Public Datasets 数据集通过自动化工具 `apd-core` 生成，确保了数据集的持续更新与维护。该工具从博客、问答平台及用户反馈中收集高质量的主题中心化公共数据源，并对其进行整理与分类。数据集的内容涵盖了多个领域，如农业、生物学、气候与天气等，且大多数数据源为免费提供，部分数据源则需付费获取。

特点

该数据集的特点在于其广泛的数据覆盖范围与高质量的数据源。数据集不仅涵盖了多个学科领域，还提供了丰富的数据类型，包括基因组数据、气候数据、网络数据等。此外，数据集中的每个条目都经过严格的筛选与验证，确保数据的可靠性与实用性。数据集还支持社区贡献，用户可以通过指定的方式提交新的数据源，进一步丰富了数据集的内容。

使用方法

用户可以通过访问 GitHub 上的 Awesome Public Datasets 项目页面，浏览并下载所需的数据集。数据集按主题分类，用户可以根据需求快速定位到相关领域的数据源。每个数据源条目都附有详细的描述与链接，用户可以直接访问原始数据源进行下载或进一步研究。此外，数据集还提供了自动化工具 `apd-core` 的使用指南，用户可以通过该工具贡献新的数据源或修复现有条目中的问题。

背景与挑战

背景概述

Awesome Public Datasets 是一个由社区驱动的公共数据集集合，旨在为研究人员、数据科学家和开发者提供高质量、多领域的开放数据资源。该数据集由 awesomedata 组织维护，涵盖了从农业、生物学到气候、经济等多个领域的丰富数据。其创建初衷是为了解决数据获取的分散性和不一致性问题，通过集中整理和分类，帮助用户快速找到所需的数据集。自推出以来，Awesome Public Datasets 已成为数据科学领域的重要参考资源，极大地促进了跨学科研究和数据驱动决策的发展。

当前挑战

Awesome Public Datasets 面临的主要挑战包括数据集的多样性和质量控制的复杂性。首先，由于数据集来源广泛，涵盖领域众多，如何确保数据的准确性和一致性是一个持续的难题。其次，数据集更新频率不一，部分数据可能过时或不再维护，这给用户带来了使用上的不便。此外，尽管大多数数据集是免费的，但仍有部分数据集涉及版权或访问限制，这在一定程度上限制了其广泛应用。最后，随着数据量的不断增加，如何高效地管理和索引这些数据集，以提供更好的用户体验，也是该项目需要持续改进的方向。

常用场景

经典使用场景

awesome-public-datasets 数据集广泛应用于多个领域的研究与开发，尤其是在数据科学、机器学习和人工智能领域。研究人员和开发者可以通过该数据集快速获取高质量、多样化的公共数据资源，从而加速模型的训练与验证过程。该数据集涵盖了从农业、生物学到气候、经济等多个学科的数据，为跨学科研究提供了丰富的数据支持。

衍生相关工作

基于 awesome-public-datasets 数据集，许多经典的研究工作得以展开。例如，在机器学习领域，研究人员利用该数据集中的图像和文本数据开发了多个先进的深度学习模型。在生物信息学领域，该数据集为基因组学和蛋白质组学研究提供了重要的数据支持。此外，该数据集还催生了许多开源工具和平台，进一步推动了数据科学的发展。

数据集最近研究

最新研究方向

近年来，awesome-public-datasets数据集在多个领域的研究中展现了其广泛的应用价值。特别是在生物学和气候科学领域，数据集的使用推动了基因组学、微生物组研究以及气候变化模型的进一步发展。例如，1000 Genomes项目和Human Microbiome Project的数据为个性化医疗和疾病预防提供了重要支持。同时，NOAA和NASA提供的气候数据集在全球变暖、极端天气事件预测等方面发挥了关键作用。此外，随着复杂网络研究的兴起，数据集中的网络结构数据（如AMiner Citation Network）为社交网络分析、推荐系统等前沿研究提供了丰富的基础资源。这些研究方向不仅推动了科学技术的进步，也为政策制定和可持续发展提供了数据支持。