多个数据集

这是一个主题中心的高质量公开数据集列表，收集并整理了来自博客、答案和用户响应的数据源。

This is a high-quality public dataset list centered around specific themes, which collects and organizes data sources from blogs, answers, and user responses.

原始信息汇总

数据集概述

农业

• Hyperspectral benchmark dataset on soil moisture: 链接: Hyperspectral benchmark dataset on soil moisture
• U.S. Department of Agricultures Nutrient Database: 链接: U.S. Department of Agricultures Nutrient Database
• U.S. Department of Agricultures PLANTS Database: 链接: U.S. Department of Agricultures PLANTS Database

生物学

• 1000 Genomes: 链接: 1000 Genomes
• American Gut (Microbiome Project): 链接: American Gut (Microbiome Project)
• Broad Bioimage Benchmark Collection (BBBC): 链接: Broad Bioimage Benchmark Collection (BBBC)
• Broad Cancer Cell Line Encyclopedia (CCLE): 链接: Broad Cancer Cell Line Encyclopedia (CCLE)
• Cell Image Library: 链接: Cell Image Library
• Complete Genomics Public Data: 链接: Complete Genomics Public Data
• EBI ArrayExpress: 链接: EBI ArrayExpress
• EBI Protein Data Bank in Europe: 链接: EBI Protein Data Bank in Europe
• ENCODE project: 链接: ENCODE project
• Electron Microscopy Pilot Image Archive (EMPIAR): 链接: Electron Microscopy Pilot Image Archive (EMPIAR)
• Ensembl Genomes: 链接: Ensembl Genomes
• Gene Expression Omnibus (GEO): 链接: Gene Expression Omnibus (GEO)
• Gene Ontology (GO) - GO annotation files: 链接: Gene Ontology (GO) - GO annotation files
• Global Biotic Interactions (GloBI): 链接: Global Biotic Interactions (GloBI)
• Harvard Medical School (HMS) LINCS Project: 链接: Harvard Medical School (HMS) LINCS Project
• Human Genome Diversity Project: 链接: Human Genome Diversity Project
• Human Microbiome Project (HMP): 链接: Human Microbiome Project (HMP)
• ICOS PSP Benchmark: 链接: ICOS PSP Benchmark
• International HapMap Project: 链接: International HapMap Project
• Journal of Cell Biology DataViewer: 链接: Journal of Cell Biology DataViewer
• KEGG - KEGG is a database resource for understanding high-level functions [...]: 链接: KEGG - KEGG is a database resource for understanding high-level functions [...]
• MIT Cancer Genomics Data: 链接: MIT Cancer Genomics Data
• NCBI Proteins: 链接: NCBI Proteins
• NCBI Taxonomy: 链接: NCBI Taxonomy
• NCI Genomic Data Commons: 链接: NCI Genomic Data Commons
• NIH Microarray data: 链接: NIH Microarray data
• OpenSNP genotypes data: 链接: OpenSNP genotypes data
• Pathguid - Protein-Protein Interactions Catalog: 链接: Pathguid - Protein-Protein Interactions Catalog
• Protein Data Bank: 链接: Protein Data Bank
• Psychiatric Genomics Consortium: 链接: Psychiatric Genomics Consortium
• PubChem Project: 链接: PubChem Project
• PubGene (now Coremine Medical): 链接: PubGene (now Coremine Medical)
• Sanger Catalogue of Somatic Mutations in Cancer (COSMIC): 链接: Sanger Catalogue of Somatic Mutations in Cancer (COSMIC)
• Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC): 链接: Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC)
• Sequence Read Archive(SRA): 链接: Sequence Read Archive(SRA)
• Stanford Microarray Data: 链接: Stanford Microarray Data
• Stowers Institute Original Data Repository: 链接: Stowers Institute Original Data Repository
• Systems Science of Biological Dynamics (SSBD) Database: 链接: Systems Science of Biological Dynamics (SSBD) Database
• The Cancer Genome Atlas (TCGA), available via Broad GDAC: 链接: The Cancer Genome Atlas (TCGA), available via Broad GDAC
• The Catalogue of Life: 链接: The Catalogue of Life
• The Personal Genome Project: 链接: The Personal Genome Project
• UCSC Public Data: 链接: UCSC Public Data
• UniGene: 链接: UniGene
• Universal Protein Resource (UnitProt): 链接: Universal Protein Resource (UnitProt)

气候+天气

• Actuaries Climate Index: 链接: Actuaries Climate Index
• Australian Weather: 链接: Australian Weather
• Aviation Weather Center - Consistent, timely and accurate weather [...]: 链接: Aviation Weather Center - Consistent, timely and accurate weather [...]
• Brazilian Weather - Historical data (In Portuguese) - Data related to [...]: 链接: Brazilian Weather - Historical data (In Portuguese) - Data related to [...]
• Canadian Meteorological Centre: 链接: Canadian Meteorological Centre
• Climate Data from UEA (updated monthly): 链接: Climate Data from UEA (updated monthly)
• European Climate Assessment & Dataset: 链接: European Climate Assessment & Dataset
• Global Climate Data Since 1929: 链接: Global Climate Data Since 1929
• NASA Global Imagery Browse Services: 链接: NASA Global Imagery Browse Services
• NOAA Bering Sea Climate: 链接: NOAA Bering Sea Climate
• NOAA Climate Datasets: 链接: NOAA Climate Datasets
• NOAA Realtime Weather Models: 链接: NOAA Realtime Weather Models
• NOAA SURFRAD Meteorology and Radiation Datasets: 链接: NOAA SURFRAD Meteorology and Radiation Datasets
• The World Bank Open Data Resources for Climate Change: 链接: The World Bank Open Data Resources for Climate Change
• UEA Climatic Research Unit: 链接: UEA Climatic Research Unit
• WU Historical Weather Worldwide: 链接: WU Historical Weather Worldwide
• WorldClim - Global Climate Data: 链接: WorldClim - Global Climate Data

复杂网络

• AMiner Citation Network Dataset: 链接: AMiner Citation Network Dataset
• CrossRef DOI URLs: 链接: CrossRef DOI URLs
• DBLP Citation dataset: 链接: DBLP Citation dataset
• DIMACS Road Networks Collection: 链接: DIMACS Road Networks Collection
• NBER Patent Citations: 链接: NBER Patent Citations
• NIST complex networks data collection: 链接: NIST complex networks data collection
• Network Repository with Interactive Exploratory Analysis Tools: 链接: Network Repository with Interactive Exploratory Analysis Tools
• Protein-protein interaction network: 链接: Protein-protein interaction network
• PyPI and Maven Dependency Network: 链接: PyPI and Maven Dependency Network
• Scopus Citation Database: 链接: Scopus Citation Database
• Small Network Data: 链接: Small Network Data
• Stanford GraphBase: 链接: Stanford GraphBase
• Stanford Large Network Dataset Collection: 链接: Stanford Large Network Dataset Collection
• Stanford Longitudinal Network Data Sources: 链接: Stanford Longitudinal Network Data Sources
• The Koblenz Network Collection: 链接: The Koblenz Network Collection
• The Laboratory for Web Algorithmics (UNIMI): 链接: The Laboratory for Web Algorithmics (UNIMI)
• UCI Network Data Repository: 链接: UCI Network Data Repository
• UFL sparse matrix collection: 链接: UFL sparse matrix collection
• WSU Graph Database: 链接: WSU Graph Database

计算机网络

• 3.5B Web Pages from CommonCrawl 2012: 链接: 3.5B Web Pages from CommonCrawl 2012
• 53.5B Web clicks of 100K users in Indiana Univ.: 链接: 53.5B Web clicks of 100K users in Indiana Univ.
• CAIDA Internet Datasets: 链接: CAIDA Internet Datasets
• CRAWDAD Wireless datasets from Dartmouth Univ.: 链接: CRAWDAD Wireless datasets from Dartmouth Univ.
• ClueWeb09 - 1B web pages: 链接: ClueWeb09 - 1B web pages
• ClueWeb12 - 733M web pages: 链接: ClueWeb12 - 733M web pages
• CommonCrawl Web Data over 7 years: 链接: CommonCrawl Web Data over 7 years
• Criteo click-through data: 链接: Criteo click-through data
• Internet-Wide Scan Data Repository: 链接: Internet-Wide Scan Data Repository
• OONI: Open Observatory of Network Interference - Internet censorship data: 链接: OONI: Open Observatory of Network Interference - Internet censorship data
• Open Mobile Data by MobiPerf: 链接: Open Mobile Data by MobiPerf
• The Peer-to-Peer Trace Archive - Real-world measurements play a key role [...]: 链接: The Peer-to-Peer Trace Archive - Real-world measurements play a key role [...]
• Rapid7 Sonar Internet Scans: 链接: Rapid7 Sonar Internet Scans
• UCSD Network Telescope, IPv4 /8 net: 链接: UCSD Network Telescope, IPv4 /8 net

数据挑战

• Bruteforce Database: 链接: Bruteforce Database
• Challenges in Machine Learning: 链接: Challenges in Machine Learning
• CrowdANALYTIX dataX: 链接: [CrowdANALYTIX dataX](http://data.crowdanalytix

搜集汇总

数据集介绍

构建方式

该数据集通过自动化工具`apd-core`生成，整合了来自博客、问答平台及用户反馈的高质量公共数据源。数据集的构建过程严格遵循自动化流程，确保数据的准确性和一致性。贡献者通过指定的方式提交数据，而非直接修改数据集文件，从而保证了数据集的完整性和可追溯性。

特点

该数据集涵盖了多个领域的公共数据源，包括农业、生物学、气候与天气、复杂网络、计算机网络、数据挑战、地球科学、经济学、教育、能源、金融和地理信息系统等。每个数据源均经过严格筛选，确保其高质量和实用性。数据集中的大部分数据为免费提供，部分数据源可能需要付费访问。此外，数据集还提供了丰富的数据类型，如基因组数据、气候数据、网络数据等，适用于多种研究场景。

使用方法

用户可以通过访问GitHub页面获取数据集的详细信息，并根据需求选择相应的数据源进行下载和使用。数据集的使用方法因数据源而异，部分数据源提供了API接口或直接下载链接，用户可以根据数据源的具体说明进行操作。此外，数据集还提供了详细的分类和标签，方便用户快速定位所需数据。对于需要进一步贡献或修改数据集的用户，可以通过指定的贡献流程提交数据更新或修正建议。

背景与挑战

背景概述

Awesome Public Datasets 是一个由社区驱动的公共数据集集合，涵盖了从农业、生物学、气候与天气、复杂网络、计算机网络、数据挑战、地球科学、经济学、教育、能源、金融到地理信息系统（GIS）等多个领域的丰富数据集。该项目由 awesomedata 组织维护，旨在为研究人员、数据科学家和开发者提供一个高质量、易于访问的数据资源库。该数据集集合的创建时间可以追溯到2010年代初期，随着数据科学和机器学习的快速发展，其影响力逐渐扩大，成为许多研究项目和实际应用的重要数据来源。

当前挑战

Awesome Public Datasets 面临的主要挑战包括数据集的多样性与质量保证。由于数据集来源广泛，涵盖多个领域，如何确保数据的准确性、一致性和时效性是一个持续的挑战。此外，数据集的构建过程中，如何有效整合来自不同来源的数据，并确保其格式的统一性，也是一个技术难题。另一个挑战是数据集的更新与维护，随着新数据的不断涌现，如何及时更新数据集并保持其相关性，需要持续的技术支持和社区参与。最后，数据集的开放性与隐私保护之间的平衡也是一个重要问题，尤其是在涉及敏感数据时，如何在开放数据的同时保护用户隐私，是一个需要谨慎处理的问题。

常用场景

经典使用场景

Awesome Public Datasets 作为一个综合性的公共数据集集合，广泛应用于学术研究、数据分析和机器学习模型的训练与验证。其经典使用场景包括生物信息学中的基因组数据分析、气候科学中的气象数据建模以及社会科学中的经济数据研究。这些数据集为研究人员提供了高质量、多样化的数据源，极大地促进了跨学科的研究合作与创新。

解决学术问题

该数据集解决了多个学术研究中的关键问题，例如在生物信息学领域，通过提供1000 Genomes和ENCODE项目的数据，研究人员能够深入探索人类基因组的多样性和功能；在气候科学领域，NOAA和NASA的全球气候数据集帮助科学家更好地理解和预测气候变化；而在经济学领域，AEA和EconData等数据集为宏观经济分析和政策制定提供了坚实的实证基础。

衍生相关工作

该数据集衍生了许多经典的研究工作和技术工具。例如，基于1000 Genomes数据的研究推动了精准医学的发展；利用NOAA气候数据的模型被用于全球气候变化的预测；而基于Kaggle竞赛数据的机器学习算法在工业界得到了广泛应用。此外，许多开源工具和平台，如KEGG和Gene Ontology，也依赖于这些数据集进行功能扩展和优化。