多个数据集

这是一个包含多个主题的高质量公共数据源列表，这些数据集主要来自博客、答案和用户响应，大部分数据集是免费的。

This is a list of high-quality public data sources covering multiple topics. These datasets are primarily derived from blogs, answers, and user responses, with the majority being freely accessible.

原始信息汇总

数据集概述

农业

• U.S. Department of Agricultures Nutrient Database

  • 链接: U.S. Department of Agricultures Nutrient Database

• U.S. Department of Agricultures PLANTS Database

  • 链接: U.S. Department of Agricultures PLANTS Database

生物学

• 1000 Genomes

  • 链接: 1000 Genomes

• American Gut (Microbiome Project)

  • 链接: American Gut (Microbiome Project)

• Broad Bioimage Benchmark Collection (BBBC)

  • 链接: Broad Bioimage Benchmark Collection (BBBC)

• Broad Cancer Cell Line Encyclopedia (CCLE)

  • 链接: Broad Cancer Cell Line Encyclopedia (CCLE)

• Cell Image Library

  • 链接: Cell Image Library

• Complete Genomics Public Data

  • 链接: Complete Genomics Public Data

• EBI ArrayExpress

  • 链接: EBI ArrayExpress

• EBI Protein Data Bank in Europe

  • 链接: EBI Protein Data Bank in Europe

• ENCODE project

  • 链接: ENCODE project

• Electron Microscopy Pilot Image Archive (EMPIAR)

  • 链接: Electron Microscopy Pilot Image Archive (EMPIAR)

• Ensembl Genomes

  • 链接: Ensembl Genomes

• Gene Expression Omnibus (GEO)

  • 链接: Gene Expression Omnibus (GEO)

• Gene Ontology (GO)

  • 链接: Gene Ontology (GO)

• Global Biotic Interactions (GloBI)

  • 链接: Global Biotic Interactions (GloBI)

• Harvard Medical School (HMS) LINCS Project

  • 链接: Harvard Medical School (HMS) LINCS Project

• Human Genome Diversity Project

  • 链接: Human Genome Diversity Project

• Human Microbiome Project (HMP)

  • 链接: Human Microbiome Project (HMP)

• ICOS PSP Benchmark

  • 链接: ICOS PSP Benchmark

• International HapMap Project

  • 链接: International HapMap Project

• Journal of Cell Biology DataViewer

  • 链接: Journal of Cell Biology DataViewer

• KEGG

  • 链接: KEGG

• MIT Cancer Genomics Data

  • 链接: MIT Cancer Genomics Data

• NCBI Proteins

  • 链接: NCBI Proteins

• NCBI Taxonomy

  • 链接: NCBI Taxonomy

• NCI Genomic Data Commons

  • 链接: NCI Genomic Data Commons

• NIH Microarray data

  • 链接: NIH Microarray data

• OpenSNP genotypes data

  • 链接: OpenSNP genotypes data

• Pathguid - Protein-Protein Interactions Catalog

  • 链接: Pathguid - Protein-Protein Interactions Catalog

• Protein Data Bank

  • 链接: Protein Data Bank

• Psychiatric Genomics Consortium

  • 链接: Psychiatric Genomics Consortium

• PubChem Project

  • 链接: PubChem Project

• PubGene (now Coremine Medical)

  • 链接: PubGene (now Coremine Medical)

• Sanger Catalogue of Somatic Mutations in Cancer (COSMIC)

  • 链接: Sanger Catalogue of Somatic Mutations in Cancer (COSMIC)

• Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC)

  • 链接: Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC)

• Sequence Read Archive(SRA)

  • 链接: Sequence Read Archive(SRA)

• Stanford Microarray Data

  • 链接: Stanford Microarray Data

• Stowers Institute Original Data Repository

  • 链接: Stowers Institute Original Data Repository

• Systems Science of Biological Dynamics (SSBD) Database

  • 链接: Systems Science of Biological Dynamics (SSBD) Database

• The Cancer Genome Atlas (TCGA), available via Broad GDAC

  • 链接: The Cancer Genome Atlas (TCGA), available via Broad GDAC

• The Catalogue of Life

  • 链接: The Catalogue of Life

• The Personal Genome Project

  • 链接: The Personal Genome Project

• UCSC Public Data

  • 链接: UCSC Public Data

• UniGene

  • 链接: UniGene

• Universal Protein Resource (UnitProt)

  • 链接: Universal Protein Resource (UnitProt)

气候+天气

• Actuaries Climate Index

  • 链接: Actuaries Climate Index

• Australian Weather

  • 链接: Australian Weather

• Aviation Weather Center - Consistent, timely and accurate weather

  • 链接: Aviation Weather Center - Consistent, timely and accurate weather

• Brazilian Weather - Historical data (In Portuguese)

  • 链接: Brazilian Weather - Historical data (In Portuguese)

• Canadian Meteorological Centre

  • 链接: Canadian Meteorological Centre

• Climate Data from UEA (updated monthly)

  • 链接: [Climate Data from UEA (updated monthly)](https://crudata.uea.ac.uk/cru/data/temperature/#datter and ftp://ftp.cmdl.noaa.gov/)

• European Climate Assessment & Dataset

  • 链接: European Climate Assessment & Dataset

• Global Climate Data Since 1929

  • 链接: Global Climate Data Since 1929

• NASA Global Imagery Browse Services

  • 链接: NASA Global Imagery Browse Services

• NOAA Bering Sea Climate

  • 链接: NOAA Bering Sea Climate

• NOAA Climate Datasets

  • 链接: NOAA Climate Datasets

• NOAA Realtime Weather Models

  • 链接: NOAA Realtime Weather Models

• NOAA SURFRAD Meteorology and Radiation Datasets

  • 链接: NOAA SURFRAD Meteorology and Radiation Datasets

• The World Bank Open Data Resources for Climate Change

  • 链接: The World Bank Open Data Resources for Climate Change

• UEA Climatic Research Unit

  • 链接: UEA Climatic Research Unit

• WU Historical Weather Worldwide

  • 链接: WU Historical Weather Worldwide

• WorldClim - Global Climate Data

  • 链接: WorldClim - Global Climate Data

复杂网络

• AMiner Citation Network Dataset

  • 链接: AMiner Citation Network Dataset

• CrossRef DOI URLs

  • 链接: CrossRef DOI URLs

• DBLP Citation dataset

  • 链接: DBLP Citation dataset

• DIMACS Road Networks Collection

  • 链接: DIMACS Road Networks Collection

• NBER Patent Citations

  • 链接: NBER Patent Citations

• NIST complex networks data collection

  • 链接: NIST complex networks data collection

• Network Repository with Interactive Exploratory Analysis Tools

  • 链接: Network Repository with Interactive Exploratory Analysis Tools

• Protein-protein interaction network

  • 链接: Protein-protein interaction network

• PyPI and Maven Dependency Network

  • 链接: PyPI and Maven Dependency Network

• Scopus Citation Database

  • 链接: Scopus Citation Database

• Small Network Data

  • 链接: Small Network Data

• Stanford GraphBase

  • 链接: Stanford GraphBase

• Stanford Large Network Dataset Collection

  • 链接: Stanford Large Network Dataset Collection

• Stanford Longitudinal Network Data Sources

  • 链接: Stanford Longitudinal Network Data Sources

• The Koblenz Network Collection

  • 链接: The Koblenz Network Collection

• The Laboratory for Web Algorithmics (UNIMI)

  • 链接: The Laboratory for Web Algorithmics (UNIMI)

• The Nexus Network Repository

  • 链接: The Nexus Network Repository

• UCI Network Data Repository

  • 链接: UCI Network Data Repository

• UFL sparse matrix collection

  • 链接: UFL sparse matrix collection

• WSU Graph Database

  • 链接: WSU Graph Database

计算机网络

• 3.5B Web Pages from CommonCrawl 2012

  • 链接: 3.5B Web Pages from CommonCrawl 2012

• 53.5B Web clicks of 100K users in Indiana Univ.

  • 链接: 53.5B Web clicks of 100K users in Indiana Univ.

• CAIDA Internet Datasets

  • 链接: CAIDA Internet Datasets

• CRAWDAD Wireless datasets from Dartmouth Univ.

  • 链接: CRAWDAD Wireless datasets from Dartmouth Univ.

• ClueWeb09 - 1B web pages

  • 链接: ClueWeb09 - 1B web pages

• ClueWeb12 - 733M web pages

  • 链接: ClueWeb12 - 733M web pages

• CommonCrawl Web Data over 7 years

  • 链接: CommonCrawl Web Data over 7 years

• Criteo click-through data

  • 链接: Criteo click-through data

• Internet-Wide Scan Data Repository

  • 链接: Internet-Wide Scan Data Repository

• OONI: Open Observatory of Network Interference - Internet censorship data

  • 链接: OONI: Open Observatory of Network Interference - Internet censorship data

• Open Mobile Data by MobiPerf

搜集汇总

数据集介绍

构建方式

该数据集通过整合来自博客、问答平台及用户反馈的高质量公共数据源构建而成。数据集涵盖了多个领域，包括农业、生物学、气候与天气、复杂网络、计算机网络、数据挑战、地球科学、经济学、教育、能源、金融以及地理信息系统等。每个领域的数据源均经过精心筛选和整理，确保数据的可靠性和多样性。

使用方法

用户可以通过访问GitHub页面获取数据集的详细信息和链接。每个数据源均附有简要描述和访问链接，用户可根据自身需求选择合适的数据源进行下载和使用。数据集的使用方法简单直观，适合研究人员、数据科学家以及对特定领域数据感兴趣的用户。通过该数据集，用户可以快速获取所需数据，支持各类研究和分析工作。

背景与挑战

背景概述

该数据集集合了多个领域的公开数据源，涵盖了农业、生物学、气候与天气、复杂网络、计算机网络、数据挑战、地球科学、经济学、教育、能源、金融、地理信息系统等多个学科。这些数据源由博客、用户反馈和问答平台整理而成，旨在为研究人员和开发者提供高质量、主题明确的公开数据集。部分数据集由知名机构如美国农业部、Broad研究所、NASA等提供，涵盖了从基因组数据到气候模型的广泛领域。这些数据集的创建时间跨度较大，最早的可以追溯到20世纪末期，最新的数据集则持续更新至今。这些数据集对相关领域的研究产生了深远影响，尤其是在生物信息学、气候建模、网络分析等领域推动了数据驱动的科学研究。

当前挑战

该数据集集合面临的主要挑战包括数据质量的不一致性、数据格式的多样性以及数据获取的复杂性。首先，由于数据来源广泛，部分数据集可能存在数据缺失、标注不准确或更新不及时的问题，影响了数据的可靠性和可用性。其次，不同数据集的数据格式差异较大，从结构化数据库到非结构化文本数据，增加了数据整合和分析的难度。此外，部分数据集虽然公开，但获取过程可能涉及复杂的申请流程或技术门槛，限制了其广泛使用。在构建过程中，如何确保数据的标准化、提高数据的可访问性以及维护数据的持续更新，是数据集管理者面临的核心挑战。

常用场景

经典使用场景

该数据集涵盖了多个领域的高质量公共数据源，广泛应用于科学研究、数据分析和机器学习等领域。例如，生物学领域的1000 Genomes数据集被广泛用于基因组学研究，帮助科学家理解人类基因组的多样性和进化。气候与天气领域的NOAA气候数据集则为全球气候变化研究提供了宝贵的历史和实时数据。这些数据集为跨学科研究提供了坚实的基础，推动了科学技术的进步。

解决学术问题

该数据集解决了多个学术研究中的关键问题。例如，生物学领域的ENCODE项目为基因功能注释提供了全面的数据支持，帮助研究人员理解基因调控网络。经济学领域的The Atlas of Economic Complexity数据集则为全球经济复杂性研究提供了详尽的贸易数据，帮助经济学家分析各国经济结构和竞争力。这些数据集为学术界提供了丰富的数据资源，推动了多个领域的研究进展。

实际应用

该数据集在实际应用中具有广泛的价值。例如，农业领域的U.S. Department of Agriculture's Nutrient Database为食品营养分析提供了基础数据，帮助制定健康饮食指南。计算机网络领域的CommonCrawl Web Data则为搜索引擎优化和网络内容分析提供了海量的网页数据。这些数据集不仅支持学术研究，还在商业和政府决策中发挥了重要作用。

数据集最近研究

最新研究方向

在多个数据集的研究领域中，前沿方向主要集中在跨学科数据的整合与分析。随着生物学、气候学、复杂网络等领域的快速发展，研究者们越来越依赖于多源数据的融合，以揭示更深层次的科学规律。例如，生物学领域的1000 Genomes和ENCODE项目数据被广泛用于基因组学和表观遗传学研究，而气候数据集如NOAA Climate Datasets和WorldClim则为全球气候变化模型提供了关键支持。此外，复杂网络数据集如Stanford Large Network Dataset Collection和AMiner Citation Network Dataset在网络科学和社会计算中扮演了重要角色。这些数据集不仅推动了各自领域的研究进展，还为跨学科合作提供了丰富的数据资源，促进了科学研究的创新与突破。