awesome-public-datasets

这是一个高质量主题中心的公共数据源合集，收集和整理了来自博客、答案和用户响应的数据集。合集覆盖多个领域，包括农业、生物学等，其中大多数数据集是免费的，但部分可能需要付费。该合集以Awesome List形式组织，旨在为研究者和开发者提供便捷的数据集索引和推荐资源。This is a high-quality, topic-centric collection of public data sources. It curates datasets sourced from blogs, Q&A content, and user responses. The collection covers multiple domains including agriculture, biology and other fields. Most of these datasets are free to access, while some may require payment. Organized as an Awesome List, this collection aims to provide researchers and developers with convenient dataset indexing and recommended resources.

原始信息汇总

数据集综述

该页面是一个高质量公共数据集的精选列表，按照主题领域进行组织，涵盖从农业到地理信息系统（GIS）的多个领域。列表中的数据来源被标记为“I am well”（正常）或“Please fix me”（需修复），表明其维护状态。

主要数据类别

农业

• U.S. Department of Agricultures Nutrient Database：美国农业部营养数据库。
• U.S. Department of Agricultures PLANTS Database：美国农业部植物数据库。

生物学

• 1000 Genomes：千人基因组计划数据。
• American Gut (Microbiome Project)：美国肠道微生物组项目数据。
• Broad Bioimage Benchmark Collection (BBBC)：博德研究所生物图像基准数据集。
• Broad Cancer Cell Line Encyclopedia (CCLE)：博德研究所癌细胞系百科全书。
• Cell Image Library：细胞图像库。
• Complete Genomics Public Data：完整基因组学公共数据。
• EBI ArrayExpress：欧洲生物信息学研究所阵列表达数据库。
• EBI Protein Data Bank in Europe：欧洲蛋白质数据银行。
• ENCODE project：DNA元件百科全书项目。
• Electron Microscopy Pilot Image Archive (EMPIAR)：电子显微镜图像档案。
• Ensembl Genomes：基因组数据库。
• Gene Expression Omnibus (GEO)：基因表达综合数据库。
• Gene Ontology (GO)：基因本体论注释数据。
• Global Biotic Interactions (GloBI)：全球生物相互作用数据。
• Harvard Medical School (HMS) LINCS Project：哈佛医学院LINCS项目数据。
• Human Genome Diversity Project：人类基因组多样性项目数据。
• Human Microbiome Project (HMP)：人类微生物组项目参考基因组数据。
• ICOS PSP Benchmark：ICOS蛋白质结构预测基准数据。
• International HapMap Project：国际HapMap项目数据。
• Journal of Cell Biology DataViewer：细胞生物学杂志数据查看器。
• KEGG：京都基因与基因组百科全书。
• MIT Cancer Genomics Data：MIT癌症基因组学数据。
• NCBI Proteins：国家生物技术信息中心蛋白质数据库。
• NCBI Taxonomy：国家生物技术信息中心分类学数据库。
• NCI Genomic Data Commons：国家癌症研究所基因组数据共享平台。
• NIH Microarray data：美国国立卫生研究院微阵列数据（需修复）。
• OpenSNP genotypes data：开放SNP基因型数据。
• Pathguid - Protein-Protein Interactions Catalog：蛋白质-蛋白质相互作用目录。
• Protein Data Bank：蛋白质数据库。
• Psychiatric Genomics Consortium：精神病基因组学联盟数据。
• PubChem Project：公共化学数据库项目。
• PubGene (now Coremine Medical)：基因-疾病关联数据库。
• Sanger Catalogue of Somatic Mutations in Cancer (COSMIC)：癌症体细胞突变目录。
• Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC)：癌症药物敏感性基因组学项目。
• Sequence Read Archive(SRA)：序列读取档案。
• Stanford Microarray Data：斯坦福微阵列数据（需修复）。
• Stowers Institute Original Data Repository：斯托尔斯研究所原始数据存储库。
• Systems Science of Biological Dynamics (SSBD) Database：生物动力学系统科学数据库。
• The Cancer Genome Atlas (TCGA), available via Broad GDAC：癌症基因组图谱（通过Broad GDAC获取）。
• The Catalogue of Life：生命目录。
• The Personal Genome Project：个人基因组项目。
• UCSC Public Data：加州大学圣克鲁兹分校公共数据。
• UniGene：基因序列数据库。
• Universal Protein Resource (UnitProt)：通用蛋白质资源。

气候与天气

• Actuaries Climate Index：精算师气候指数数据。
• Australian Weather：澳大利亚天气数据。
• Aviation Weather Center：航空天气中心数据。
• Brazilian Weather - Historical data：巴西历史天气数据。
• Canadian Meteorological Centre：加拿大气象中心数据。
• Climate Data from UEA：东英吉利大学气候数据（月度更新）。
• European Climate Assessment & Dataset：欧洲气候评估与数据集（需修复）。
• Global Climate Data Since 1929：1929年以来的全球气候数据。
• NASA Global Imagery Browse Services：NASA全球影像浏览服务。
• NOAA Bering Sea Climate：NOAA白令海气候数据。
• NOAA Climate Datasets：NOAA气候数据集。
• NOAA Realtime Weather Models：NOAA实时天气模型数据。
• NOAA SURFRAD Meteorology and Radiation Datasets：NOAA SURFRAD气象与辐射数据集。
• The World Bank Open Data Resources for Climate Change：世界银行气候变化开放数据资源。
• UEA Climatic Research Unit：东英吉利大学气候研究单位数据。
• WU Historical Weather Worldwide：全球历史天气数据。
• WorldClim - Global Climate Data：全球气候数据。

复杂网络

• AMiner Citation Network Dataset：AMiner引文网络数据集。
• CrossRef DOI URLs：CrossRef DOI地址。
• DBLP Citation dataset：DBLP引文数据集（需修复）。
• DIMACS Road Networks Collection：DIMACS道路网络集合。
• NBER Patent Citations：NBER专利引文数据。
• NIST complex networks data collection：NIST复杂网络数据集合。
• Network Repository with Interactive Exploratory Analysis Tools：网络存储库（含交互式探索分析工具）。
• Protein-protein interaction network：蛋白质相互作用网络。
• PyPI and Maven Dependency Network：PyPI和Maven依赖网络。
• Scopus Citation Database：Scopus引文数据库。
• Small Network Data：小型网络数据。
• Stanford GraphBase：斯坦福图库。
• Stanford Large Network Dataset Collection：斯坦福大型网络数据集集合。
• Stanford Longitudinal Network Data Sources：斯坦福纵向网络数据源。
• The Koblenz Network Collection：科布伦茨网络集合。
• The Laboratory for Web Algorithmics (UNIMI)：米兰大学网络算法实验室数据集。
• The Nexus Network Repository：Nexus网络存储库（需修复）。
• UCI Network Data Repository：加州大学欧文分校网络数据存储库。
• UFL sparse matrix collection：佛罗里达大学稀疏矩阵集合。
• WSU Graph Database：华盛顿州立大学图数据库。

计算机网络

• 3.5B Web Pages from CommonCrawl 2012：CommonCrawl 2012年的35亿网页。
• 53.5B Web clicks of 100K users in Indiana Univ.：印第安纳大学10万用户的535亿次网页点击。
• CAIDA Internet Datasets：CAIDA互联网数据集。
• CRAWDAD Wireless datasets from Dartmouth Univ.：达特茅斯大学CRAWDAD无线数据集。
• ClueWeb09 - 1B web pages：ClueWeb09（10亿网页）。
• ClueWeb12 - 733M web pages：ClueWeb12（7.33亿网页）。
• CommonCrawl Web Data over 7 years：CommonCrawl超过7年的网络数据。
• Criteo click-through data：Criteo点击数据。
• Internet-Wide Scan Data Repository：互联网扫描数据存储库。
• OONI: Open Observatory of Network Interference：网络干扰开放观察站数据。
• Open Mobile Data by MobiPerf：MobiPerf开放移动数据。
• Rapid7 Sonar Internet Scans：Rapid7声纳互联网扫描数据。
• UCSD Network Telescope, IPv4 /8 net：加州大学圣地亚哥分校网络望远镜数据。

数据挑战

• Bruteforce Database：暴力破解数据库。
• Challenges in Machine Learning：机器学习挑战赛。
• CrowdANALYTIX dataX：CrowdANALYTIX数据平台。
• D4D Challenge of Orange：Orange D4D挑战赛（需修复）。
• DrivenData Competitions for Social Good：DrivenData社会公益竞赛。
• ICWSM Data Challenge (since 2009)：ICWSM数据挑战赛（自2009年起，需修复）。
• KDD Cup by Tencent 2012：腾讯KDD Cup 2012。
• Kaggle Competition Data：Kaggle竞赛数据。
• Localytics Data Visualization Challenge：Localytics数据可视化挑战赛。
• Netflix Prize：Netflix奖数据。
• Space Apps Challenge：太空应用挑战赛。
• Telecom Italia Big Data Challenge：意大利电信大数据挑战赛。
• TravisTorrent Dataset：TravisTorrent数据集（MSR 2017挖掘挑战赛）。
• TunedIT：数据挖掘与机器学习数据集、算法、挑战赛。
• Yelp Dataset Challenge：Yelp数据集挑战赛。

地球科学

• AQUASTAT：全球水资源与利用数据。
• BODC：英国海洋数据中心约2.2万变量海洋数据。
• EOSDIS：NASA地球观测系统数据。
• Earth Models：地球模型数据。
• Integrated Marine Observing System (IMOS)：综合海洋观测系统（约30TB海洋测量数据）。
• Marinexplore：开放海洋学数据。
• Smithsonian Institution Global Volcano and Eruption Database：史密森尼学会全球火山与喷发数据库。
• USGS Earthquake Archives：美国地质调查局地震档案。

经济学

• American Economic Association (AEA)：美国经济协会数据。
• EconData from UMD：马里兰大学经济数据。
• Economic Freedom of the World Data：世界经济自由数据（需修复）。
• Historical MacroEconomc Statistics：历史宏观经济统计数据。
• INFORUM：马里兰大学行业间预测数据。
• International Economics Database：国际经济数据库。
• International Trade Statistics：国际贸易统计。
• Internet Product Code Database：互联网产品代码数据库。
• Joint External Debt Data Hub：联合外债数据中心。
• Jon Haveman International Trade Data Links：Jon Haveman国际贸易数据链接。
• OpenCorporates Database of Companies in the World：全球公司数据库。
• Our World in Data：我们的数据世界。
• SciencesPo World Trade Gravity Datasets：巴黎政治学院世界贸易引力数据集。
• The Atlas of Economic Complexity：经济复杂性图谱。
• The Center for International Data：国际数据中心。
• The Observatory of Economic Complexity：经济复杂性观察站。
• UN Commodity Trade Statistics：联合国商品贸易统计。
• UN Human Development Reports：联合国人类发展报告。

教育

• College Scorecard Data：大学记分卡数据。
• Student Data from Free Code Camp：Free Code Camp学生数据。

能源

• AMPds：住宅能源数据集。
• BLUEd：建筑级用电数据集。
• COMBED：商业建筑能耗数据集。
• DRED：住宅能耗数据集。
• ECO：家庭能耗数据。
• EIA：美国能源信息署电力数据。
• Global Power Plant Database：全球发电厂数据库。
• HES：英国家庭用电研究。
• HFED：家庭能耗数据集。
• PLAID：插头负载电器识别数据集。
• REDD：住宅能源分解数据集。
• Tracebase：电器能耗数据库。
• UK-DALE：英国家庭电器级电力数据。
• WHITED：家庭电器识别数据集。
• iAWE：智能家电能耗数据集。

金融

• CBOE Futures Exchange：芝加哥期权交易所期货数据（需修复）。
• Google Finance：谷歌财经。
• Google Trends：谷歌趋势。
• NASDAQ：纳斯达克数据。
• NYSE Market Data：纽约证券交易所市场数据。
• OANDA：外汇数据。
• OSU Financial data：俄亥俄州立大学金融数据。
• Quandl：金融和经济数据平台。
• St Louis Federal：圣路易斯联邦储备银行经济数据（FRED）。
• Yahoo Finance：雅虎财经。

地理信息系统（GIS）

• ArcGIS Open Data portal：ArcGIS开放数据门户。
• Cambridge, MA, US, GIS data on GitHub：美国马萨诸塞州剑桥市GIS数据（GitHub）。
• Factual Global Location Data：Factual全球位置数据（需修复）。
• Geo Maps：高质量GeoJSON地图（程序生成）。
• Geo Spatial Data from ASU：亚利桑那州立大学地理空间数据。
• Geo Wiki Project：公民驱动环境监测项目。
• GeoFabrik：OpenStreetMap数据（多种格式和区域提取）。
• GeoNames Worldwide：全球地名数据库。
• Global Administrative Areas Database (GADM)：全球行政区划数据库（需修复）。
• Homeland Infrastructure Foundation-Level Data：国土基础设施基础数据。

搜集汇总

数据集介绍

构建方式

该数据集构建于对互联网上高质量、主题导向的公开数据资源的系统性搜集与整理。其核心机制依托于一个名为apd-core的自动化生成工具，通过从博客文章、问答社区及用户反馈中精心筛选与整合，汇聚了涵盖农业、生物学、气候天气、复杂网络、计算机网络、数据挑战、地球科学、经济学、教育、能源及金融等多个领域的公开数据集。每个条目均附带直接访问链接，并辅以状态标识（如正常或待修复），以确保资源的时效性与准确性。

特点

此数据集以其广泛的学科覆盖面和严格的资源筛选标准而著称，收录了从美国农业部营养数据库到人类基因组计划等众多权威数据源。其特色在于采用主题分类体系，将零散的数据资源组织成逻辑清晰的目录结构，便于研究者按领域快速定位。此外，通过持续维护的状态标记机制，用户可直观了解每个数据集的可用状态，从而规避失效链接的风险，体现了对数据质量与用户体验的深度考量。

使用方法

用户可通过GitHub仓库直接访问该数据集，浏览按主题划分的目录列表。每个数据集条目均包含名称与超链接，点击即可跳转至原始数据源进行下载或查阅。对于开发者，该仓库支持通过apd-core工具进行贡献与更新，允许提交新资源或修正现有条目。建议用户根据研究需求选择对应主题，优先使用标记为正常状态的资源，并定期关注仓库更新以获取最新数据源。

背景与挑战

背景概述

Awesome Public Datasets 是一个由社区驱动的精选数据集索引项目，由多位贡献者共同维护，其核心研究问题在于系统性地梳理和分类高质量、面向特定主题的公开数据资源。该项目创建于开源数据运动蓬勃发展的时期，旨在为研究人员、数据科学家和开发者提供一个便捷的入口，以发现和获取涵盖农业、生物学、气候、复杂网络、金融等数十个领域的公共数据集。该列表从博客、问答和用户反馈中收集并整理而成，极大地降低了数据发现的门槛，对推动跨学科研究和数据驱动的创新产生了深远影响，成为数据科学领域不可或缺的参考资源。

当前挑战

该数据集索引面临的挑战首先在于解决领域问题中的知识整合与时效性维护：面对海量、分散且不断更新的公开数据源，如何确保收录的数据集持续有效、链接可用，并覆盖新兴领域（如气候变化、基因组学）的最新数据，是持续性的核心难题。其次，构建过程中遇到的挑战包括数据质量验证的困难——项目通过众包方式维护，依赖社区贡献，但无法对所有数据集的准确性、完整性及法律合规性进行逐一审核；此外，部分数据集需付费或存在访问限制，如何在列表中明确标注其开放状态，避免误导用户，也是一项需要精细管理的挑战。

常用场景

经典使用场景

Awesome Public Datasets 作为一座汇聚高质量、主题导向的公开数据资源的宝库，其经典使用场景在于为数据科学研究者与机器学习从业者提供一站式数据检索与获取平台。该数据集覆盖农业、生物学、气候气象、复杂网络、计算机网络、地球科学、经济学、教育、能源及金融等数十个领域，用户可根据研究需求快速定位并下载所需数据，从而显著降低数据收集的时间成本，加速从数据探索到模型构建的完整科研流程。

实际应用

在实际应用领域，Awesome Public Datasets 被广泛赋能于工业界与公共部门的决策支持系统。例如，气候与天气数据可服务于农业灾害预警与能源需求预测；金融数据集支撑量化交易策略的回测与风险评估；地理信息系统（GIS）数据助力城市规划与物流优化。此外，教育领域的评分数据与能源领域的家庭用电记录，为个性化学习推荐与智能电网管理提供了真实场景下的训练素材，彰显了数据驱动型解决方案的实用价值。

衍生相关工作

围绕 Awesome Public Datasets 已衍生出一系列经典工作，包括基于其生物学数据构建的基因组分析工具链、利用网络数据集开发的图神经网络模型，以及依托气候数据训练的时间序列预测算法。此外，该数据集还催生了多个数据竞赛平台（如 Kaggle 上的挑战赛）与开源研究项目，例如基于交通数据集的智能交通系统研究、利用能源数据集进行的非侵入式负荷监测技术探索，这些工作进一步拓展了原始数据的应用边界，形成了活跃的学术与工程生态。