awesome-open-data

github2026-06-03 更新2026-06-04 收录

下载链接：

https://github.com/okhosting/awesome-open-data

下载链接

链接失效反馈

官方服务：

资源简介：

该合集是一个免费开放的机器学习或数据研究数据集列表，按主题（如农业、生物学等）组织，收录了来自多个来源（例如awesomedata/awesome-public-datasets）的数据集条目，涵盖农业、生物学等领域的具体资源链接。

This collection is a free and open dataset list for machine learning or data research. It is organized by thematic categories including agriculture, biology and other related fields, and compiles dataset entries sourced from multiple platforms such as awesomedata/awesome-public-datasets, which provide specific resource links for each of these thematic domains.

创建时间：

2020-05-02

原始信息汇总

免费开放数据集大全

该页面汇总了按主题分类的免费开放数据集，适用于机器学习或数据研究。以下是各主题及其包含的数据集摘要：

农业

土壤湿度高光谱基准数据集
美国农业部营养数据库
美国农业部植物数据库

生物学

1000基因组计划
美国肠道微生物组项目
Broad生物图像基准集合
Broad癌细胞系百科全书
细胞图像库
完整基因组公共数据
EBI ArrayExpress功能基因组学数据
EBI欧洲蛋白质数据库
ENCODE项目
电子显微镜图像档案
Ensembl基因组
基因表达综合数据库
基因本体注释文件
全球生物相互作用数据
哈佛医学院LINCS项目
人类基因组多样性项目
人类微生物组项目
ICOS PSP基准
国际HapMap计划
细胞生物学杂志数据查看器
KEGG数据库
MIT癌症基因组学数据
国家生物技术信息中心
NCI基因组数据共享
OpenSNP基因型数据
Pathguide蛋白质相互作用目录
蛋白质数据库
精神病学基因组学联盟
PubChem项目
PubGene
Sanger癌症体细胞突变目录
Sanger癌症药物敏感性基因组学项目
序列读取档案
斯坦福微阵列数据
Stowers研究所原始数据存储库
生物动力学系统科学数据库
癌症基因组图谱
生命目录
个人基因组计划
UCSC公共数据
UniGene
通用蛋白质资源
Rfam RNA家族数据库
植物数据库

气候与天气

精算师气候指数
澳大利亚天气数据
航空天气中心数据
巴西天气历史数据
加拿大气象中心数据
东英吉利大学气候数据
荷兰天气数据
欧洲气候评估与数据集
1929年以来全球气候数据
全球气候变化新闻叙事数据
NASA全球图像浏览服务
NOAA白令海气候数据
NOAA气候数据集
NOAA实时天气预报模型
NOAA SURFRAD气象与辐射数据集
世界银行气候变化开放数据
东英吉利大学气候研究中心数据
全球历史天气数据
WorldClim全球气候数据

复杂网络

AMiner引文网络数据集
CrossRef DOI URL
DBLP引文数据集
DIMACS道路网络集合
NBER专利引文
NIST复杂网络数据集合
网络存储库
蛋白质-蛋白质相互作用网络
PyPI和Maven依赖网络
Scopus引文数据库
小型网络数据
斯坦福图基库
斯坦福大型网络数据集集合
斯坦福纵向网络数据源
科布伦茨网络集合
米兰大学网络算法实验室
UCI网络数据存储库
UFL稀疏矩阵集合
WSU图数据库

计算机网络

CommonCrawl 2012的35亿网页
印第安纳大学10万用户的535亿次网页点击
CAIDA互联网数据集
达特茅斯大学CRAWDAD无线数据集
ClueWeb09 - 10亿网页
ClueWeb12 - 7.33亿网页
7年CommonCrawl网络数据
Criteo点击数据
互联网范围扫描数据存储库
MIRAGE-2019移动流量数据集
OONI互联网审查数据
MobiPerf开放移动数据
点对点跟踪档案
Rapid7 Sonar互联网扫描
UCSD网络望远镜
Google趋势开源数据集
数据中心相关数据集

数据挑战

暴力破解数据库
机器学习挑战
CrowdANALYTIX数据
Orange D4D挑战
DrivenData社会公益竞赛
ICWSM数据挑战
腾讯2012 KDD Cup
Kaggle竞赛数据
Localytics数据可视化挑战
Netflix奖
空间应用挑战
意大利电信大数据挑战
TravisTorrent数据集
TunedIT数据挖掘与机器学习数据集
Yelp数据集挑战

地球科学

38-Cloud云检测数据集
AQUASTAT全球水资源数据
BODC海洋数据
NASA EOSDIS地球观测数据
地球模型
综合海洋观测系统
Marinexplore海洋学数据
阿拉巴马实时沿海观测系统
国家河口研究保护区监测数据
英国石油与天然气管理局开放数据
史密森尼全球火山与喷发数据库
USGS地震档案
ICGEM重力场模型
TerraNubis开放地震数据
卫星图像数据集列表
遥感变化检测数据集列表
欧空局地球在线
NASA开放数据
Geopedia

经济学

美国经济协会数据
马里兰大学经济数据
世界经济自由数据
历史宏观经济统计
INFORUM行业预测
DBnomics全球经济数据库
国际贸易统计
互联网产品代码数据库
联合外部债务数据
国际贸易数据链接
长期生产力数据库
OpenCorporates全球公司数据库
OpenMercantil西班牙商业数据
Our World in Data
世界统计数据
世界贸易引力数据集
经济复杂性地图集
国际数据中心
经济复杂性观察站
联合国商品贸易统计
联合国人类发展报告
SIMBAD天文数据库
Yelp数据集

教育

大学计分卡数据
纽约州教育部数据
Free Code Camp学生数据
斯坦福开放数据门户

能源

AMPds分钟级用电数据集
BLUEd建筑级用电分解数据集
COMBED数据集
南非家庭用电负荷研究数据集
ECO非侵入式负荷监测数据集
EIA电力数据
全球发电厂数据库
英国家庭用电研究
HFED数据集
PEM1质子交换膜燃料电池数据集
PLAID插头负荷设备识别数据集
公共公用事业数据解放项目
REDD数据集
智能电表数据门户
Tracebase数据集
乌克兰能源中心数据集
UK-DALE英国家用电器级用电数据
WHITED数据集
iAWE数据集
NOPIMS澳大利亚石油地质科学数据
英国国家数据存储库石油地质科学数据
阿萨巴斯卡油砂井数据集
SMARD德国电力市场实时数据

金融

Blockmodo加密货币注册表
CBOE期货交易所市场数据
Google Finance
Google Trends
NASDAQ数据
NYSE市场数据
OANDA外汇数据
OSU金融数据
Quandl金融数据
圣路易斯联邦储备银行数据
Yahoo Finance

地理信息系统

ArcGIS开放数据门户
剑桥GIS数据
全球大陆、国家、行政区划数据库
Factual全球位置数据
IEEE地球科学与遥感学会数据
Geo Maps高质量GeoJSON地图
亚利桑那州立大学地理空间数据
Geo Wiki项目环境监测数据
GeoFabrik OpenStreetMap数据
GeoNames全球地名数据
全球行政区划数据库
国土基础设施基础级数据
AWS Landsat 8数据
多语言国家列表
国家气象局GIS数据门户
Natural Earth矢量与栅格数据

搜集汇总

数据集介绍

构建方式

该数据集通过系统性地梳理和筛选来自多个权威平台与社区的开源数据资源而构建，其核心基础源自于GitHub上广受欢迎的awesome-public-datasets项目。构建者以主题为分类轴心，将涵盖农业、生物学、气候与天气、复杂网络、计算机网络、数据挑战、地球科学、经济学、教育、能源、金融及地理信息系统等十余个领域的免费开放数据集进行归纳整合，每个条目均附有直接可访问的原始数据源链接，从而形成了一个结构清晰、覆盖广泛的开放数据索引目录。

特点

该数据集最显著的特点在于其跨学科的广度与高度组织性，它将散落于全球不同机构与平台的海量科学数据资源汇聚于一处，极大降低了研究者寻找特定领域数据的门槛。此外，其维护者持续跟踪并更新数据源，确保了信息的时效性与可靠性。从基因组序列到气象记录，从经济指标到卫星影像，该数据集为机器学习、数据科学及跨学科研究提供了一个宝贵的“数据发现”入口。

使用方法

使用者可直接根据自身研究领域，在对应主题分类下浏览并点击链接，即可跳转至原始数据托管页面进行下载或API调用。由于该数据集本质上是经过精心挑选的链接集合，用户无需安装任何特定软件，仅需网络浏览器即可访问。对于开发者而言，可利用该目录作为数据源清单，通过编写脚本批量获取链接，进而整合至自定义的数据管道或研究流程中，实现高效的数据检索与利用。

背景与挑战

背景概述

在大数据时代，开放数据资源的系统化整理对于推动机器学习与数据科学研究的可重复性及跨学科协作具有不可替代的作用。Awesome Open Data 项目诞生于开源社区持续积累的实践中，由多位贡献者共同维护，旨在构建一个按主题分类的免费开放数据集索引库。该项目整合了来自农业、生物学、气候、复杂网络、地球科学、经济、教育、能源、金融及地理信息等十余个领域的海量数据资源，为研究者提供了便捷的数据发现渠道。其核心研究问题在于如何高效组织并持续更新这些分散于全球各地的公开数据集，以降低数据获取门槛，促进领域内外的知识融合与创新。自创建以来，该仓库已成为数据科学社区广泛引用的参考资源，对加速科研进程、推动开放科学运动产生了深远影响。

当前挑战

Awesome Open Data 所面临的挑战首先源于开放数据生态本身的碎片化与动态性。不同领域的数据集在格式、元数据标准、许可协议及访问方式上存在显著差异，如何确保索引的准确性与时效性成为持续难题。构建过程中，维护者需应对数据源的频繁失效、链接变更以及新增数据集的及时收录，这要求高效的自动化监测与人工审核机制。此外，数据集的质量参差不齐，部分资源缺乏详尽的文档说明或已过时，可能误导使用者。从领域问题来看，该项目虽覆盖广泛，但缺乏对数据集适用场景、规模及预标注状态的深度标注，限制了用户在特定任务（如图像分类、时序预测）中的精准筛选能力，亟需更结构化的描述框架来提升实用价值。

常用场景

经典使用场景

在数据科学和机器学习的研究版图中，awesome-open-data 数据集索引扮演着导航灯塔般的角色。它并非一个单一的数据集，而是一个精心编纂的开放数据资源目录，覆盖了农业、生物学、气候、复杂网络、地球科学、经济、教育、能源、金融及地理信息系统等十余个关键领域。研究者可以借助这一索引，快速定位到如1000 Genomes计划、ENCODE项目等权威生物基因组数据，或是NOAA气候模型、CAIDA互联网拓扑数据等专业资源，从而高效启动跨学科的数据驱动研究项目。其经典使用场景在于为数据挖掘、模式识别和预测建模提供一站式的数据发现入口，极大降低了科研人员搜集和筛选高质量公开数据的门槛。

衍生相关工作

得益于awesome-open-data 索引的整合效应，一系列具有影响力的衍生工作应运而生。在生物学领域，基于TCGA与ENCODE数据的癌症基因组图谱分析，催生了大量关于肿瘤异质性与药物敏感性的机器学习模型；在复杂网络研究中，Stanford Large Network Dataset Collection 推动了图神经网络与社群发现算法的突破性进展。气候科学领域，NOAA与WorldClim数据集支撑了高分辨率气候预测模型的开发，如基于深度学习的极端天气事件检测方法。此外，Kaggle竞赛平台上的众多经典挑战赛，如Netflix Prize和Yelp Dataset Challenge，均直接或间接依赖于该索引所收录的开放数据，这些竞赛不仅验证了算法的鲁棒性，更为推荐系统、自然语言处理等方向树立了基准测试标准。

数据集最近研究