The global dataset of historical yields for major crops 1981–2016

github2020-09-05 更新2024-05-31 收录

下载链接：

https://github.com/syedshahzadraza/awesome-public-datasets

下载链接

链接失效反馈

官方服务：

资源简介：

全球主要作物1981-2016年历史产量数据集

Historical Yield Dataset of Major Global Crops from 1981 to 2016

创建时间：

2020-06-26

原始信息汇总

数据集概述

农业

数据集列表

全球主要农作物历史产量数据集 (1981-2016)
土壤湿度高光谱基准数据集
优化土壤调整植被指数数据集
美国农业部营养数据库
美国农业部植物数据库

生物学

数据集列表

1000基因组项目数据集
美国肠道项目（微生物组项目）数据集
Broad生物图像基准集合（BBBC）
Broad癌症细胞系百科全书（CCLE）
细胞图像图书馆
完整基因组公共数据
EBI ArrayExpress
EBI蛋白质数据银行在欧洲
ENCODE项目
电子显微镜试点图像档案（EMPIAR）
Ensembl基因组
基因表达综合（GEO）
基因本体（GO）
全球生物相互作用（GloBI）
哈佛医学院（HMS）LINCS项目
人类基因组多样性项目
人类微生物组项目（HMP）
ICOS PSP基准
国际HapMap项目
细胞生物学数据查看器
KEGG
MIT癌症基因组数据
NCBI蛋白质
NCBI分类
NCI基因组数据共享
NIH微阵列数据
OpenSNP基因型数据
Palmer企鹅数据集
Pathguid - 蛋白质-蛋白质相互作用目录
蛋白质数据银行
精神病基因组联盟
PubChem项目
PubGene (现Coremine Medical)
Sanger癌症突变目录（COSMIC）
Sanger癌症药物敏感性基因组项目（GDSC）
序列读取档案(SRA)
斯坦福微阵列数据
Stowers研究所原始数据存储库
生物动力学系统科学（SSBD）数据库
癌症基因组图谱（TCGA），通过Broad GDAC提供
物种名录
个人基因组项目
UCSC公共数据
UniGene
通用蛋白质资源（UnitProt）
Rfam

气候与天气

数据集列表

保险精算师气候指数
澳大利亚天气
航空天气中心
巴西天气 - 历史数据
加拿大气象中心
UEA气候研究单位数据
荷兰天气 - KNMI数据中心
欧洲气候评估与数据集
全球气候数据自1929年
全球气候变化新闻叙事数据集 (2009-2020)
NASA全球图像浏览服务
NOAA白令海气候
NOAA气候数据集
NOAA实时天气模型
NOAA SURFRAD气象学和辐射数据集
世界银行开放数据资源用于气候变化
WU历史天气全球
WorldClim - 全球气候数据

复杂网络

数据集列表

AMiner引用网络数据集
CrossRef DOI URLs
DBLP引用数据集
DIMACS道路网络集合
NBER专利引用
NIST复杂网络数据收集
网络存储库与交互式探索性分析工具
蛋白质-蛋白质相互作用网络
PyPI和Maven依赖网络
Scopus引用数据库
小型网络数据
斯坦福图形库
斯坦福大型网络数据集收集
Koblenz网络收集
Web算法实验室（UNIMI）
UCI网络数据存储库
UFL稀疏矩阵集合
WSU图形数据库

计算机网络

数据集列表

3.5B网页数据集 (CommonCrawl 2012)
53.5B网页点击数据集 (Indiana Univ.)
CAIDA互联网数据集
CRAWDAD无线数据集 (Dartmouth Univ.)
ClueWeb09 - 1B网页
ClueWeb12 - 733M网页
CommonCrawl网页数据 (7年)
Criteo点击率数据
互联网全扫描数据存储库
MIRAGE-2019移动流量数据集
OONI: 网络干扰开放观测站 - 互联网审查数据
开放移动数据 (MobiPerf)
点对点跟踪档案
Rapid7 Sonar互联网扫描
UCSD网络望远镜, IPv4 /8网

数据挑战

数据集列表

暴力破解数据库
机器学习挑战
CrowdANALYTIX dataX
D4D挑战赛 (Orange)
DrivenData竞赛 (社会公益)
ICWSM数据挑战 (自2009年)
KDD杯 (Tencent 2012)
Kaggle竞赛数据
Localytics数据可视化挑战
Netflix奖
太空应用挑战赛
电信意大利大数据挑战赛
TravisTorrent数据集 - MSR2017挖掘挑战
TunedIT - 数据挖掘与机器学习数据集, 算法, 挑战
Yelp数据集挑战

地球科学

数据集列表

38-Cloud (云检测)
AQUASTAT - 全球水资源与用途
BODC - 海洋数据 (~22K变量)
EOSDIS - NASA地球观测系统数据
地球模型
综合海洋观测系统 (IMOS)
Marinexplore - 开放海洋学数据
阿拉巴马实时海岸观测系统
国家河口研究保护区系统监测项目
油气管理局开放数据
史密森尼学会全球火山和喷发数据库
USGS地震档案

经济学

数据集列表

美国经济协会 (AEA)
EconData (UMD)
世界经济自由数据
宏观经济历史统计数据
INFORUM - 马里兰大学产业间预测
DBnomics - 世界经济数据库
国际贸易统计
互联网产品代码数据库
联合外部债务数据中心
Jon Haveman国际贸易数据链接
长期生产力数据库
OpenCorporates - 全球公司数据库
Our World in Data
SciencesPo世界贸易引力数据集
经济复杂性地图集
国际数据中心
经济复杂性观察站
联合国商品贸易统计
联合国人类发展报告

教育

数据集列表

大学记分卡数据
纽约州教育部门数据

搜集汇总

数据集介绍

构建方式

该数据集通过整合全球范围内的历史农业产量数据，涵盖了1981年至2016年间主要作物的产量信息。数据来源包括各国农业部门、国际组织以及科研机构的公开报告和数据库，经过严格的清洗和标准化处理，确保了数据的准确性和一致性。数据集以时间序列的形式呈现，便于研究者进行长期趋势分析和跨区域比较。

特点

该数据集的特点在于其全球覆盖范围广，时间跨度长达35年，涵盖了多种主要作物的产量数据。数据经过标准化处理，具有较高的可比性和一致性。此外，数据集还提供了详细的元数据，包括数据来源、处理方法等，便于用户理解和使用。

使用方法

用户可以通过访问数据集提供的链接下载数据文件，文件格式通常为CSV或Excel，便于导入到各种数据分析工具中进行处理。数据集的使用方法包括但不限于农业产量趋势分析、气候变化对农业的影响研究、以及农业政策的评估等。用户还可以结合其他相关数据集，如气候数据、土壤数据等，进行多维度分析。

背景与挑战

背景概述

《The global dataset of historical yields for major crops 1981–2016》数据集由国际研究团队于2019年发布，旨在为全球主要农作物的历史产量提供详尽的记录。该数据集涵盖了1981年至2016年间全球范围内主要农作物的产量数据，包括小麦、玉米、水稻等关键作物。其核心研究问题在于通过长期的历史数据，揭示气候变化、农业政策和技术进步对农作物产量的影响。该数据集为农业经济学、气候变化研究和粮食安全政策制定提供了重要的数据支持，推动了相关领域的定量分析和模型构建。

当前挑战

该数据集在解决农业产量预测和气候变化影响评估方面面临多重挑战。首先，农作物产量受多种因素影响，如气候、土壤、病虫害等，如何准确分离这些因素的贡献是一个复杂的统计问题。其次，全球不同地区的农业数据收集标准不一致，导致数据质量参差不齐，增加了数据清洗和整合的难度。在构建过程中，研究人员还需处理历史数据的缺失和不完整问题，尤其是在发展中国家和偏远地区，数据获取的难度较大。此外，如何将高分辨率的卫星数据与地面观测数据有效结合，也是数据集构建中的一大技术挑战。

常用场景

经典使用场景

该数据集广泛应用于农业经济学和气候变化研究领域，特别是在分析全球主要农作物的历史产量趋势及其与气候变化的关联时。研究人员利用这些数据来评估不同气候条件下作物的产量变化，进而预测未来的农业生产潜力。

衍生相关工作

基于该数据集，许多经典研究工作得以展开，如全球作物产量预测模型的开发、气候变化对农业生产的影响评估等。这些研究不仅推动了农业经济学的发展，还为全球粮食安全政策的制定提供了重要参考。

数据集最近研究