The global dataset of historical yields for major crops 1981–2016

全球主要作物1981-2016年历史产量数据集

Historical Yield Dataset of Major Global Crops from 1981 to 2016

原始信息汇总

数据集概述

农业

• 全球主要作物历史产量数据集 (1981-2016)
• 土壤湿度高光谱基准数据集
• 柠檬质量控制数据集
• 优化土壤调整植被指数
• 美国农业部营养数据库
• 美国农业部植物数据库

生物学

• 1000基因组项目
• 美国肠道项目（微生物组项目）
• Broad生物图像基准集合（BBBC）
• Broad癌症细胞系百科全书（CCLE）
• 细胞图像图书馆
• 完整基因组公共数据
• EBI ArrayExpress
• EBI蛋白质数据银行在欧洲
• ENCODE项目
• 电子显微镜试点图像档案（EMPIAR）
• Ensembl基因组
• 基因表达综合（GEO）
• 基因本体（GO）
• 全球生物相互作用（GloBI）
• 哈佛医学院（HMS）LINCS项目
• 人类基因组多样性项目
• 人类微生物组项目（HMP）
• ICOS PSP基准
• 国际HapMap项目
• 细胞生物学数据查看器
• KEGG
• MIT癌症基因组数据
• NCBI蛋白质
• NCBI分类学
• NCI基因组数据共享
• NIH微阵列数据
• OpenSNP基因型数据
• Palmer企鹅
• Pathguid - 蛋白质-蛋白质相互作用目录
• 蛋白质数据银行
• 精神病基因组学联盟
• PubChem项目
• PubGene (现Coremine Medical)
• Sanger癌症突变目录（COSMIC）
• Sanger药物敏感性癌症基因组项目（GDSC）
• 序列读取档案(SRA)
• 斯坦福微阵列数据
• Stowers研究所原始数据存储库
• 生物动力学系统科学（SSBD）数据库
• 癌症基因组图谱（TCGA）
• 生命目录
• 个人基因组项目
• UCSC公共数据
• UniGene
• 通用蛋白质资源（UnitProt）
• Rfam

气候与天气

• 保险精算气候指数
• 澳大利亚天气
• 航空天气中心
• 巴西天气
• 加拿大气象中心
• UEA气候数据
• 荷兰天气
• 欧洲气候评估与数据集
• 全球气候数据自1929年
• 全球气候变化新闻叙事图表2009-2020
• NASA全球图像浏览服务
• NOAA白令海气候
• NOAA气候数据集
• NOAA实时天气模型
• NOAA SURFRAD气象与辐射数据集
• 世界银行开放数据资源用于气候变化
• UEA气候研究单位
• WU历史天气全球
• 华盛顿邮报气候变化
• WorldClim - 全球气候数据

复杂网络

• AMiner引用网络数据集
• CrossRef DOI URLs
• DBLP引用数据集
• DIMACS道路网络集合
• NBER专利引用
• NIST复杂网络数据收集
• 网络存储库与交互式探索分析工具
• 蛋白质-蛋白质相互作用网络
• PyPI和Maven依赖网络
• Scopus引用数据库
• 小型网络数据
• 斯坦福图形库
• 斯坦福大型网络数据集集合
• 斯坦福长期网络数据源
• Koblenz网络收集
• 网络算法实验室（UNIMI）
• UCI网络数据存储库
• UFL稀疏矩阵集合
• WSU图形数据库
• 社区资源用于达特茅斯无线数据存档

计算机网络

• 3.5B网页从CommonCrawl 2012
• 53.5B网页点击100K用户在印第安纳大学
• CAIDA互联网数据集
• CRAWDAD无线数据集从达特茅斯大学
• ClueWeb09 - 1B网页
• ClueWeb12 - 733M网页
• CommonCrawl网页数据超过7年
• Criteo点击通过数据
• 互联网范围扫描数据存储库
• MIRAGE-2019 - 移动流量基准数据集
• OONI: 开放网络干扰观测站 - 互联网审查数据
• 开放移动数据由MobiPerf
• 点对点跟踪档案
• Rapid7 Sonar互联网扫描
• UCSD网络望远镜，IPv4 /8网络

数据挑战

• 暴力破解数据库
• 机器学习挑战
• CrowdANALYTIX dataX
• Orange的D4D挑战
• DrivenData竞赛用于社会公益
• ICWSM数据挑战（自2009年）
• KDD杯由腾讯2012
• Kaggle竞赛数据
• Localytics数据可视化挑战
• Netflix奖
• 空间应用挑战
• 电信意大利大数据挑战
• TravisTorrent数据集 - MSR2017挖掘挑战
• TunedIT - 数据挖掘与机器学习数据集，算法，挑战
• Yelp数据集挑战

地球科学

• 38-Cloud（云检测）
• AQUASTAT - 全球水资源与用途
• BODC - 海洋数据约22K变量
• EOSDIS - NASA的地球观测系统数据
• 地球模型
• 全球风图集
• 综合海洋观测系统（IMOS） - 约30TB海洋测量数据
• Marinexplore - 开放海洋学数据
• 阿拉巴马实时沿海观测系统
• 国家河口研究保护区系统范围监测计划
• 石油和天然气管理局开放数据
• 史密森学会全球火山和喷发数据库
• USGS地震档案

经济学

• 美国经济协会（AEA）
• EconData从UMD
• 世界经济自由数据
• 历史宏观经济统计
• INFORUM - 马里兰大学的行业间预测
• DBnomics - 世界经济数据库
• 国际贸易统计
• 联合外部债务数据中心
• Jon Haveman国际贸易数据链接
• 长期生产率数据库

搜集汇总

数据集介绍

构建方式

该数据集通过整合全球范围内的历史农业产量数据，涵盖了1981年至2016年间主要作物的产量信息。数据来源包括各国农业部门、国际组织以及科研机构的公开报告和统计资料。数据经过严格的清洗和标准化处理，确保时间序列的一致性和地理空间数据的准确性。

特点

该数据集的特点在于其全球覆盖范围广，时间跨度长达35年，涵盖了多种主要作物的产量数据。数据具有高时空分辨率，能够支持对全球农业产量变化的长期趋势分析。此外，数据集还提供了详细的地理信息，便于进行区域性的农业生产力研究。

使用方法

该数据集适用于农业经济学、气候变化对农业影响、粮食安全等领域的研究。研究人员可以通过分析时间序列数据，探索作物产量的长期趋势和季节性变化。结合地理信息系统（GIS）工具，可以进行空间分析，评估不同地区的农业生产力差异。此外，数据集还可用于构建预测模型，预测未来作物产量变化。

背景与挑战

背景概述

《The global dataset of historical yields for major crops 1981–2016》数据集由国际研究团队于2019年发布，旨在为全球主要农作物的历史产量提供详尽的时空数据。该数据集涵盖了1981年至2016年间全球主要农作物的产量信息，涉及小麦、玉米、水稻等关键作物。其核心研究问题在于通过长期的历史数据，揭示气候变化、农业政策和技术进步对农作物产量的影响。该数据集为农业经济学、气候变化研究以及粮食安全政策制定提供了重要的数据支持，推动了相关领域的定量分析和模型构建。

当前挑战

该数据集在解决全球农作物产量预测和气候变化影响评估方面面临多重挑战。首先，数据的时空覆盖范围广泛，但部分地区的数据质量参差不齐，尤其是在发展中国家，数据采集和记录的不完整性可能导致分析结果的偏差。其次，构建过程中需整合多源数据，包括卫星遥感、地面观测和统计年鉴等，数据格式和标准的差异增加了数据清洗和融合的难度。此外，农作物产量受多种因素影响，如气候、土壤、病虫害等，如何在模型中准确捕捉这些复杂因素的相互作用，仍是当前研究的难点。

常用场景

经典使用场景

在农业科学领域，全球主要作物历史产量数据集（1981-2016）为研究人员提供了一个全面的时间序列数据，涵盖了多种主要作物的产量变化。这一数据集广泛应用于作物产量预测、气候变化对农业影响的评估以及农业政策的制定。通过分析这些数据，研究者能够识别出产量波动的关键驱动因素，并为未来的农业生产提供科学依据。

实际应用

在实际应用中，全球主要作物历史产量数据集被广泛用于农业管理和政策制定。例如，政府部门可以利用这些数据评估不同地区的粮食生产能力，制定应对气候变化的农业适应策略。此外，农业企业可以通过分析历史产量数据，优化作物种植计划，提高生产效率。该数据集还为保险行业提供了风险评估的依据，帮助设计更精准的农业保险产品。

衍生相关工作

基于该数据集，许多经典研究工作得以展开。例如，研究者开发了多种作物产量预测模型，结合气候数据和历史产量数据，预测未来的农业生产趋势。此外，该数据集还被用于评估全球粮食供应链的脆弱性，特别是在极端气候事件频发的背景下。一些研究还利用这些数据分析了农业补贴政策的效果，为政策制定者提供了科学依据。