The global dataset of historical yields for major crops 1981–2016

全球主要作物1981-2016年历史产量数据集

Historical Yield Dataset of Major Global Crops from 1981 to 2016

原始信息汇总

数据集概述

本数据集是一个主题中心化的公共数据源列表，涵盖了多个领域的数据集，包括农业、生物学、气候与天气、复杂网络、计算机网络、数据挑战、地球科学和经济等。以下是各领域数据集的详细分类和部分示例：

农业

• 全球主要作物历史产量数据集 (1981–2016)
• 土壤水分高光谱基准数据集
• 柠檬质量控制数据集
• 优化土壤调整植被指数
• 美国农业部营养数据库
• 美国农业部植物数据库

生物学

• 1000基因组项目数据
• 美国肠道项目（微生物组项目）
• Broad生物图像基准集合（BBBC）
• Broad癌症细胞系百科全书（CCLE）
• 细胞图像库
• 完整基因组公共数据
• EBI ArrayExpress
• EBI蛋白质数据银行在欧洲
• ENCODE项目
• 电子显微镜数据银行（EMDB）
• Ensembl基因组
• 基因表达综合（GEO）
• 基因本体（GO）
• 全球生物相互作用（GloBI）
• 哈佛医学院（HMS）LINCS项目
• 人类基因组多样性项目
• 人类微生物组项目（HMP）
• ICOS PSP基准
• 国际HapMap项目
• 细胞生物学数据查看器
• KEGG
• MIT癌症基因组数据
• NCBI蛋白质
• NCBI分类
• NCI基因组数据共享
• NIH微阵列数据
• OpenSNP基因型数据
• Palmer企鹅数据集
• Pathguid - 蛋白质-蛋白质相互作用目录
• 蛋白质数据银行
• 精神病基因组学联盟
• PubChem项目
• PubGene（现Coremine Medical）
• Sanger癌症突变目录（COSMIC）
• Sanger药物敏感性基因组学癌症项目（GDSC）
• 序列读取存档（SRA）
• 斯坦福微阵列数据
• Stowers研究所原始数据存储库
• 生物动力学系统科学（SSBD）数据库
• 癌症基因组图谱（TCGA）
• 生命目录
• 个人基因组项目
• UCSC公共数据
• UniGene
• 通用蛋白质资源（UnitProt）
• Rfam

气候与天气

• 保险精算气候指数
• 澳大利亚天气
• 航空天气中心
• 巴西天气（历史数据）
• 加拿大气象中心
• UEA气候研究单位（更新每月）
• 荷兰天气
• 欧洲气候评估与数据集
• 全球气候数据自1929年
• 全球气候变化新闻叙事图表2009-2020
• NASA全球影像浏览服务
• NOAA白令海气候
• NOAA气候数据集
• NOAA实时天气模型
• NOAA SURFRAD气象学和辐射数据集
• 世界银行开放数据资源用于气候变化
• UEA气候研究单位
• WU历史天气全球
• 华盛顿邮报气候变化
• 世界气候

复杂网络

• AMiner引用网络数据集
• CrossRef DOI URLs
• DBLP引用数据集
• DIMACS道路网络收集
• NBER专利引用
• NIST复杂网络数据收集
• 网络存储库与交互式探索分析工具
• 蛋白质-蛋白质相互作用网络
• PyPI和Maven依赖网络
• Scopus引用数据库
• 小型网络数据
• 斯坦福图基（Steven Skiena）
• 斯坦福大型网络数据集收集
• 斯坦福纵向网络数据源
• Koblenz网络收集
• 网络算法实验室（UNIMI）
• UCI网络数据存储库
• UFL稀疏矩阵收集
• WSU图数据库
• 社区资源用于达特茅斯无线数据存档

计算机网络

• 3.5B网页从CommonCrawl 2012
• 53.5B网页点击100K用户在印第安纳大学
• CAIDA互联网数据集
• CRAWDAD无线数据集从达特茅斯大学
• ClueWeb09 - 1B网页
• ClueWeb12 - 733M网页
• CommonCrawl网页数据超过7年
• Criteo点击通过数据
• 互联网全扫描数据存储库
• MIRAGE-2019
• OONI：开放网络干扰观察
• 开放移动数据由MobiPerf
• 对等跟踪存档
• Rapid7 Sonar互联网扫描
• UCSD网络望远镜，IPv4 /8网

数据挑战

• 暴力破解数据库
• 机器学习挑战
• CrowdANALYTIX dataX
• Orange的D4D挑战
• DrivenData竞赛为社会公益
• ICWSM数据挑战（自2009年）
• KDD杯由腾讯2012
• Kaggle竞赛数据
• Localytics数据可视化挑战
• Netflix奖
• 空间应用挑战
• 电信意大利大数据挑战
• TravisTorrent数据集 - MSR2017挖掘挑战
• TunedIT - 数据挖掘与机器学习数据集，算法，挑战
• Yelp数据集挑战

地球科学

• 38-Cloud（云检测）
• AQUASTAT - 全球水资源和使用
• BODC - 海洋数据约22K变量
• EOSDIS - NASA的地球观测系统数据
• 地球模型
• 综合海洋观测系统（IMOS）
• Marinexplore - 开放海洋学数据
• 阿拉巴马实时海岸观测系统
• 国家河口研究储备系统广泛监测计划
• 石油和天然气管理局开放数据
• 史密森学会全球火山和喷发数据库
• USGS地震档案

经济学

• 美国经济协会（AEA）
• EconData从UMD
• 世界经济自由数据
• 宏观经济历史统计
• INFORUM - 马里兰大学的行业间预测
• DBnomics - 世界经济数据库
• 国际贸易统计
• 互联网产品代码数据库
• 联合外部债务数据中心
• Jon Haveman国际贸易数据链接
• 长期生产率数据库
• OpenCorporates数据库世界公司

以上数据集覆盖了从基础科学研究到应用研究的多方面需求，为研究人员提供了丰富的数据资源。

搜集汇总

数据集介绍

构建方式

该数据集通过整合全球范围内的历史农业产量数据构建而成，涵盖了1981年至2016年间主要农作物的产量信息。数据来源包括各国农业部门、国际组织以及科研机构的公开报告和数据库，确保了数据的广泛性和权威性。数据经过严格的清洗和标准化处理，以确保不同地区和年份之间的可比性。

特点

该数据集的一个显著特点是其全球覆盖范围，涵盖了多个主要农作物的产量数据，包括小麦、玉米、水稻等。数据集的时间跨度长达35年，为研究全球农业生产趋势、气候变化对农业的影响以及粮食安全等问题提供了宝贵的历史数据。此外，数据集还包含了地理空间信息，使得研究者能够进行区域性的分析和比较。

使用方法

该数据集适用于多种研究场景，包括农业经济学、气候变化对农业的影响、粮食安全政策分析等。研究者可以通过下载数据集，使用统计软件或地理信息系统（GIS）工具进行数据分析。数据集提供了多种格式，便于不同研究需求的使用。此外，数据集还附有详细的元数据，帮助用户理解数据的来源和处理过程，确保研究的透明性和可重复性。

背景与挑战

背景概述

《The global dataset of historical yields for major crops 1981–2016》数据集由国际研究团队于2019年发布，旨在为全球主要农作物的历史产量提供详尽的记录。该数据集涵盖了1981年至2016年间全球范围内主要农作物的产量数据，包括小麦、玉米、水稻等关键作物。其核心研究问题在于通过长期的历史数据，揭示气候变化、农业政策和技术进步对农作物产量的影响。该数据集为农业经济学、气候变化研究以及粮食安全政策制定提供了重要的数据支持，推动了相关领域的定量分析和模型构建。

当前挑战

该数据集面临的挑战主要体现在两个方面。首先，在解决领域问题上，尽管数据集提供了丰富的农作物产量数据，但其空间分辨率和时间覆盖范围仍存在局限性，难以完全捕捉局部地区的产量波动和极端气候事件的影响。其次，在数据构建过程中，研究人员面临数据来源不一致、数据质量参差不齐等问题，尤其是在发展中国家和地区，数据收集和记录的标准化程度较低，导致数据整合和清洗工作异常复杂。此外，如何将历史产量数据与未来的气候变化预测模型相结合，也是当前研究中的一大挑战。

常用场景

经典使用场景

该数据集广泛应用于农业经济学和气候变化研究领域，特别是在分析全球主要农作物历史产量趋势时，提供了1981年至2016年间全球范围内的详细数据。研究人员通过该数据集能够深入探讨不同气候条件、农业政策和技术进步对农作物产量的影响，进而为全球粮食安全政策的制定提供科学依据。

实际应用

在实际应用中，该数据集被广泛用于农业规划、灾害评估和保险定价等领域。例如，农业保险公司利用该数据集评估气候变化对农作物产量的风险，从而制定更精准的保险产品。此外，政府部门和农业企业也依赖该数据进行粮食生产预测和资源分配，以应对潜在的粮食危机。

衍生相关工作

基于该数据集，许多经典研究工作得以展开。例如，全球气候变化对农作物产量的影响研究、农业政策效果评估模型以及粮食安全预测模型等。这些研究不仅推动了农业经济学的发展，还为全球粮食安全政策的制定提供了科学依据。此外，该数据集还催生了多篇高影响力的学术论文，进一步提升了其在学术界的影响力。