Crowds & Machines Next level: Meditteranean wheat classification labels from gamified crowd-sourcing
收藏资源简介：
Machine learning (and especially deep learning) algorithms need lots of training and validation datasets, which are often unavailable. Creating on-ground datasets is costly and time consuming. Within the European Space Agency funded project ‘Crowds & Machine – Next Level’ (by Blackshore B.V., 52impact B.V. and The Hague Centre for Strategic Studies), we aimed to solve this issue by generating labelled data effectively using an innovative gamified crowdsourced-based method. The objective of the project ‘Crowds & Machines Next Level’ was to generate labelled data for the training and validation of machine learning algorithms to classify the crop wheat. We make those labelled datasets freely available as open data to organisations that use machine learning for their activities, mainly companies and knowledge institutes. As part of the project we developed example scripts (Jupyter notebooks) that enable organisations to use the crowdsourced generated data smoothly for their own machine learning systems. BlackShore has developed the online platform Cerberus to enable large scale generation of labelled datasets, which is deployed on twenty locations around the Mediterranean Sea to generate labelled datasets of wheat and other land cover classes (see table). Those different locations encompass a diversity of climate regions, harvest cultures and crop calendars, posing a challenge to the training of machine learning algorithms. Gamers click on hexagons plotted on top of very high resolution satellite imagery (captured during the harvest period in 2021), and by combining 3 different hexagon grids those clicks are converted into triangles. Each triangle has a number of clicks (by different users) per land cover category, which provides a measure of accuracy to the label. 52impact developed example tutorials to use the data to train pixel-based (Random Forest) and segmentation-based (U-Net) machine learning models, using Sentinel-2 imagery (provided in the data folder), which can be forked here: https://bitbucket.org/52impact/crowds-machines.<br> <strong>Overview of locations</strong> ID location_id Country Region Shape Harvest period VHR image date S-2 pre-harvest S-2 harvest S-2 post-harvest 01 portugalAlentejo Portugal Alentejo 01_Portugal_Alentejo_SELECTION 10 Jul - 1 Aug 07/07/2021 14/05/2021 13/07/2021 22/08/2022 02 spainAndalusia Spain Andalusia 02_Spain_Andalusia_SELECTION 10 Jul - 1 Aug 02/07/2021 16/05/2021 15/07/2021 03/09/2021 03 spainAragon Spain Aragon 03_Spain_Aragon_SELECTION 10 Jul - 1 Aug 26/10/2021 20/05/2021 19/07/2021 05/09/2021 04 franceAude France Aude 04_France_Aude_SELECTION 1 Jul - 1 Oct 22/09/2021 12/05/2021 10/08/2021 18/11/2021 05 franceCamargue France Camargue 05_France_Camargue_SELECTION 1 Jul - 1 Oct 07/10/2021 12/05/2021 10/08/2021 18/11/2021 06 franceProvence France Provence 06_France_Provence_SELECTION 1 Jul - 1 Oct 26/10/2021 19/05/2021 17/08/2021 20/11/2021 07_08 italyMarche Italy Marche (East and West) 07_08_Italy_Marche_SELECTION 1 Jul - 1 Sept 09/08/2021 26/05/2021 25/07/2021 20/11/2021 09 italySardinia Italy Sardinia 09_Italy_Sardinia_SELECTION 1 Jul - 1 Sept 31/08/2021 26/05/2021 22/07/2021 10/10/2021 10 italySicily Italy Sicily 10_Italy_Sicily_SELECTION 1 Jul - 1 Sept 19/09/2021 22/05/2021 26/07/2021 10/10/2021 11 italyPugliaNorth Italy Puglia (North) 11_Italy_PugliaNorth_SELECTION 1 Jul - 1 Sept 06/10/2021 11/06/2021 31/07/2021 04/10/2021 12 italyPuglia Italy Puglia 12_Italy_Puglia_SELECTION 1 Jul - 1 Sept 19/08/2021 03/06/2021 02/08/2021 21/10/2021 13 greeceWest Greece West 13_Greece_West_SELECTION 1 Sept - 1 Nov 02/09/2021 27/07/2021 05/10/2021 14/12/2021 14 greeceThessaly Greece Thessaly 14_Greece_Thessaly_SELECTION 1 Sept - 1 Nov 14/07/2021 27/07/2021 25/09/2021 19/12/2021 15 greeceMacedoniaCentral Greece Macedonia (Central) 15_Greece_MacedoniaCentral_SELECTION 1 Jun - 1 Aug 22/07/2021 13/05/2021 22/07/2021 15/09/2021 16 greeceMacedoniaEast Greece Macedonia (East) 16_Greece_MacedoniaEast_SELECTION 1 Jun - 1 Aug 05/08/2021 25/05/2021 29/07/2021 27/10/2021 17 greeceRhodes Greece Rhodes 17_Greece_Rhodes_SELECTION 15 May - 1 Jul 09/05/2021 25/03/2021 24/05/2021 22/08/2021 18 cyprusLarnaca Cyprus Larnaca 18_Cyprus_Larnaca_SELECTION 15 May - 1 Jul 05/06/2021 19/03/2021 07/06/2021 21/08/2021 19 turkeyCyprus Cyprus (T) Farmagusta 19_Turkey_Cyprus_SELECTION 15 May - 1 Jul 05/06/2021 29/03/2021 17/06/2021 26/08/2021 20 egyptBehera Egypt Behera 20_Egypt_Behera_SELECTION 1 Apr - 1 Jul 06/03/2021 26/01/2021 07/03/2021 19/08/2021 The following data is provided: Triangulated_data.zip: contains per region and per category a geopackage (gpkg) file containing triangular polygons with the number of clicks per polygon. The filename of the polygon files depends on the location and category. For example, a file that contains the triangles corresponding to Cattle in Alentejo, Portugal, is called: 01_Portugal_Alentejo_Cattle.gpkg Data.zip: all data necessary to run the Jupyter notebooks, i.e., location data, cropped Sentinel-2 satellite imagery (for training location IDs 01, 02, 12 and 15, and validation locations near IDs 02 and 15) and also the triangulated polygons. Models.zip: pre-trained random forest and U-Net models based on the data, which can be generated by the Jupyter notebooks.<br>
机器学习（Machine Learning）算法，尤其是深度学习（Deep Learning）算法，需要大量训练与验证数据集，而此类数据往往难以获取。实地采集数据集不仅成本高昂，且耗时良久。在欧洲空间局（European Space Agency）资助的「Crowds & Machine – Next Level」项目（由Blackshore B.V.、52impact B.V.与海牙战略研究中心（The Hague Centre for Strategic Studies）共同执行）中，我们旨在通过创新的游戏化众包方法高效生成带标注数据（labelled data），以此解决上述数据短缺问题。 本「Crowds & Machines Next Level」项目的目标是生成带标注数据，用于训练与验证可对小麦作物进行分类的机器学习算法。我们将此类带标注数据集以开放数据形式免费提供给开展机器学习相关业务的机构，主要为企业与科研院所。 作为项目的一部分，我们开发了示例脚本（Jupyter notebooks），帮助机构能够顺畅地将众包生成的数据应用于自身的机器学习系统。BlackShore开发了名为Cerberus的在线平台，可实现带标注数据集的大规模生成。该平台已在地中海（Mediterranean Sea）周边20个点位部署，用于生成小麦及其他土地覆盖类别的带标注数据集（详见下表）。这些不同的点位涵盖了多样的气候区域、收获模式与作物物候期，为机器学习算法的训练带来了挑战。 参与者点击叠加在2021年收获期拍摄的超高分辨率卫星影像（very high resolution satellite imagery）上的六边形网格，通过组合3种不同的六边形网格，可将点击操作转换为三角形区域。每个三角形区域对应不同土地覆盖类别的点击次数（由不同用户完成），这一数据可用于评估标注的准确性。 52impact开发了示例教程，可利用数据文件夹中提供的哨兵2号（Sentinel-2）卫星影像，训练基于像素的随机森林（Random Forest）模型与基于分割的U-Net模型，相关代码可在此处复刻：https://bitbucket.org/52impact/crowds-machines。 ## 点位概览 | ID | 点位ID | 国家 | 区域 | 形状标识 | 收获期 | 超高分辨率影像拍摄日期 | 哨兵2号收获前影像拍摄日期 | 哨兵2号收获期影像拍摄日期 | 哨兵2号收获后影像拍摄日期 | |----|----|----|----|----|----|----|----|----|----| | 01 | 01_Portugal_Alentejo_SELECTION | 葡萄牙 | 阿连特茹 | 01_Portugal_Alentejo_SELECTION | 7月10日 - 8月1日 | 2021/07/07 | 2021/05/14 | 2021/07/13 | 2022/08/22 | | 02 | 02_Spain_Andalusia_SELECTION | 西班牙 | 安达卢西亚 | 02_Spain_Andalusia_SELECTION | 7月10日 - 8月1日 | 2021/07/02 | 2021/05/16 | 2021/07/15 | 2021/09/03 | | 03 | 03_Spain_Aragon_SELECTION | 西班牙 | 阿拉贡 | 03_Spain_Aragon_SELECTION | 7月10日 - 8月1日 | 2021/10/26 | 2021/05/20 | 2021/07/19 | 2021/09/05 | | 04 | 04_France_Aude_SELECTION | 法国 | 奥德省 | 04_France_Aude_SELECTION | 7月1日 - 10月1日 | 2021/09/22 | 2021/05/12 | 2021/08/10 | 2021/11/18 | | 05 | 05_France_Camargue_SELECTION | 法国 | 卡马尔格 | 05_France_Camargue_SELECTION | 7月1日 - 10月1日 | 2021/10/07 | 2021/05/12 | 2021/08/10 | 2021/11/18 | | 06 | 06_France_Provence_SELECTION | 法国 | 普罗旺斯 | 06_France_Provence_SELECTION | 7月1日 - 10月1日 | 2021/10/26 | 2021/05/19 | 2021/08/17 | 2021/11/20 | | 07_08 | 07_08_Italy_Marche_SELECTION | 意大利 | 马尔凯（东西两部分） | 07_08_Italy_Marche_SELECTION | 7月1日 - 9月1日 | 2021/08/09 | 2021/05/26 | 2021/07/25 | 2021/11/20 | | 09 | 09_Italy_Sardinia_SELECTION | 意大利 | 撒丁岛 | 09_Italy_Sardinia_SELECTION | 7月1日 - 9月1日 | 2021/08/31 | 2021/05/26 | 2021/07/22 | 2021/10/10 | | 10 | 10_Italy_Sicily_SELECTION | 意大利 | 西西里岛 | 10_Italy_Sicily_SELECTION | 7月1日 - 9月1日 | 2021/09/19 | 2021/05/22 | 2021/07/26 | 2021/10/10 | | 11 | 11_Italy_PugliaNorth_SELECTION | 意大利 | 普利亚（北部） | 11_Italy_PugliaNorth_SELECTION | 7月1日 - 9月1日 | 2021/10/06 | 2021/06/11 | 2021/07/31 | 2021/10/04 | | 12 | 12_Italy_Puglia_SELECTION | 意大利 | 普利亚 | 12_Italy_Puglia_SELECTION | 7月1日 - 9月1日 | 2021/08/19 | 2021/06/03 | 2021/08/02 | 2021/10/21 | | 13 | 13_Greece_West_SELECTION | 希腊 | 西部 | 13_Greece_West_SELECTION | 9月1日 - 11月1日 | 2021/09/02 | 2021/07/27 | 2021/10/05 | 2021/12/14 | | 14 | 14_Greece_Thessaly_SELECTION | 希腊 | 色萨利 | 14_Greece_Thessaly_SELECTION | 9月1日 - 11月1日 | 2021/07/14 | 2021/07/27 | 2021/09/25 | 2021/12/19 | | 15 | 15_Greece_MacedoniaCentral_SELECTION | 希腊 | 马其顿（中部） | 15_Greece_MacedoniaCentral_SELECTION | 6月1日 - 8月1日 | 2021/07/22 | 2021/05/13 | 2021/07/22 | 2021/09/15 | | 16 | 16_Greece_MacedoniaEast_SELECTION | 希腊 | 马其顿（东部） | 16_Greece_MacedoniaEast_SELECTION | 6月1日 - 8月1日 | 2021/08/05 | 2021/05/25 | 2021/07/29 | 2021/10/27 | | 17 | 17_Greece_Rhodes_SELECTION | 希腊 | 罗德岛 | 17_Greece_Rhodes_SELECTION | 5月15日 - 7月1日 | 2021/05/09 | 2021/03/25 | 2021/05/24 | 2021/08/22 | | 18 | 18_Cyprus_Larnaca_SELECTION | 塞浦路斯 | 拉纳卡 | 18_Cyprus_Larnaca_SELECTION | 5月15日 - 7月1日 | 2021/06/05 | 2021/03/19 | 2021/06/07 | 2021/08/21 | | 19 | 19_Turkey_Cyprus_SELECTION | 土耳其 | 塞浦路斯（法马古斯塔） | 19_Turkey_Cyprus_SELECTION | 5月15日 - 7月1日 | 2021/06/05 | 2021/03/29 | 2021/06/17 | 2021/08/26 | | 20 | 20_Egypt_Behera_SELECTION | 埃及 | 贝赫拉 | 20_Egypt_Behera_SELECTION | 4月1日 - 7月1日 | 2021/03/06 | 2021/01/26 | 2021/03/07 | 2021/08/19 | 本次提供的数据如下： 1. Triangulated_data.zip：包含按区域与类别划分的地理包（geopackage, gpkg）文件，每个文件存储带有对应点击次数的三角形多边形数据。多边形文件的命名由点位与类别共同决定。例如，包含葡萄牙阿连特茹地区牛类用地三角形数据的文件名为：`01_Portugal_Alentejo_Cattle.gpkg`。 2. Data.zip：包含运行Jupyter notebooks所需的全部数据，包括点位数据、裁剪后的哨兵2号（Sentinel-2）卫星影像（用于训练点位ID为01、02、12、15的模型，以及ID为02、15附近的验证点位）与三角形多边形数据。 3. Models.zip：基于本数据集预训练的随机森林（Random Forest）与U-Net模型，也可通过Jupyter notebooks自行生成。
