Speedtest Open Data - Australia 2020/21/22/23; Q220 - Q223 extract by Qtr

This is an Australian extract of Speedtest Open data available at Amazon WS (link below - opendata.aws). AWS data licence is "CC BY-NC-SA 4.0", so use of this data must be:- non-commercial (NC)- reuse must be share-alike (SA)(add same licence).This restricts the standard CC-BY Figshare licence. A world speedtest open data was dowloaded (>400Mb, 7M lines of data). An extract of Australia's location (lat, long) revealed 88,000 lines of data (attached as csv). A Jupyter notebook of extract process is attached.A link to Twitter thread of outputs provided.A link to Data tutorial provided (GitHub), including Jupyter Notebook to analyse World Speedtest data, selecting one US State. Data Shows: (Q220)- 3.1M speedtests- 762,000 devices- 88,000 grid locations (600m * 600m), summarised as a point- average speed 33.7Mbps (down), 12.4M (up)- Max speed 724Mbps- data is for 600m * 600m grids, showing average speed up/down, number of tests, and number of users (IP). Added centroid, and now lat/long. See tweet of image of centroids also attached. NB: Discrepancy Q2-21, Speedtest Global shows June AU average speedtest at 80Mbps, whereas Q2 mean is 52Mbps (v17; Q1 45Mbps; v14). Dec 20 Speedtest Global has AU at 59Mbps. Could be possible timing difference. Or spatial anonymising masking shaping highest speeds. Else potentially data inconsistent between national average and geospatial detail. Check in upcoming quarters. NextSteps:Histogram - compare Q220, Q121, Q122. per v1.4.ipynb. Versions:V27.1 Added AUS Q223 (90k lines avg d/l 74.25 Mbps). Imported using speedtest-workflow-import jupyter notebook. Mean tests:15.7. Mean devices: 5.1. V27 Added AUS Q123 (89k lines avg d/l 69.69 Mbps). Imported using speedtest-workflow-import jupyter notebook. Mean tests:16. Mean devices: 5.3. V26 Add DOI to Journal Publication (linked below). International Regional Science Review.v25 Added AUS Q422 geojson (89k lines, avg d/l 65.9 Mbps). Imported using speedtest-workflow-import jupyter notebook. Mean tests:19. Mean devices: 5.8.v24 Added AUS Q322 geojson (83k lines, avg d/l 61.6 Mbps), plus Workflow-import jupyter notebook (speedtest-workflow-import).v23 Added AUS Q222 geojson (87k lines, avg d/l 58.4 Mbps)v22 Added AUS Q122 geojson (88k lines, avg d/l 56.9 Mbps). Mean tests: 21. Mean devices: 6.4.v21: Added AUS Q421 geojson (86k lines, avg d/l 57.6 Mbps). Mean tests: 21. Mean devices: 6.5.v20: Added AUS Q321 geojson. (81k lines avg d/l 54.9 Mbps). Mean tests: 27. Mean devices: 7.v18/19: Add linechart, Histogram and v1.4 ipynb, comparing Q221 to Q121 and Q220. Speedtest Global at 0621 puts AU at 80Mbps average (June). Substantially above data mean (Apr, May Jun) (v17).v17: Add AUS Speedtest Q2 2021 geojson.(79k lines avg d/l 52.3Mbps)v15/16. Add Hist comparing Q1-21 vs Q2-20. Inc ipynb (incHistQ121, v.1.3-Q121) to calc.v14 Add AUS Speedtest Q1 2021 geojson.(79k lines avg d/l 45.4Mbps)v13 - Added three colour MELB map (less than 20Mbps, over 90Mbps, 20-90Mbps)v12 - Added AUS - Syd - Mel Line Chart Q320.v11 - Add line chart compare Q2, Q3, Q4 plus Melb - result virtually indistinguishable. Add line chart to compare Syd - Melb Q3. Also virtually indistinguishable. Add HIST compare Syd - Melb Q3. Add new Jupyter with graph calcs (nbn-AUS-v1.3). Some ERRATA document in Notebook. Issue with resorting table, and graphing only part of table. Not an issue if all lines of table graphed.v10 - Load AURIN sample pics. Speedtest data loaded to AURIN geo-analytic platform; requires edu.au login.v9 - Add comparative Q2, Q3, Q4 Hist pic.v8 - Added Q4 data geojson. Add Q3, Q4 Hist pic.v7 - Rename to include Q2, Q3 in Title.v6 - Add Q3 20 data. Rename geojson AUS data as Q2. Add comparative Histogram. Calc in International.ipynb.v5 - add Jupyter Notebook inc Histograms. Hist is count of geo-locations avg download speed (unweighted by tests).v4 - added Melb choropleth (png 50Mpix) inc legend. (To do - add Melb.geojson). Posted Link to AURIN description of Speedtest data.v3 - Add super fast data (>100Mbps) less than 1% of data - 697 lines. Includes png of superfast.plot(). Link below to Google Maps version of superfast data points. Also Google map of first 100 data points - sample data. Geojson format for loading into GeoPandas, per Jupyter Notebook. New version of Jupyter Notebook, v.1.1.v2 - add centroids image.v1 - initial data load. ** Future Work- combine Speedtest data with NBN Technology by location data (national map.gov.au); https://www.data.gov.au/dataset/national-broadband-network-connections-by-technology-type- combine Speedtest data with SEIFA data - socioeconomic categories - to discuss with AURIN.- Further international comparisons- discussed collaboration with Assoc Prof Tooran Alizadeh, USyd. - "It is a pleasure to accept your manuscript entitled "The Multi-Technology Footprint of the National Broadband Network in Australia: Exploring the urban-regional divide and socio-spatial patterns for inequality" in its current form for publication in International Regional Science Review." (1.3.23) DOI now added in links below (https://doi.org/10.1177/01600176231168025).

本数据集为澳大利亚区域的Speedtest开源数据集（Speedtest）提取版，原始数据托管于亚马逊网络服务（Amazon Web Services, AWS）（链接见下文：opendata.aws）。AWS平台上的数据集采用知识共享署名-非商业性使用-相同方式共享4.0国际许可协议（CC BY-NC-SA 4.0），因此本数据集的使用需遵循以下规则：不得用于商业用途（NC）、再发布需采用相同许可协议（SA）。该规则限制了标准的CC-BY Figshare许可协议。

全球Speedtest开源数据集已完成下载（文件大小超400MB，共计700万行数据）。从中提取澳大利亚区域的经纬度坐标数据后，得到88000行数据（以逗号分隔值（Comma-Separated Values, CSV）格式附件提供）。附带了用于数据提取流程的Jupyter交互式笔记本（Jupyter Notebook）文件。

提供了指向结果Twitter线程的链接。同时提供了托管于GitHub的数据教程链接，其中包含用于分析全球Speedtest数据集的Jupyter Notebook，可筛选单个美国州份的数据。

数据集统计信息如下（2020年第二季度，Q2 2020）：
- 共计310万次测速任务
- 覆盖76.2万台设备
- 包含88000个600米×600米网格点位（以单点形式汇总）
- 平均网速：下行33.7Mbps，上行12.4Mbps
- 最高测速速率达724Mbps
- 数据集基于600米×600米网格构建，展示了各网格的上下行平均网速、测速次数以及用户（IP）数量。

已添加质心坐标，当前数据包含经纬度信息。附带的推文图片中展示了质心点位。

注意：存在数据不一致问题：2021年第二季度，全球Speedtest报告显示澳大利亚6月平均测速速率为80Mbps，但本数据集2021年第二季度平均速率仅为52Mbps（对应版本v17；2021年第一季度平均速率为45Mbps，对应版本v14）。2020年12月的全球Speedtest报告显示澳大利亚平均速率为59Mbps。该差异可能源于时间节点不同，或是空间匿名化处理掩盖了高网速点位，亦有可能是全国平均数据与地理空间细节数据间存在不一致。后续季度将对此展开核查。

下一步工作：基于v1.4.ipynb，绘制用于对比2020年第二季度、2021年第一季度与2021年第二季度数据的直方图。

版本更新记录：
v27.1：新增澳大利亚2023年第二季度数据集（90000行数据，平均下行速率74.25Mbps），通过speedtest-workflow-import Jupyter Notebook完成导入。平均测速次数：15.7次；平均覆盖设备数：5.1台。
v27：新增澳大利亚2023年第一季度数据集（89000行数据，平均下行速率69.69Mbps），通过speedtest-workflow-import Jupyter Notebook完成导入。平均测速次数：16次；平均覆盖设备数：5.3台。
v26：为期刊发表论文添加了数字对象唯一标识符（Digital Object Identifier, DOI），相关链接见下文。
v25：新增澳大利亚2022年第四季度地理JSON（GeoJSON）数据集（89000行数据，平均下行速率65.9Mbps），通过speedtest-workflow-import Jupyter Notebook完成导入。平均测速次数：19次；平均覆盖设备数：5.8台。
v24：新增澳大利亚2022年第三季度GeoJSON数据集（83000行数据，平均下行速率61.6Mbps），附带speedtest-workflow-import Jupyter Notebook。
v23：新增澳大利亚2022年第二季度GeoJSON数据集（87000行数据，平均下行速率58.4Mbps）。
v22：新增澳大利亚2022年第一季度GeoJSON数据集（88000行数据，平均下行速率56.9Mbps）。平均测速次数：21次；平均覆盖设备数：6.4台。
v21：新增澳大利亚2021年第四季度GeoJSON数据集（86000行数据，平均下行速率57.6Mbps）。平均测速次数：21次；平均覆盖设备数：6.5台。
v20：新增澳大利亚2021年第三季度GeoJSON数据集（81000行数据，平均下行速率54.9Mbps）。平均测速次数：27次；平均覆盖设备数：7台。
v18/19：新增折线图、直方图及v1.4版本Jupyter Notebook，用于对比2021年第二季度、2021年第一季度与2020年第二季度的数据。2021年6月的全球Speedtest报告显示澳大利亚平均网速为80Mbps，远高于本数据集（2020年4-6月）的平均速率（对应v17版本）。
v17：新增澳大利亚2021年第二季度GeoJSON数据集（79000行数据，平均下行速率52.3Mbps）。
v15/16：新增用于对比2021年第一季度与2020年第二季度数据的直方图，附带用于计算的Jupyter Notebook（incHistQ121, v.1.3-Q121）。
v14：新增澳大利亚2021年第一季度GeoJSON数据集（79000行数据，平均下行速率45.4Mbps）。
v13：新增墨尔本三色系热力图（分为<20Mbps、20-90Mbps、>90Mbps三个区间）。
v12：新增澳大利亚-悉尼-墨尔本2020年第三季度折线图。
v11：新增用于对比2020年第二、第三、第四季度数据的折线图，结果显示悉尼与墨尔本的测速数据几乎无差异；新增用于对比悉尼与墨尔本2020年第三季度数据的直方图。附带用于计算绘图的Jupyter Notebook（nbn-AUS-v1.3），笔记中包含部分勘误说明：存在表格重排序错误，且仅对部分表格数据进行了绘图，若使用全部表格数据绘图则无此问题。
v10：加载AURIN示例图片。Speedtest数据集已上传至澳大利亚城市与区域研究信息网络（Australian Urban and Regional Information Network, AURIN）地理分析平台，需使用edu.au域名邮箱登录方可访问。
v9：新增用于对比2020年第二、第三、第四季度数据的直方图图片。
v8：新增2020年第四季度数据的GeoJSON文件，新增用于对比2020年第三、第四季度数据的直方图图片。
v7：重命名数据集标题，添加2020年第二、第三季度标识。
v6：新增2020年第三季度数据，将原澳大利亚数据集重命名为2020年第二季度数据集，新增对比直方图，计算逻辑见International.ipynb。
v5：新增包含直方图的Jupyter Notebook，直方图统计了各地理点位的平均下行测速速率（未按测速次数加权）。
v4：新增墨尔本等值区域图（PNG格式，5000万像素），附带图例（待完成：添加墨尔本GeoJSON文件）。发布了指向AURIN平台上Speedtest数据集说明的链接。
v3：新增超高速网速数据（>100Mbps），占总数据的不足1%，共计697行。附带超高速数据的可视化PNG图片，以及超高速数据点位的谷歌地图版本链接；同时提供了前100条数据的谷歌地图样本链接。数据集采用GeoJSON格式，可通过Jupyter Notebook加载至GeoPandas中，对应Jupyter Notebook版本为v1.1。
v2：新增质心坐标图片。
v1：初始数据加载版本。

未来工作规划：
- 将Speedtest数据集与按地理位置分类的澳大利亚国家宽带网络（National Broadband Network, NBN）技术数据相结合（数据源：national map.gov.au；https://www.data.gov.au/dataset/national-broadband-network-connections-by-technology-type）
- 将Speedtest数据集与澳大利亚社会经济指标分区（Socio-economic Indexes for Areas, SEIFA）数据相结合，该数据用于划分社会经济类别，相关合作将与AURIN展开讨论
- 开展更多国际对比研究
- 已与悉尼大学副教授Tooran Alizadeh探讨合作事宜
- 2023年3月1日，收到《国际区域科学评论》（International Regional Science Review）的录用通知，确认接收题为"The Multi-Technology Footprint of the National Broadband Network in Australia: Exploring the urban-regional divide and socio-spatial patterns for inequality"的手稿。目前相关链接中已添加该论文的数字对象唯一标识符（DOI：https://doi.org/10.1177/01600176231168025）