Speedtest Open Data - Australia(NZ) 2020/21/22/23; Q220 - Q323 extract by Qtr

This is an Australian extract of Speedtest Open data available at Amazon WS (link below - opendata.aws). AWS data licence is "CC BY-NC-SA 4.0", so use of this data must be:- non-commercial (NC)- reuse must be share-alike (SA)(add same licence).This restricts the standard CC-BY Figshare licence. A world speedtest open data was dowloaded (>400Mb, 7M lines of data). An extract of Australia's location (lat, long) revealed 88,000 lines of data (attached as csv). A Jupyter notebook of extract process is attached.A link to Twitter thread of outputs provided.A link to Data tutorial provided (GitHub), including Jupyter Notebook to analyse World Speedtest data, selecting one US State. Data Shows: (Q220)- 3.1M speedtests- 762,000 devices- 88,000 grid locations (600m * 600m), summarised as a point- average speed 33.7Mbps (down), 12.4M (up)- Max speed 724Mbps- data is for 600m * 600m grids, showing average speed up/down, number of tests, and number of users (IP). Added centroid, and now lat/long. See tweet of image of centroids also attached. NB: Discrepancy Q2-21, Speedtest Global shows June AU average speedtest at 80Mbps, whereas Q2 mean is 52Mbps (v17; Q1 45Mbps; v14). Dec 20 Speedtest Global has AU at 59Mbps. Could be possible timing difference. Or spatial anonymising masking shaping highest speeds. Else potentially data inconsistent between national average and geospatial detail. Check in upcoming quarters. NextSteps:Histogram - compare Q220, Q121, Q122. per v1.4.ipynb. Versions:v32 Recalc Au vs NZ for upload performance; added image. using PlayNZ Jupyter. NZ approx 40% locations at or above 100Mbps. Aus <5%, perhaps <2%.v31 Added graph of NZ vs Aus Q3 2023 Broadband performance; and PlanNZ Jupyter notebook.v30 Added NZ Q323 ( 20k lines avg d/l 154.33Mbps). Mean tests: 10.3 Mean devices: 3.4. nz_tiles = tiles.cx[166.509144322:178.517093541 , -46.641235447:-34.4506617165] Source: https://gist.github.com/graydon/11198540v29 Added AUS Q323 (90k lines avg d/l 79.08 Mbps). Imported using speedtest-workflow-importv2 jupyter notebook. Mean tests:16.1. Mean devices: 5.2.v28 Added v2 Import ipynb with new histograms to examine quarterly data.V27.1 Added AUS Q223 (90k lines avg d/l 74.25 Mbps). Imported using speedtest-workflow-import jupyter notebook. Mean tests:15.7. Mean devices: 5.1.V27 Added AUS Q123 (89k lines avg d/l 69.69 Mbps). Imported using speedtest-workflow-import jupyter notebook. Mean tests:16. Mean devices: 5.3.V26 Add DOI to Journal Publication (linked below). International Regional Science Review.v25 Added AUS Q422 geojson (89k lines, avg d/l 65.9 Mbps). Imported using speedtest-workflow-import jupyter notebook. Mean tests:19. Mean devices: 5.8.v24 Added AUS Q322 geojson (83k lines, avg d/l 61.6 Mbps), plus Workflow-import jupyter notebook (speedtest-workflow-import).v23 Added AUS Q222 geojson (87k lines, avg d/l 58.4 Mbps)v22 Added AUS Q122 geojson (88k lines, avg d/l 56.9 Mbps). Mean tests: 21. Mean devices: 6.4.v21: Added AUS Q421 geojson (86k lines, avg d/l 57.6 Mbps). Mean tests: 21. Mean devices: 6.5.v20: Added AUS Q321 geojson. (81k lines avg d/l 54.9 Mbps). Mean tests: 27. Mean devices: 7.v18/19: Add linechart, Histogram and v1.4 ipynb, comparing Q221 to Q121 and Q220. Speedtest Global at 0621 puts AU at 80Mbps average (June). Substantially above data mean (Apr, May Jun) (v17).v17: Add AUS Speedtest Q2 2021 geojson.(79k lines avg d/l 52.3Mbps)v15/16. Add Hist comparing Q1-21 vs Q2-20. Inc ipynb (incHistQ121, v.1.3-Q121) to calc.v14 Add AUS Speedtest Q1 2021 geojson.(79k lines avg d/l 45.4Mbps)v13 - Added three colour MELB map (less than 20Mbps, over 90Mbps, 20-90Mbps)v12 - Added AUS - Syd - Mel Line Chart Q320.v11 - Add line chart compare Q2, Q3, Q4 plus Melb - result virtually indistinguishable. Add line chart to compare Syd - Melb Q3. Also virtually indistinguishable. Add HIST compare Syd - Melb Q3. Add new Jupyter with graph calcs (nbn-AUS-v1.3). Some ERRATA document in Notebook. Issue with resorting table, and graphing only part of table. Not an issue if all lines of table graphed.v10 - Load AURIN sample pics. Speedtest data loaded to AURIN geo-analytic platform; requires edu.au login.v9 - Add comparative Q2, Q3, Q4 Hist pic.v8 - Added Q4 data geojson. Add Q3, Q4 Hist pic.v7 - Rename to include Q2, Q3 in Title.v6 - Add Q3 20 data. Rename geojson AUS data as Q2. Add comparative Histogram. Calc in International.ipynb.v5 - add Jupyter Notebook inc Histograms. Hist is count of geo-locations avg download speed (unweighted by tests).v4 - added Melb choropleth (png 50Mpix) inc legend. (To do - add Melb.geojson). Posted Link to AURIN description of Speedtest data.v3 - Add super fast data (>100Mbps) less than 1% of data - 697 lines. Includes png of superfast.plot(). Link below to Google Maps version of superfast data points. Also Google map of first 100 data points - sample data. Geojson format for loading into GeoPandas, per Jupyter Notebook. New version of Jupyter Notebook, v.1.1.v2 - add centroids image.v1 - initial data load. ** Future Work- combine Speedtest data with NBN Technology by location data (national map.gov.au); https://www.data.gov.au/dataset/national-broadband-network-connections-by-technology-type- combine Speedtest data with SEIFA data - socioeconomic categories - to discuss with AURIN.- Further international comparisons- discussed collaboration with Assoc Prof Tooran Alizadeh, USyd. - "It is a pleasure to accept your manuscript entitled "The Multi-Technology Footprint of the National Broadband Network in Australia: Exploring the urban-regional divide and socio-spatial patterns for inequality" in its current form for publication in International Regional Science Review." (1.3.23) DOI now added in links below (https://doi.org/10.1177/01600176231168025).

本数据集为Speedtest开源数据集的澳大利亚区域子集，数据源来自亚马逊云服务（Amazon Web Services，简称AWS），链接见下文：opendata.aws。该AWS数据集的授权协议为"CC BY-NC-SA 4.0"，因此数据使用需遵循以下规则：非商业用途（NC）、再分发需采用相同授权协议（SA）。本规则限定了标准CC-BY Figshare授权协议的使用范围。

我们已下载全球Speedtest开源数据集（文件大小超400MB，包含700万行数据）。从中提取澳大利亚区域（经纬度坐标）的子集后，得到88000行数据，以CSV格式附件提供。数据集提取流程对应的Jupyter Notebook已同步附上。此外还提供了结果展示的Twitter线程链接，以及GitHub平台上的数据教程链接（教程包含用于分析全球Speedtest数据集的Jupyter Notebook，可筛选指定美国州份开展分析）。

### 数据集统计详情（以2020年第二季度为例）：
- 共计310万次Speedtest测速记录
- 覆盖76.2万台设备
- 包含88000个600m×600m网格的汇总点位数据
- 平均下载速率33.7Mbps，平均上传速率12.4Mbps
- 最高测速速率达724Mbps
- 数据以600m×600m网格为统计单元，展示了该网格内的平均上下行速率、总测速次数以及用户（IP地址）总数。
本次更新补充了网格质心坐标，当前数据包含经纬度信息。相关质心可视化图像的推文链接已附上。

### 备注
注：2021年第二季度数据存在统计差异：Speedtest全球报告显示澳大利亚2021年6月平均测速速率为80Mbps，但本数据集该季度均值为52Mbps（版本v17；2021年第一季度均值为45Mbps，对应版本v14）。2020年12月的Speedtest全球报告显示澳大利亚平均速率为59Mbps。该差异可能源于时间节点不同，或是空间匿名化处理遮蔽了高测速结果；亦可能存在全国平均速率与地理空间细分数据之间的不一致性，后续季度将对此展开验证。

### 后续工作计划
基于v1.4.ipynb绘制直方图，对比2020Q2、2021Q1与2022Q1的数据集统计结果。

### 版本历史
v32：重新计算澳大利亚与新西兰的上传性能指标，新增可视化图像（基于PlayNZ Jupyter Notebook生成）。结果显示新西兰约40%的网格点位下载速率达到或超过100Mbps，澳大利亚该占比不足5%，甚至可能低于2%。
v31：新增2023年第三季度澳大利亚与新西兰宽带性能对比折线图，以及PlanNZ Jupyter Notebook。
v30：新增新西兰2023年第三季度数据集（20000行数据，平均下载速率154.33Mbps），平均单次网格测速次数为10.3次，平均覆盖设备数为3.4台。新西兰区域网格筛选代码：nz_tiles = tiles.cx[166.509144322:178.517093541 , -46.641235447:-34.4506617165]，数据源：https://gist.github.com/graydon/11198540
v29：新增澳大利亚2023年第三季度数据集（90000行数据，平均下载速率79.08Mbps），通过speedtest-workflow-importv2 Jupyter Notebook导入，平均单次网格测速次数为16.1次，平均覆盖设备数为5.2台。
v28：新增v2 Import.ipynb，包含用于季度数据分析的全新直方图。
v27.1：新增澳大利亚2023年第二季度数据集（90000行数据，平均下载速率74.25Mbps），通过speedtest-workflow-import Jupyter Notebook导入，平均单次网格测速次数为15.7次，平均覆盖设备数为5.1台。
v27：新增澳大利亚2023年第一季度数据集（89000行数据，平均下载速率69.69Mbps），通过speedtest-workflow-import Jupyter Notebook导入，平均单次网格测速次数为16次，平均覆盖设备数为5.3台。
v26：为期刊论文补充DOI链接，发表期刊为《International Regional Science Review》。
v25：新增澳大利亚2022年第四季度GeoJSON数据集（89000行数据，平均下载速率65.9Mbps），通过speedtest-workflow-import Jupyter Notebook导入，平均单次网格测速次数为19次，平均覆盖设备数为5.8台。
v24：新增澳大利亚2022年第三季度GeoJSON数据集（83000行数据，平均下载速率61.6Mbps），同步新增Workflow-import Jupyter Notebook（speedtest-workflow-import）。
v23：新增澳大利亚2022年第二季度GeoJSON数据集（87000行数据，平均下载速率58.4Mbps）。
v22：新增澳大利亚2022年第一季度GeoJSON数据集（88000行数据，平均下载速率56.9Mbps），平均单次网格测速次数为21次，平均覆盖设备数为6.4台。
v21：新增澳大利亚2021年第四季度GeoJSON数据集（86000行数据，平均下载速率57.6Mbps），平均单次网格测速次数为21次，平均覆盖设备数为6.5台。
v20：新增澳大利亚2021年第三季度GeoJSON数据集（81000行数据，平均下载速率54.9Mbps），平均单次网格测速次数为27次，平均覆盖设备数为7台。
v18/19：新增折线图、直方图以及v1.4.ipynb，用于对比2021Q2、2021Q1与2020Q2的数据集。Speedtest全球报告显示2021年6月澳大利亚平均测速速率为80Mbps，显著高于本数据集该季度（4-6月）的均值（对应版本v17）。
v17：新增澳大利亚2021年第二季度Speedtest GeoJSON数据集（79000行数据，平均下载速率52.3Mbps）。
v15/16：新增直方图用于对比2021Q1与2020Q2的数据，附带用于计算的Jupyter Notebook（incHistQ121, v.1.3-Q121）。
v14：新增澳大利亚2021年第一季度Speedtest GeoJSON数据集（79000行数据，平均下载速率45.4Mbps）。
v13：新增墨尔本三分色可视化地图（分为<20Mbps、20-90Mbps、>90Mbps三个区间）。
v12：新增澳大利亚-悉尼-墨尔本2020年第三季度折线图。
v11：新增2020Q2、Q3、Q4的对比折线图（墨尔本数据结果几乎无差异），新增悉尼与墨尔本2020Q3的对比折线图（结果同样几乎无差异），新增悉尼与墨尔本2020Q3的对比直方图。新增用于图表计算的Jupyter Notebook（nbn-AUS-v1.3），文档中包含勘误说明：表格重新排序后仅部分数据可正常绘图，若完整绘制表格数据则无此问题。
v10：加载AURIN示例图片。Speedtest数据集已上传至澳大利亚城市与区域信息网络（Australian Urban and Regional Information Network, AURIN）地理分析平台，登录需使用edu.au域名邮箱。
v9：新增2020Q2、Q3、Q4的对比直方图图片。
v8：新增2020Q4数据集的GeoJSON文件，新增2020Q3与Q4的对比直方图图片。
v7：重命名数据集标题，补充Q2、Q3标识。
v6：新增2020Q3数据集，将澳大利亚GeoJSON数据集重命名为Q2，新增对比直方图，相关计算基于International.ipynb完成。
v5：新增包含直方图的Jupyter Notebook，直方图统计了地理网格点位的平均下载速率分布（未按测速次数加权）。
v4：新增墨尔本等值区域图（PNG格式，5000万像素），附带图例（待补充墨尔本.geojson文件）。发布AURIN平台上Speedtest数据集的描述链接。
v3：新增超高速测速数据（下载速率>100Mbps），该类数据占总数据的比例不足1%，共697行。附带超高速数据的可视化PNG图片，以及超高速数据点位的谷歌地图链接，同时提供前100条数据样本的谷歌地图链接。数据集采用GeoJSON格式，可通过Jupyter Notebook加载至GeoPandas进行分析，对应Jupyter Notebook版本为v1.1。
v2：新增网格质心可视化图像。
v1：初始数据加载版本。

### 未来工作计划
1. 将Speedtest测速数据与澳大利亚国家宽带网络（National Broadband Network, NBN）按地理位置分类的技术部署数据相结合，数据源来自map.gov.au，详见：https://www.data.gov.au/dataset/national-broadband-network-connections-by-technology-type
2. 将Speedtest数据与澳大利亚社会经济指标（Socio-economic Indexes for Areas, SEIFA）结合，探讨社会经济分类与测速结果的关联，相关合作将与AURIN开展
3. 开展更多跨国测速数据对比分析
4. 已与悉尼大学副教授Tooran Alizadeh商讨合作事宜
5. 论文"The Multi-Technology Footprint of the National Broadband Network in Australia: Exploring the urban-regional divide and socio-spatial patterns for inequality"已被《International Regional Science Review》接收并将于2023年3月发表，相关DOI已添加至下文链接：https://doi.org/10.1177/01600176231168025