Speedtest Open Data - Australia(NZ) 2020/21/22/23; Q220 - Q323 extract by Qtr

This is an Australian extract of Speedtest Open data available at Amazon WS (link below - opendata.aws).<br>AWS data licence is "CC BY-NC-SA 4.0", so use of this data must be:- non-commercial (NC)- reuse must be share-alike (SA)(add same licence).This restricts the standard CC-BY Figshare licence.<br>A world speedtest open data was dowloaded (&gt;400Mb, 7M lines of data). An extract of Australia's location (lat, long) revealed 88,000 lines of data (attached as csv).<br>A Jupyter notebook of extract process is attached.A link to Twitter thread of outputs provided.A link to Data tutorial provided (GitHub), including Jupyter Notebook to analyse World Speedtest data, selecting one US State.<br>Data Shows: (Q220)- 3.1M speedtests- 762,000 devices- 88,000 grid locations (600m * 600m), summarised as a point- average speed 33.7Mbps (down), 12.4M (up)- Max speed 724Mbps- data is for 600m * 600m grids, showing average speed up/down, number of tests, and number of users (IP). Added centroid, and now lat/long.<br>See tweet of image of centroids also attached.<br>NB: Discrepancy Q2-21, Speedtest Global shows June AU average speedtest at 80Mbps, whereas Q2 mean is 52Mbps (v17; Q1 45Mbps; v14). Dec 20 Speedtest Global has AU at 59Mbps. Could be possible timing difference. Or spatial anonymising masking shaping highest speeds. Else potentially data inconsistent between national average and geospatial detail. Check in upcoming quarters.<br>NextSteps:Histogram - compare Q220, Q121, Q122. per v1.4.ipynb.<br>Versions:v30 Added NZ Q323 ( 20k lines avg d/l 154.33Mbps). Mean tests: 10.3 Mean devices: 3.4.<br>nz_tiles = tiles.cx[166.509144322:178.517093541 , -46.641235447:-34.4506617165]<br>Source: https://gist.github.com/graydon/11198540v29 Added AUS Q323 (90k lines avg d/l 79.08 Mbps). Imported using speedtest-workflow-importv2 jupyter notebook. Mean tests:16.1. Mean devices: 5.2.v28 Added v2 Import ipynb with new histograms to examine quarterly data.V27.1 Added AUS Q223 (90k lines avg d/l 74.25 Mbps). Imported using speedtest-workflow-import jupyter notebook. Mean tests:15.7. Mean devices: 5.1.V27 Added AUS Q123 (89k lines avg d/l 69.69 Mbps). Imported using speedtest-workflow-import jupyter notebook. Mean tests:16. Mean devices: 5.3.V26 Add DOI to Journal Publication (linked below). International Regional Science Review.v25 Added AUS Q422 geojson (89k lines, avg d/l 65.9 Mbps). Imported using speedtest-workflow-import jupyter notebook. Mean tests:19. Mean devices: 5.8.v24 Added AUS Q322 geojson (83k lines, avg d/l 61.6 Mbps), plus Workflow-import jupyter notebook (speedtest-workflow-import).v23 Added AUS Q222 geojson (87k lines, avg d/l 58.4 Mbps)v22 Added AUS Q122 geojson (88k lines, avg d/l 56.9 Mbps). Mean tests: 21. Mean devices: 6.4.v21: Added AUS Q421 geojson (86k lines, avg d/l 57.6 Mbps). Mean tests: 21. Mean devices: 6.5.v20: Added AUS Q321 geojson. (81k lines avg d/l 54.9 Mbps). Mean tests: 27. Mean devices: 7.v18/19: Add linechart, Histogram and v1.4 ipynb, comparing Q221 to Q121 and Q220. Speedtest Global at 0621 puts AU at 80Mbps average (June). Substantially above data mean (Apr, May Jun) (v17).v17: Add AUS Speedtest Q2 2021 geojson.(79k lines avg d/l 52.3Mbps)v15/16. Add Hist comparing Q1-21 vs Q2-20. Inc ipynb (incHistQ121, v.1.3-Q121) to calc.v14 Add AUS Speedtest Q1 2021 geojson.(79k lines avg d/l 45.4Mbps)v13 - Added three colour MELB map (less than 20Mbps, over 90Mbps, 20-90Mbps)v12 - Added AUS - Syd - Mel Line Chart Q320.v11 - Add line chart compare Q2, Q3, Q4 plus Melb - result virtually indistinguishable. Add line chart to compare Syd - Melb Q3. Also virtually indistinguishable. Add HIST compare Syd - Melb Q3. Add new Jupyter with graph calcs (nbn-AUS-v1.3). Some ERRATA document in Notebook. Issue with resorting table, and graphing only part of table. Not an issue if all lines of table graphed.v10 - Load AURIN sample pics. Speedtest data loaded to AURIN geo-analytic platform; requires edu.au login.v9 - Add comparative Q2, Q3, Q4 Hist pic.v8 - Added Q4 data geojson. Add Q3, Q4 Hist pic.v7 - Rename to include Q2, Q3 in Title.v6 - Add Q3 20 data. Rename geojson AUS data as Q2. Add comparative Histogram. Calc in International.ipynb.v5 - add Jupyter Notebook inc Histograms. Hist is count of geo-locations avg download speed (unweighted by tests).v4 - added Melb choropleth (png 50Mpix) inc legend. (To do - add Melb.geojson). Posted Link to AURIN description of Speedtest data.v3 - Add super fast data (&gt;100Mbps) less than 1% of data - 697 lines. Includes png of superfast.plot(). Link below to Google Maps version of superfast data points. Also Google map of first 100 data points - sample data. Geojson format for loading into GeoPandas, per Jupyter Notebook. New version of Jupyter Notebook, v.1.1.v2 - add centroids image.v1 - initial data load.<br>** Future Work- combine Speedtest data with NBN Technology by location data (national map.gov.au); https://www.data.gov.au/dataset/national-broadband-network-connections-by-technology-type- combine Speedtest data with SEIFA data - socioeconomic categories - to discuss with AURIN.- Further international comparisons- discussed collaboration with Assoc Prof Tooran Alizadeh, USyd. - <i>"It is a pleasure to accept your manuscript entitled "The Multi-Technology Footprint of the National Broadband Network in Australia: Exploring the urban-regional divide and socio-spatial patterns for inequality" in its current form for publication in </i>International Regional Science Review<i>." (1.3.23) DOI now added in links below (https://doi.org/10.1177/01600176231168025).</i>

本数据集为源自Amazon Web Services (AWS) 公开的Speedtest开放数据的澳大利亚子集（链接见下文：opendata.aws）。AWS数据许可证为CC BY-NC-SA 4.0，因此本数据的使用需满足：非商业用途（NC）、再分发需采用相同授权条款（SA，即采用同一许可证），该要求严于标准CC-BY Figshare许可证。

我们已下载全球Speedtest开放数据集（文件大小超400Mb，共700万行数据），从中提取澳大利亚地理位置（经纬度）相关数据，得到8.8万行数据，以CSV格式附后。本数据集的提取过程已配套Jupyter Notebook文件。此外还提供了结果分享的Twitter线程链接，以及GitHub平台上的数据教程链接（内含用于分析全球Speedtest数据、选取美国单个州的Jupyter Notebook）。

本数据集（2020年第二季度，Q220）相关统计信息如下：
- 共计310万次测速任务
- 覆盖76.2万台设备
- 包含8.8万个600米×600米网格点位（以质心表示）
- 平均下载速率33.7Mbps，平均上传速率12.4Mbps
- 最高测速速率达724Mbps
本数据以600米×600米网格为单位，记录了各网格的平均上下行速率、测速次数及用户（IP）数量，新增了网格质心及经纬度信息。相关网格质心图像的推文已附后。

注：2021年第二季度存在数据差异：Speedtest全球报告显示，2021年6月澳大利亚平均测速速率为80Mbps，但本数据集该季度均值为52Mbps（v17版本；2021年第一季度均值为45Mbps，对应v14版本）；2020年12月Speedtest全球报告澳大利亚平均速率为59Mbps。该差异可能源于时间维度不同、空间匿名化处理掩盖了高速测速结果，亦或全国平均数据与地理空间细分数据存在不一致，后续季度的数据可进一步验证。

后续计划：生成直方图，对比2020年第二季度、2021年第一季度及2022年第一季度的数据，参考v1.4.ipynb文件。

版本迭代记录：
v30：新增新西兰2023年第三季度数据（2万行，平均下载速率154.33Mbps），平均测速次数10.3次，平均设备数3.4台。
新西兰区域筛选代码：nz_tiles = tiles.cx[166.509144322:178.517093541 , -46.641235447:-34.4506617165]
v29：新增澳大利亚2023年第三季度数据（9万行，平均下载速率79.08Mbps），通过speedtest-workflow-importv2 Jupyter Notebook导入，平均测速次数16.1次，平均设备数5.2台。
v28：新增带新直方图的导入版Jupyter Notebook，用于检视季度数据。
v27.1：新增澳大利亚2023年第二季度数据（9万行，平均下载速率74.25Mbps），通过speedtest-workflow-import Jupyter Notebook导入，平均测速次数15.7次，平均设备数5.1台。
v27：新增澳大利亚2023年第一季度数据（8.9万行，平均下载速率69.69Mbps），通过speedtest-workflow-import Jupyter Notebook导入，平均测速次数16次，平均设备数5.3台。
v26：为期刊发表内容添加DOI（链接见下文），发表期刊为*International Regional Science Review*。
v25：新增澳大利亚2022年第四季度GeoJSON数据（8.9万行，平均下载速率65.9Mbps），通过speedtest-workflow-import Jupyter Notebook导入，平均测速次数19次，平均设备数5.8台。
v24：新增澳大利亚2022年第三季度GeoJSON数据（8.3万行，平均下载速率61.6Mbps），配套Workflow-import Jupyter Notebook（speedtest-workflow-import）。
v23：新增澳大利亚2022年第二季度GeoJSON数据（8.7万行，平均下载速率58.4Mbps）。
v22：新增澳大利亚2022年第一季度GeoJSON数据（8.8万行，平均下载速率56.9Mbps），平均测速次数21次，平均设备数6.4台。
v21：新增澳大利亚2021年第四季度GeoJSON数据（8.6万行，平均下载速率57.6Mbps），平均测速次数21次，平均设备数6.5台。
v20：新增澳大利亚2021年第三季度GeoJSON数据（8.1万行，平均下载速率54.9Mbps），平均测速次数27次，平均设备数7台。
v18/19：新增折线图、直方图及v1.4.ipynb文件，用于对比2021年第二季度、2021年第一季度及2020年第二季度的数据。Speedtest全球报告显示2021年6月澳大利亚平均速率为80Mbps，远高于本数据集（2021年4-6月）的均值（v17版本）。
v17：新增澳大利亚2021年第二季度Speedtest数据的GeoJSON文件（7.9万行，平均下载速率52.3Mbps）。
v15/16：新增直方图用于对比2021年第一季度与2020年第二季度的数据，配套用于计算的Jupyter Notebook（incHistQ121, v.1.3-Q121）。
v14：新增澳大利亚2021年第一季度Speedtest数据的GeoJSON文件（7.9万行，平均下载速率45.4Mbps）。
v13：新增墨尔本三色地图（分为<20Mbps、20-90Mbps、>90Mbps三个区间）。
v12：新增澳大利亚悉尼-墨尔本2020年第三季度折线图。
v11：新增对比2020年第二、三、四季度的折线图，墨尔本区域结果几乎无差异；新增对比悉尼-墨尔本2020年第三季度的折线图，结果同样几乎无差异；新增悉尼-墨尔本2020年第三季度对比直方图。配套含绘图计算代码的Jupyter Notebook（nbn-AUS-v1.3），笔记中包含勘误说明：表格重排序及仅绘制部分表格数据的问题，若绘制全量表格数据则无此问题。
v10：加载AURIN示例图片，Speedtest数据已上传至AURIN地理分析平台，需使用edu.au域名邮箱登录。
v9：新增2020年第二、三、四季度对比直方图图片。
v8：新增2020年第四季度数据的GeoJSON文件，新增2020年第三、四季度对比直方图图片。
v7：重命名数据集标题，添加2020年第二、三季度标识。
v6：新增2020年第三季度数据，将澳大利亚原GeoJSON数据重命名为2020年第二季度数据，新增对比直方图，计算逻辑参考International.ipynb。
v5：新增含直方图的Jupyter Notebook，直方图统计为各地理位置的平均下载速率计数（未按测速次数加权）。
v4：新增墨尔本等值区域图（PNG格式，50M像素），附带图例（待完成：新增墨尔本GeoJSON文件）。发布AURIN平台上Speedtest数据的描述链接。
v3：新增超高速数据（速率>100Mbps，占比不足1%，共697行），包含超高速数据的可视化PNG图片。附超高速数据点的谷歌地图版本链接，以及前100个数据点的谷歌地图采样链接。配套可导入GeoPandas的GeoJSON格式数据，参考Jupyter Notebook。更新Jupyter Notebook至v1.1版本。
v2：新增质心图像。
v1：初始数据加载。

数据来源：https://gist.github.com/graydon/11198540

**未来工作计划**
1. 将Speedtest数据与按地理位置分类的国家宽带网络（National Broadband Network, NBN）技术数据相结合（来源：national map.gov.au；https://www.data.gov.au/dataset/national-broadband-network-connections-by-technology-type）
2. 将Speedtest数据与SEIFA社会经济分类数据相结合，拟与AURIN团队商讨合作事宜
3. 开展进一步的国际对比研究
4. 已与悉尼大学副教授Tooran Alizadeh探讨合作事宜。
期刊接收通知："很高兴接收您题为《澳大利亚国家宽带网络的多技术覆盖：探究城乡鸿沟与社会空间不平等模式》的手稿，同意按当前形式发表于*International Regional Science Review*"（2023年3月1日）。相关DOI已添加至下文链接：https://doi.org/10.1177/01600176231168025。