Speedtest Open Data - Australia(NZ) 2020/21/22/23; Q220 - Q124 extract by Qtr

This is an Australian extract of Speedtest Open data available at Amazon WS (link below - opendata.aws). AWS data licence is "CC BY-NC-SA 4.0", so use of this data must be:- non-commercial (NC)- reuse must be share-alike (SA)(add same licence).This restricts the standard CC-BY Figshare licence. A world speedtest open data was dowloaded (>400Mb, 7M lines of data). An extract of Australia's location (lat, long) revealed 88,000 lines of data (attached as csv). A Jupyter notebook of extract process is attached. See Binder version at Github - https://github.com/areff2000/speedtestAU.+> Install: 173 packages | Downgrade: 1 packages | Total download: 432MB Build container time: approx - load time 25secs. => Error: Timesout - BUT UNABLE TO LOAD GLOBAL DATA FILE (6.6M lines).=> Error: Overflows 8GB RAM container provided with global data file (3GB)=> On local JupyterLab M2 MBP; loads in 6 mins. Added Binder from ARDC service: https://binderhub.rc.nectar.org.auDocs: https://ardc.edu.au/resource/fair-for-jupyter-notebooks-a-practical-guide/ A link to Twitter thread of outputs provided.A link to Data tutorial provided (GitHub), including Jupyter Notebook to analyse World Speedtest data, selecting one US State. Data Shows: (Q220)- 3.1M speedtests- 762,000 devices- 88,000 grid locations (600m * 600m), summarised as a point- average speed 33.7Mbps (down), 12.4M (up)- Max speed 724Mbps- data is for 600m * 600m grids, showing average speed up/down, number of tests, and number of users (IP). Added centroid, and now lat/long. See tweet of image of centroids also attached. NB: Discrepancy Q2-21, Speedtest Global shows June AU average speedtest at 80Mbps, whereas Q2 mean is 52Mbps (v17; Q1 45Mbps; v14). Dec 20 Speedtest Global has AU at 59Mbps. Could be possible timing difference. Or spatial anonymising masking shaping highest speeds. Else potentially data inconsistent between national average and geospatial detail. Check in upcoming quarters. NextSteps:Histogram - compare Q220, Q121, Q122. per v1.4.ipynb. Versions:v34 Added AUS Q124 (93k lines avg d/l 87.00 Mbps u/l 18.86 Mbps). Imported using speedtest-workflow-importv2 jupyter notebook. Mean tests:18.3. Mean devices: 5.5.v33 Added AUS Q423 (92k lines avg d/l 82.62 Mbps). Imported using speedtest-workflow-importv2 jupyter notebook. Mean tests:18.0. Mean devices: 5.6. Added link to Github.v32 Recalc Au vs NZ for upload performance; added image. using PlayNZ Jupyter. NZ approx 40% locations at or above 100Mbps. Aus <5%, perhaps <2%.v31 Added graph of NZ vs Aus Q3 2023 Broadband performance; and PlanNZ Jupyter notebook.v30 Added NZ Q323 ( 20k lines avg d/l 154.33Mbps). Mean tests: 10.3 Mean devices: 3.4. nz_tiles = tiles.cx[166.509144322:178.517093541 , -46.641235447:-34.4506617165] Source: https://gist.github.com/graydon/11198540v29 Added AUS Q323 (90k lines avg d/l 79.08 Mbps). Imported using speedtest-workflow-importv2 jupyter notebook. Mean tests:16.1. Mean devices: 5.2.v28 Added v2 Import ipynb with new histograms to examine quarterly data.V27.1 Added AUS Q223 (90k lines avg d/l 74.25 Mbps). Imported using speedtest-workflow-import jupyter notebook. Mean tests:15.7. Mean devices: 5.1.V27 Added AUS Q123 (89k lines avg d/l 69.69 Mbps). Imported using speedtest-workflow-import jupyter notebook. Mean tests:16. Mean devices: 5.3.V26 Add DOI to Journal Publication (linked below). International Regional Science Review.v25 Added AUS Q422 geojson (89k lines, avg d/l 65.9 Mbps). Imported using speedtest-workflow-import jupyter notebook. Mean tests:19. Mean devices: 5.8.v24 Added AUS Q322 geojson (83k lines, avg d/l 61.6 Mbps), plus Workflow-import jupyter notebook (speedtest-workflow-import).v23 Added AUS Q222 geojson (87k lines, avg d/l 58.4 Mbps)v22 Added AUS Q122 geojson (88k lines, avg d/l 56.9 Mbps). Mean tests: 21. Mean devices: 6.4.v21: Added AUS Q421 geojson (86k lines, avg d/l 57.6 Mbps). Mean tests: 21. Mean devices: 6.5.v20: Added AUS Q321 geojson. (81k lines avg d/l 54.9 Mbps). Mean tests: 27. Mean devices: 7.v18/19: Add linechart, Histogram and v1.4 ipynb, comparing Q221 to Q121 and Q220. Speedtest Global at 0621 puts AU at 80Mbps average (June). Substantially above data mean (Apr, May Jun) (v17).v17: Add AUS Speedtest Q2 2021 geojson.(79k lines avg d/l 52.3Mbps)v15/16. Add Hist comparing Q1-21 vs Q2-20. Inc ipynb (incHistQ121, v.1.3-Q121) to calc.v14 Add AUS Speedtest Q1 2021 geojson.(79k lines avg d/l 45.4Mbps)v13 - Added three colour MELB map (less than 20Mbps, over 90Mbps, 20-90Mbps)v12 - Added AUS - Syd - Mel Line Chart Q320.v11 - Add line chart compare Q2, Q3, Q4 plus Melb - result virtually indistinguishable. Add line chart to compare Syd - Melb Q3. Also virtually indistinguishable. Add HIST compare Syd - Melb Q3. Add new Jupyter with graph calcs (nbn-AUS-v1.3). Some ERRATA document in Notebook. Issue with resorting table, and graphing only part of table. Not an issue if all lines of table graphed.v10 - Load AURIN sample pics. Speedtest data loaded to AURIN geo-analytic platform; requires edu.au login.v9 - Add comparative Q2, Q3, Q4 Hist pic.v8 - Added Q4 data geojson. Add Q3, Q4 Hist pic.v7 - Rename to include Q2, Q3 in Title.v6 - Add Q3 20 data. Rename geojson AUS data as Q2. Add comparative Histogram. Calc in International.ipynb.v5 - add Jupyter Notebook inc Histograms. Hist is count of geo-locations avg download speed (unweighted by tests).v4 - added Melb choropleth (png 50Mpix) inc legend. (To do - add Melb.geojson). Posted Link to AURIN description of Speedtest data.v3 - Add super fast data (>100Mbps) less than 1% of data - 697 lines. Includes png of superfast.plot(). Link below to Google Maps version of superfast data points. Also Google map of first 100 data points - sample data. Geojson format for loading into GeoPandas, per Jupyter Notebook. New version of Jupyter Notebook, v.1.1.v2 - add centroids image.v1 - initial data load. ** Future Work- combine Speedtest data with NBN Technology by location data (national map.gov.au); https://www.data.gov.au/dataset/national-broadband-network-connections-by-technology-type- combine Speedtest data with SEIFA data - socioeconomic categories - to discuss with AURIN.- Further international comparisons- discussed collaboration with Assoc Prof Tooran Alizadeh, USyd. - "It is a pleasure to accept your manuscript entitled "The Multi-Technology Footprint of the National Broadband Network in Australia: Exploring the urban-regional divide and socio-spatial patterns for inequality" in its current form for publication in International Regional Science Review." (1.3.23) DOI now added in links below (https://doi.org/10.1177/01600176231168025).

本数据集为澳大利亚区域的Speedtest开放数据提取子集，原始数据可从亚马逊云服务（Amazon Web Services, AWS）获取（链接见下方：opendata.aws）。该AWS数据采用知识共享署名-非商业性使用-相同方式共享4.0国际许可协议（CC BY-NC-SA 4.0），因此本数据集的使用需遵循以下规则：非商业性使用（NC），且再分发时需采用相同许可协议（SA），该规则对标准CC-BY Figshare许可形成限制。

我们下载了全球Speedtest开放数据集（文件大小超400Mb，含700万条数据），通过提取澳大利亚区域的经纬度坐标，得到88000条数据记录（以CSV格式附件提供）。同时附带了数据提取过程的Jupyter笔记本（Jupyter Notebook）。可在GitHub查看其Binder部署版本：https://github.com/areff2000/speedtestAU.

> 部署情况：需安装173个依赖包，降级1个依赖包，总下载量432MB。容器构建耗时约——加载耗时25秒。
> 问题1：超时，无法加载全球数据文件（含660万条数据）。
> 问题2：加载全球数据文件（3GB）时，超出容器提供的8GB内存上限。
> 本地测试环境：JupyterLab（M2芯片MacBook Pro）下加载耗时6分钟。
> 新增ARDC服务的Binder部署链接：https://binderhub.rc.nectar.org.au
> 参考文档：https://ardc.edu.au/resource/fair-for-jupyter-notebooks-a-practical-guide/
> 提供了成果的Twitter线程链接，以及数据教程链接（GitHub），其中包含用于分析全球Speedtest数据的Jupyter笔记本，可筛选单个美国州进行分析。

本数据集包含2020年第二季度（Q2 2020）的如下信息：
- 总计310万次Speedtest测试
- 覆盖76.2万台设备
- 88000个600m×600m网格点位（以中心点汇总）
- 平均下载速度33.7Mbps，平均上传速度12.4Mbps
- 最高测试速度达724Mbps
数据以600m×600m网格为单位，展示了平均上下行速度、测试次数以及用户（IP）数量。新增了中心点坐标，现已包含经纬度信息。附带了中心点可视化图像的推文链接。

**注：数据存在差异**：Speedtest全球报告显示2021年第二季度澳大利亚平均网速为80Mbps，而本数据集的Q2均值为52Mbps（v17版本；2021年第一季度均值为45Mbps；v14版本）。2020年12月的Speedtest全球报告显示澳大利亚平均网速为59Mbps。该差异可能源于时间窗口不同，或是空间匿名化处理掩盖了最高网速，亦可能存在国家平均数据与地理空间细分数据之间的不一致性，将在后续季度的数据中进一步验证。

### 后续计划
绘制直方图，对比Q2 2020、Q1 2021、Q2 2022的数据，参考v1.4.ipynb。

#### 版本迭代记录
- **v34**：新增澳大利亚2024年第一季度数据（93000条记录，平均下载速度87.00Mbps，平均上传速度18.86Mbps），通过speedtest-workflow-importv2 Jupyter笔记本导入。平均测试次数：18.3，平均设备数：5.5。
- **v33**：新增澳大利亚2023年第四季度数据（92000条记录，平均下载速度82.62Mbps），通过speedtest-workflow-importv2 Jupyter笔记本导入。平均测试次数：18.0，平均设备数：5.6。新增GitHub链接。
- **v32**：重新计算澳大利亚与新西兰的上传性能，新增可视化图像，采用PlayNZ Jupyter笔记本完成。新西兰约40%的网格点位上传速度达到或超过100Mbps，澳大利亚该比例低于5%，甚至不足2%。
- **v31**：新增2023年第三季度新西兰与澳大利亚的宽带性能对比图，以及PlanNZ Jupyter笔记本。
- **v30**：新增新西兰2023年第三季度数据（20000条记录，平均下载速度154.33Mbps）。平均测试次数：10.3，平均设备数：3.4。新西兰区域瓦片范围：nz_tiles = tiles.cx[166.509144322:178.517093541 , -46.641235447:-34.4506617165]。数据来源：https://gist.github.com/graydon/11198540
- **v29**：新增澳大利亚2023年第三季度数据（90000条记录，平均下载速度79.08Mbps），通过speedtest-workflow-importv2 Jupyter笔记本导入。平均测试次数：16.1，平均设备数：5.2。
- **v28**：新增v2版本导入Jupyter笔记本，包含新的直方图用于季度数据分析。
- **v27.1**：新增澳大利亚2023年第二季度数据（90000条记录，平均下载速度74.25Mbps），通过speedtest-workflow-import Jupyter笔记本导入。平均测试次数：15.7，平均设备数：5.1。
- **v27**：新增澳大利亚2023年第一季度数据（89000条记录，平均下载速度69.69Mbps），通过speedtest-workflow-import Jupyter笔记本导入。平均测试次数：16.0，平均设备数：5.3。
- **v26**：为期刊发表文章添加数字对象标识符（Digital Object Identifier, DOI）标识（链接见下方），发表期刊为*International Regional Science Review*（《国际区域科学评论》）。
- **v25**：新增澳大利亚2022年第四季度GeoJSON（GeoJSON）数据（89000条记录，平均下载速度65.9Mbps），通过speedtest-workflow-import Jupyter笔记本导入。平均测试次数：19.0，平均设备数：5.8。
- **v24**：新增澳大利亚2022年第三季度GeoJSON数据（83000条记录，平均下载速度61.6Mbps），以及Workflow-import Jupyter笔记本（speedtest-workflow-import）。
- **v23**：新增澳大利亚2022年第二季度GeoJSON数据（87000条记录，平均下载速度58.4Mbps）。
- **v22**：新增澳大利亚2022年第一季度GeoJSON数据（88000条记录，平均下载速度56.9Mbps）。平均测试次数：21.0，平均设备数：6.4。
- **v21**：新增澳大利亚2021年第四季度GeoJSON数据（86000条记录，平均下载速度57.6Mbps）。平均测试次数：21.0，平均设备数：6.5。
- **v20**：新增澳大利亚2021年第三季度GeoJSON数据（81000条记录，平均下载速度54.9Mbps）。平均测试次数：27.0，平均设备数：7.0。
- **v18/19**：新增折线图、直方图及v1.4.ipynb笔记本，用于对比Q2 2021、Q1 2021与Q2 2020的数据。Speedtest全球报告显示2021年6月澳大利亚平均网速为80Mbps，显著高于本数据集2021年4-6月的均值（v17版本）。
- **v17**：新增澳大利亚2021年第二季度Speedtest GeoJSON数据（79000条记录，平均下载速度52.3Mbps）。
- **v15/16**：新增直方图对比Q1 2021与Q2 2020的数据，附带incHistQ121、v.1.3-Q121等用于计算的Jupyter笔记本。
- **v14**：新增澳大利亚2021年第一季度Speedtest GeoJSON数据（79000条记录，平均下载速度45.4Mbps）。
- **v13**：新增墨尔本的Choropleth地图（Choropleth Map）（分为<20Mbps、20-90Mbps、>90Mbps三个区间）。
- **v12**：新增澳大利亚悉尼与墨尔本2020年第三季度的折线图。
- **v11**：新增Q2、Q3、Q4的对比折线图，墨尔本的对比结果几乎无差异；新增悉尼与墨尔本2020年第三季度的对比折线图，结果同样几乎无差异；新增悉尼与墨尔本2020年第三季度的对比直方图。新增包含图表计算逻辑的Jupyter笔记本nbn-AUS-v1.3，笔记本中包含部分勘误说明：存在表格重排问题，且仅对部分表格数据进行绘图，若绘制全量表格数据则无该问题。
- **v10**：加载AURIN（AURIN平台）示例图片。Speedtest数据已上传至AURIN地理分析平台，需使用edu.au域名邮箱登录方可访问。
- **v9**：新增Q2、Q3、Q4的对比直方图图片。
- **v8**：新增Q4数据的GeoJSON文件，添加Q3、Q4的对比直方图图片。
- **v7**：重命名数据集标题，加入Q2、Q3标识。
- **v6**：新增2020年第三季度数据，将澳大利亚原始GeoJSON数据重命名为Q2数据集，新增对比直方图，计算逻辑参考International.ipynb。
- **v5**：新增包含直方图的Jupyter笔记本，直方图统计了地理点位的平均下载速度（未按测试次数加权）。
- **v4**：新增墨尔本的Choropleth地图（PNG格式，50M像素），附带图例。（待办：添加墨尔本GeoJSON文件）。发布AURIN平台上Speedtest数据的描述链接。
- **v3**：新增超高速数据（下载速度>100Mbps），占比不足1%，共697条记录。附带超高速数据的可视化PNG图片，以及超高速数据点的谷歌地图版本链接。同时提供前100条数据样本的谷歌地图链接。数据采用GeoJSON格式，可通过Jupyter笔记本加载至GeoPandas（GeoPandas）中。更新至v1.1版本的Jupyter笔记本。
- **v2**：新增中心点可视化图片。
- **v1**：初始数据加载版本。

### 未来工作
1. 将Speedtest数据与按位置分类的澳大利亚国家宽带网络（NBN）技术类型数据结合（参考national map.gov.au；https://www.data.gov.au/dataset/national-broadband-network-connections-by-technology-type）。
2. 将Speedtest数据与SEIFA（Socio-Economic Indexes for Areas, SEIFA）数据结合，用于社会经济分类分析，将与AURIN团队探讨合作。
3. 开展更多国际对比分析。
4. 已与悉尼大学副教授Tooran Alizadeh探讨合作。
> 录用通知："非常荣幸接受您的稿件《澳大利亚国家宽带网络的多技术足迹：探索城乡鸿沟与不平等的社会空间模式》（The Multi-Technology Footprint of the National Broadband Network in Australia: Exploring the urban-regional divide and socio-spatial patterns for inequality），将在*International Regional Science Review*期刊按当前形式发表。"（2023年1月3日）。现已在下方链接中添加DOI标识：https://doi.org/10.1177/01600176231168025。