Speedtest Open Data - Australia(NZ) 2020-2025; Q220 - Q325 extract by Qtr

This is an Australian extract of Speedtest Open data available at Amazon WS (link below - opendata.aws).<br>AWS data licence is "CC BY-NC-SA 4.0", so use of this data must be:- non-commercial (NC)- reuse must be share-alike (SA)(add same licence).This restricts the standard CC-BY Figshare licence.<br>A world speedtest open data was dowloaded (&gt;400Mb, 7M lines of data). An extract of Australia's location (lat, long) revealed 88,000 lines of data (attached as csv).<br>A Jupyter notebook of extract process is attached.<br>See Binder version at Github - https://github.com/areff2000/speedtestAU.+&gt; Install: 173 packages | Downgrade: 1 packages | Total download: 432MB<br>Build container time: approx - load time 25secs.<br>=&gt; Error: Timesout - BUT UNABLE TO LOAD GLOBAL DATA FILE (6.6M lines).=&gt; Error: Overflows 8GB RAM container provided with global data file (3GB)=&gt; On local JupyterLab M2 MBP; loads in 6 mins.<br>Added Binder from ARDC service: https://binderhub.rc.nectar.org.auDocs: https://ardc.edu.au/resource/fair-for-jupyter-notebooks-a-practical-guide/<br>A link to Twitter thread of outputs provided.A link to Data tutorial provided (GitHub), including Jupyter Notebook to analyse World Speedtest data, selecting one US State.<br>Data Shows: (Q220)- 3.1M speedtests | 762,000 devices |- 88,000 grid locations (600m * 600m), summarised as a point- average speed 33.7Mbps (down), 12.4M (up) | Max speed 724Mbps- data is for 600m * 600m grids, showing average speed up/down, number of tests, and number of users (IP). Added centroid, and now lat/long.<br>See tweet of image of centroids also attached.<br>NB: Discrepancy Q2-21, Speedtest Global shows June AU average speedtest at 80Mbps, whereas Q2 mean is 52Mbps (v17; Q1 45Mbps; v14). Dec 20 Speedtest Global has AU at 59Mbps. Could be possible timing difference. Or spatial anonymising masking shaping highest speeds. Else potentially data inconsistent between national average and geospatial detail. Check in upcoming quarters.<br>NextSteps:Histogram - compare Q220, Q121, Q122. per v1.4.ipynb.<br>Versions:v43. Added revised NZ vs AUS graph for Q325 (NZ; Q2 25) since had NZ available from Github (link below). Calc using PlayNZ.ipynb notebook. See images in Twitter - https://x.com/ValueMgmt/status/1981607615496122814v42: Added AUS Q325 (97.6k lines avg d/l 165.5 Mbps (median d/l 150.8 Mbps) u/l 28.08 Mbps). Imported using v2 Jupyter notebook (MBP 16Gb). Mean tests: 24.5. Mean devices: 6.02. Download, extract and publish: UNK - not measured mins. Download avg is double Q423. Noting, NBN increased D/L speeds from Sept '25; 100 -&gt; 500, 250 -&gt; 750. For 1Gbps, upload speed only increased from 50Mbps to 100Mbps. New 2Gbps services introduced on FTTP and HFC networks.v41: Added AUS Q225 (96k lines avg d/l 130.5 Mbps (median d/l 108.4 Mbps) u/l 22.45 Mbps). Imported using v2 Jupyter notebook (MBP 16Gb). Mean tests: 17.2. Mean devices: 5.11. Download, extract and publish: 20 mins. Download avg is double Q422.v40: Added AUS Q125 (93k lines avg d/l 116.6 Mbps u/l 21.35 Mbps). Imported using v2 Jupyter notebook (MBP 16Gb). Mean tests: 16.9. Mean devices: 5.13. Download, extract and publish: 14 mins.v39: Added AUS Q424 (95k lines avg d/l 110.9 Mbps u/l 21.02 Mbps). Imported using v2 Jupyter notebook (MBP 16Gb). Mean tests: 17.2. Mean devices: 5.24. Download, extract and publish: 14 mins.v38: Added AUS Q324 (92k lines avg d/l 107.0 Mbps u/l 20.79 Mbps). Imported using v2 Jupyter notebook (iMac 32Gb). Mean tests: 17.7. Mean devices: 5.33.Added github speedtest-workflow-importv2vis.ipynb Jupyter added datavis code to colour code national map. (per Binder on Github; link below).v37: Added AUS Q224 (91k lines avg d/l 97.40 Mbps u/l 19.88 Mbps). Imported using speedtest-workflow-importv2 jupyter notebook. Mean tests:18.1. Mean devices: 5.4.v36 Load UK data, Q1-23 and compare to AUS and NZ Q123 data. Add compare image (au-nz-ukQ123.png), calc PlayNZUK.ipynb, data load import-UK.ipynb. UK data bit rough and ready as uses rectangle to mark out UK, but includes some EIRE and FR. Indicative only and to be definitively needs geo-clean to exclude neighbouring countries.v35 Load Melb geo-maps of speed quartiles (0-25, 25-50, 50-75, 75-100, 100-). Avg in 2020; 41Mbps. Avg in 2023; 86Mbps. MelbQ323.png, MelbQ320.png. Calc with Speedtest-incHist.ipynb code. Needed to install conda mapclassify. ax=melb.plot(column=...dict(bins[25,50,75,100]))v34 Added AUS Q124 (93k lines avg d/l 87.00 Mbps u/l 18.86 Mbps). Imported using speedtest-workflow-importv2 jupyter notebook. Mean tests:18.3. Mean devices: 5.5.v33 Added AUS Q423 (92k lines avg d/l 82.62 Mbps). Imported using speedtest-workflow-importv2 jupyter notebook. Mean tests:18.0. Mean devices: 5.6. Added link to Github.v32 Recalc Au vs NZ for upload performance; added image. using PlayNZ Jupyter. NZ approx 40% locations at or above 100Mbps. Aus &lt;5%, perhaps &lt;2%.v31 Added graph of NZ vs Aus Q3 2023 Broadband performance; and PlanNZ Jupyter notebook.v30 Added NZ Q323 ( 20k lines avg d/l 154.33Mbps). Mean tests: 10.3 Mean devices: 3.4.<br>nz_tiles = tiles.cx[166.509144322:178.517093541 , -46.641235447:-34.4506617165]<br>Source: https://gist.github.com/graydon/11198540v29 Added AUS Q323 (90k lines avg d/l 79.08 Mbps). Imported using speedtest-workflow-importv2 jupyter notebook. Mean tests:16.1. Mean devices: 5.2.v28 Added v2 Import ipynb with new histograms to examine quarterly data.V27.1 Added AUS Q223 (90k lines avg d/l 74.25 Mbps). Imported using speedtest-workflow-import jupyter notebook. Mean tests:15.7. Mean devices: 5.1.V27 Added AUS Q123 (89k lines avg d/l 69.69 Mbps). Imported using speedtest-workflow-import jupyter notebook. Mean tests:16. Mean devices: 5.3.V26 Add DOI to Journal Publication (linked below). International Regional Science Review.v25 Added AUS Q422 geojson (89k lines, avg d/l 65.9 Mbps). Imported using speedtest-workflow-import jupyter notebook. Mean tests:19. Mean devices: 5.8.v24 Added AUS Q322 geojson (83k lines, avg d/l 61.6 Mbps), plus Workflow-import jupyter notebook (speedtest-workflow-import).v23 Added AUS Q222 geojson (87k lines, avg d/l 58.4 Mbps)v22 Added AUS Q122 geojson (88k lines, avg d/l 56.9 Mbps). Mean tests: 21. Mean devices: 6.4.v21: Added AUS Q421 geojson (86k lines, avg d/l 57.6 Mbps). Mean tests: 21. Mean devices: 6.5.v20: Added AUS Q321 geojson. (81k lines avg d/l 54.9 Mbps). Mean tests: 27. Mean devices: 7.v18/19: Add linechart, Histogram and v1.4 ipynb, comparing Q221 to Q121 and Q220. Speedtest Global at 0621 puts AU at 80Mbps average (June). Substantially above data mean (Apr, May Jun) (v17).v17: Add AUS Speedtest Q2 2021 geojson.(79k lines avg d/l 52.3Mbps)v15/16. Add Hist comparing Q1-21 vs Q2-20. Inc ipynb (incHistQ121, v.1.3-Q121) to calc.v14 Add AUS Speedtest Q1 2021 geojson.(79k lines avg d/l 45.4Mbps)v13 - Added three colour MELB map (less than 20Mbps, over 90Mbps, 20-90Mbps)v12 - Added AUS - Syd - Mel Line Chart Q320.v11 - Add line chart compare Q2, Q3, Q4 plus Melb - result virtually indistinguishable. Add line chart to compare Syd - Melb Q3. Also virtually indistinguishable. Add HIST compare Syd - Melb Q3. Add new Jupyter with graph calcs (nbn-AUS-v1.3). Some ERRATA document in Notebook. Issue with resorting table, and graphing only part of table. Not an issue if all lines of table graphed.v10 - Load AURIN sample pics. Speedtest data loaded to AURIN geo-analytic platform; requires edu.au login.v9 - Add comparative Q2, Q3, Q4 Hist pic.v8 - Added Q4 data geojson. Add Q3, Q4 Hist pic.v7 - Rename to include Q2, Q3 in Title.v6 - Add Q3 20 data. Rename geojson AUS data as Q2. Add comparative Histogram. Calc in International.ipynb.v5 - add Jupyter Notebook inc Histograms. Hist is count of geo-locations avg download speed (unweighted by tests).v4 - added Melb choropleth (png 50Mpix) inc legend. (To do - add Melb.geojson). Posted Link to AURIN description of Speedtest data.v3 - Add super fast data (&gt;100Mbps) less than 1% of data - 697 lines. Includes png of superfast.plot(). Link below to Google Maps version of superfast data points. Also Google map of first 100 data points - sample data. Geojson format for loading into GeoPandas, per Jupyter Notebook. New version of Jupyter Notebook, v.1.1.v2 - add centroids image.v1 - initial data load.<br>** Future Work- combine Speedtest data with NBN Technology by location data (national map.gov.au); https://www.data.gov.au/dataset/national-broadband-network-connections-by-technology-type- combine Speedtest data with SEIFA data - socioeconomic categories - to discuss with AURIN.- Further international comparisons- discussed collaboration with Assoc Prof Tooran Alizadeh, USyd. - <i>"It is a pleasure to accept your manuscript entitled "The Multi-Technology Footprint of the National Broadband Network in Australia: Exploring the urban-regional divide and socio-spatial patterns for inequality" in its current form for publication in </i>International Regional Science Review<i>." (1.3.23) DOI now added in links below (https://doi.org/10.1177/01600176231168025).</i>

本数据集为Speedtest开源数据的澳大利亚区域抽取子集，原始开源数据托管于亚马逊云服务（Amazon Web Services, AWS），相关链接见下文：opendata.aws。
本数据集遵循的AWS数据许可协议为"CC BY-NC-SA 4.0"，因此数据使用需满足以下要求：非商业性使用（NC）、再分发需采用相同许可协议（SA），本约束优先于标准的CC-BY Figshare许可协议。

原始全球Speedtest开源数据已下载完成（文件大小超400MB，共计700万行数据）。通过筛选澳大利亚区域的经纬度坐标，从中抽取得到88000行数据，以CSV格式附随本数据集。
数据抽取流程对应的Jupyter 笔记本（Jupyter Notebook）已随附。
可在GitHub平台查看本数据集的Binder运行版本：https://github.com/areff2000/speedtestAU。
→ 环境配置：需安装173个依赖包，降级1个依赖包，总下载量为432MB。容器构建时长约为——加载时长25秒。
→ 运行异常说明：1. 加载超时：无法加载全球数据文件（660万行）；2. 内存溢出：全球数据文件（3GB）会超出Binder容器提供的8GB内存限制。在本地搭载M2芯片的MacBook Pro（MacBook Pro, MBP）JupyterLab环境中，加载该文件需时6分钟。

已添加澳大利亚研究数据委员会（Australian Research Data Commons, ARDC）提供的Binder服务版本：https://binderhub.rc.nectar.org.au。相关文档：https://ardc.edu.au/resource/fair-for-jupyter-notebooks-a-practical-guide/。
已提供指向输出结果Twitter线程的链接；同时提供GitHub平台上的数据教程链接，其中包含用于分析全球Speedtest数据（筛选单个美国州份）的Jupyter笔记本。

本数据集核心统计信息（2020年第二季度，Q2'20）如下：
- 总计310万次测速任务、76.2万台测试设备
- 覆盖88000个600m×600m网格点位（已汇总为单点坐标）
- 平均测速速率：下行33.7Mbps，上行12.4Mbps；最大测速速率：724Mbps
本数据集基于600m×600m网格构建，包含各网格的平均上下行速率、测速次数及测试用户（IP地址）数量。已为各网格添加质心坐标，当前数据包含经纬度信息。
质心点位可视化图像的Twitter推文链接已随附。

**备注**：数据存在统计差异：2021年第二季度（Q2'21），全球Speedtest数据显示澳大利亚6月平均测速速率为80Mbps，但本数据集Q2'21的均值为52Mbps（对应版本v17；2021年第一季度Q1'21均值为45Mbps，对应版本v14）。2020年12月的全球Speedtest数据显示澳大利亚平均速率为59Mbps。该差异可能源于时间窗口不同，或是空间匿名化处理对高测速速率的遮蔽效应；也可能存在全国平均速率与地理空间细分数据的不一致性，后续季度将对此开展验证。

**后续工作规划**：基于v1.4.ipynb脚本，绘制直方图对比Q2'20、Q1'21及Q1'22的测速数据。

---
**版本更新日志**
v43：新增2025年第三季度（Q3'25）澳大利亚与新西兰的对比图表。新西兰Q2'25的数据已从GitHub获取，通过PlayNZ.ipynb脚本计算得到。相关可视化图像可参见Twitter推文：https://x.com/ValueMgmt/status/1981607615496122814。
v42：新增2025年第三季度澳大利亚测速数据（共计97600行，平均下行速率165.5Mbps，下行速率中位数150.8Mbps，上行速率28.08Mbps）。使用v2版Jupyter笔记本在16GB内存的MacBook Pro上完成导入。平均测速任务数为24.5，平均测试设备数为6.02。下载、抽取与发布时长未知。本数据集的平均下行速率为2023年第四季度（Q4'23）的两倍。需说明：澳大利亚国家宽带网络（National Broadband Network, NBN）于2025年9月升级了下行速率：100Mbps套餐升级至500Mbps，250Mbps套餐升级至750Mbps；1Gbps套餐的上行速率仅从50Mbps提升至100Mbps；同时在光纤到户（Fiber to the Premises, FTTP）和混合光纤同轴（Hybrid Fiber-Coaxial, HFC）网络上推出了2Gbps新服务。
v41：新增2025年第二季度澳大利亚测速数据（共计96000行，平均下行速率130.5Mbps，下行速率中位数108.4Mbps，上行速率22.45Mbps）。使用v2版Jupyter笔记本在16GB内存的MacBook Pro上完成导入。平均测速任务数为17.2，平均测试设备数为5.11。下载、抽取与发布时长为20分钟。本数据集的平均下行速率为2022年第四季度（Q4'22）的两倍。
v40：新增2025年第一季度澳大利亚测速数据（共计93000行，平均下行速率116.6Mbps，上行速率21.35Mbps）。使用v2版Jupyter笔记本在16GB内存的MacBook Pro上完成导入。平均测速任务数为16.9，平均测试设备数为5.13。下载、抽取与发布时长为14分钟。
v39：新增2024年第四季度澳大利亚测速数据（共计95000行，平均下行速率110.9Mbps，上行速率21.02Mbps）。使用v2版Jupyter笔记本在16GB内存的MacBook Pro上完成导入。平均测速任务数为17.2，平均测试设备数为5.24。下载、抽取与发布时长为14分钟。
v38：新增2024年第三季度澳大利亚测速数据（共计92000行，平均下行速率107.0Mbps，上行速率20.79Mbps）。使用v2版Jupyter笔记本在32GB内存的iMac上完成导入。平均测速任务数为17.7，平均测试设备数为5.33。已新增GitHub上的speedtest-workflow-importv2vis.ipynb Jupyter笔记本，添加了用于全国地图着色的数据可视化代码（可参见GitHub上的Binder版本，链接见下文）。
v37：新增2024年第二季度澳大利亚测速数据（共计91000行，平均下行速率97.40Mbps，上行速率19.88Mbps）。使用speedtest-workflow-importv2版Jupyter笔记本完成导入。平均测速任务数为18.1，平均测试设备数为5.4。
v36：加载英国2023年第一季度数据，并与澳大利亚、新西兰2023年第一季度数据进行对比。已添加对比图像au-nz-ukQ123.png，通过PlayNZUK.ipynb脚本计算得到，数据导入使用import-UK.ipynb脚本。英国数据仅为粗略提取：通过矩形框选取英国区域，但包含部分爱尔兰和法国区域，仅作参考，后续需通过地理清洗排除周边国家数据以确保准确性。
v35：加载墨尔本按测速速率四分位数划分的地理地图（0-25%、25-50%、50-75%、75-100%及100%以上分位）。2020年墨尔本平均测速速率为41Mbps，2023年为86Mbps。相关图像为MelbQ323.png、MelbQ320.png，通过Speedtest-incHist.ipynb脚本计算得到。需安装conda库mapclassify，绘图代码示例：ax=melb.plot(column=...,dict(bins[25,50,75,100]))。
v34：新增2024年第一季度澳大利亚测速数据（共计93000行，平均下行速率87.00Mbps，上行速率18.86Mbps）。使用speedtest-workflow-importv2版Jupyter笔记本完成导入。平均测速任务数为18.3，平均测试设备数为5.5。
v33：新增2023年第四季度澳大利亚测速数据（共计92000行，平均下行速率82.62Mbps）。使用speedtest-workflow-importv2版Jupyter笔记本完成导入。平均测速任务数为18.0，平均测试设备数为5.6。已添加GitHub链接。
v32：重新计算澳大利亚与新西兰的上行性能对比，添加相关可视化图像。通过PlayNZ Jupyter笔记本完成计算。新西兰约有40%的网格点位上行速率达到或超过100Mbps，澳大利亚该比例不足5%，甚至可能低于2%。
v31：新增2023年第三季度新西兰与澳大利亚的宽带性能对比图表，以及PlanNZ Jupyter笔记本。
v30：新增2023年第三季度新西兰测速数据（共计20000行，平均下行速率154.33Mbps）。平均测速任务数为10.3，平均测试设备数为3.4。
nz_tiles = tiles.cx[166.509144322:178.517093541 , -46.641235447:-34.4506617165]
数据源：https://gist.github.com/graydon/11198540
v29：新增2023年第三季度澳大利亚测速数据（共计90000行，平均下行速率79.08Mbps）。使用speedtest-workflow-importv2版Jupyter笔记本完成导入。平均测速任务数为16.1，平均测试设备数为5.2。
v28：新增v2版导入Jupyter笔记本，添加新的直方图用于季度数据分析。
v27.1：新增2023年第二季度澳大利亚测速数据（共计90000行，平均下行速率74.25Mbps）。使用speedtest-workflow-import版Jupyter笔记本完成导入。平均测速任务数为15.7，平均测试设备数为5.1。
v27：新增2023年第一季度澳大利亚测速数据（共计89000行，平均下行速率69.69Mbps）。使用speedtest-workflow-import版Jupyter笔记本完成导入。平均测速任务数为16.0，平均测试设备数为5.3。
v26：为期刊论文添加数字对象唯一标识符（DOI），相关链接见下文。刊载期刊：《International Regional Science Review》。
v25：新增2022年第四季度澳大利亚测速数据的GeoJSON文件（共计89000行，平均下行速率65.9Mbps）。使用speedtest-workflow-import版Jupyter笔记本完成导入。平均测速任务数为19.0，平均测试设备数为5.8。
v24：新增2022年第三季度澳大利亚测速数据的GeoJSON文件（共计83000行，平均下行速率61.6Mbps），同时添加speedtest-workflow-import版Jupyter笔记本。
v23：新增2022年第二季度澳大利亚测速数据的GeoJSON文件（共计87000行，平均下行速率58.4Mbps）。
v22：新增2022年第一季度澳大利亚测速数据的GeoJSON文件（共计88000行，平均下行速率56.9Mbps）。平均测速任务数为21.0，平均测试设备数为6.4。
v21：新增2021年第四季度澳大利亚测速数据的GeoJSON文件（共计86000行，平均下行速率57.6Mbps）。平均测速任务数为21.0，平均测试设备数为6.5。
v20：新增2021年第三季度澳大利亚测速数据的GeoJSON文件（共计81000行，平均下行速率54.9Mbps）。平均测速任务数为27.0，平均测试设备数为7.0。
v18/19：添加折线图、直方图及v1.4.ipynb脚本，用于对比Q2'21、Q1'21及Q2'20的测速数据。2021年6月的全球Speedtest数据显示澳大利亚平均测速速率为80Mbps，显著高于本数据集2021年4-6月的均值（对应版本v17）。
v17：新增2021年第二季度澳大利亚测速数据的GeoJSON文件（共计79000行，平均下行速率52.3Mbps）。
v15/16：添加直方图用于对比Q1'21与Q2'20的测速数据，附带incHistQ121、v.1.3-Q121脚本用于计算。
v14：新增2021年第一季度澳大利亚测速数据的GeoJSON文件（共计79000行，平均下行速率45.4Mbps）。
v13：新增墨尔本三色地理地图（分为<20Mbps、20-90Mbps、>90Mbps三个区间）。
v12：新增澳大利亚悉尼-墨尔本2020年第三季度折线图。
v11：添加Q2、Q3、Q4季度测速数据对比折线图，墨尔本与悉尼的测速结果几乎无差异；添加悉尼-墨尔本2020年第三季度对比折线图，结果同样几乎无差异；添加悉尼-墨尔本2020年第三季度对比直方图。新增包含绘图计算代码的Jupyter笔记本nbn-AUS-v1.3，笔记本中包含部分勘误说明：存在表格重新排序问题，仅绘制部分表格数据时会出现异常，若绘制全部表格数据则无此问题。
v10：加载AURIN平台示例图片。本数据集的Speedtest数据已上传至澳大利亚城市与区域信息网络（Australian Urban and Regional Information Network, AURIN）地理分析平台，需使用.edu.au域名邮箱登录方可访问。
v9：添加Q2、Q3、Q4季度测速数据对比直方图。
v8：新增2020年第四季度测速数据的GeoJSON文件，添加Q3、Q4季度测速数据对比直方图。
v7：重命名数据集标题，添加Q2、Q3季度标识。
v6：新增2020年第三季度数据，将原有澳大利亚数据集重命名为Q2季度数据，添加Q2、Q3季度对比直方图。计算脚本为International.ipynb。
v5：添加包含直方图的Jupyter笔记本，直方图统计的是地理点位的平均下行速率（未按测速次数加权）。
v4：新增墨尔本等值区域图（PNG图像，5000万像素），附带图例。（待办：添加墨尔本GeoJSON文件）已发布AURIN平台上的Speedtest数据描述链接。
v3：新增超高速测速数据（速率>100Mbps），共计697行，占总数据的1%以下。附带超高速数据点位绘图PNG图像，下方提供超高速数据点位的谷歌地图版本链接，以及前100个数据点的谷歌地图示例链接。数据采用GeoJSON格式，可通过Jupyter笔记本加载至GeoPandas库中。更新版Jupyter笔记本v.1.1已发布。
v2：添加质心坐标图像。
v1：初始数据加载版本。

---
**未来工作规划**
1. 将Speedtest测速数据与按地理位置划分的NBN技术类型数据结合（数据源：map.gov.au国家地图网站；官方链接：https://www.data.gov.au/dataset/national-broadband-network-connections-by-technology-type）
2. 将Speedtest测速数据与SEIFA（社区社会经济指数）数据结合，相关合作将与澳大利亚城市与区域信息网络（Australian Urban and Regional Information Network, AURIN）洽谈推进
3. 拓展国际对比分析：已与悉尼大学副教授Tooran Alizadeh达成合作意向
4. 论文录用说明：题为《澳大利亚国家宽带网络的多技术足迹：探究城乡鸿沟与社会空间不平等模式》的稿件已被《International Regional Science Review》录用，录用通知日期为2023年3月1日。该论文的DOI已添加至下方链接：https://doi.org/10.1177/01600176231168025