Speedtest Open Data - Australia 2020/21 Q2, Q3, Q4 extract

This is an Australian extract of Speedtest Open data available at Amazon WS (link below - opendata.aws).<br>AWS data licence is "CC BY-NC-SA 4.0", so use of this data must be:- non-commercial (NC)- reuse must be share-alike (SA)(add same licence).This restricts the standard CC-BY Figshare licence.<br>A world speedtest open data was dowloaded (&gt;400Mb, 7M lines of data). An extract of Australia's location (lat, long) revealed 88,000 lines of data (attached as csv).<br>A Jupyter notebook of extract process is attached.A link to Twitter thread of outputs provided.A link to Data tutorial provided (GitHub), including Jupyter Notebook to analyse World Speedtest data, selecting one US State.<br>Data Shows: (Q2)- 3.1M speedtests- 762,000 devices- 88,000 grid locations (600m * 600m), summarised as a point- average speed 33.7Mbps (down), 12.4M (up)- Max speed 724Mbps- data is for 600m * 600m grids, showing average speed up/down, number of tests, and number of users (IP). Added centroid, and now lat/long.<br>See tweet of image of centroids also attached.<br>NB: Discrepancy Q2-21, Speedtest Global shows June AU average speedtest at 80Mbps, whereas Q2 mean is 52Mbps (v17; Q1 45Mbps; v14). Dec 20 Speedtest Global has AU at 59Mbps. Could be possible timing difference. Or spatial anonymising masking shaping highest speeds. Else potentially data inconsistent between national average and geospatial detail. Check in upcoming quarters.<br>Versions:v20: Added AUS Q321 geojson. (81k lines avg d/l 54.9 Mbps). Mean tests: 27. Mean devices: 7.v18/19: Add linechart, Histogram and v1.4 ipynb, comparing Q221 to Q121 and Q220. Speedtest Global at 0621 puts AU at 80Mbps average (June). Substantially above data mean (Apr, May Jun) (v17).v17: Add AUS Speedtest Q2 2021 geojson.(79k lines avg d/l 52.3Mbps)v15/16. Add Hist comparing Q1-21 vs Q2-20. Inc ipynb (incHistQ121, v.1.3-Q121) to calc.v14 Add AUS Speedtest Q1 2021 geojson.(79k lines avg d/l 45.4Mbps)v13 - Added three colour MELB map (less than 20Mbps, over 90Mbps, 20-90Mbps)v12 - Added AUS - Syd - Mel Line Chart Q320.v11 - Add line chart compare Q2, Q3, Q4 plus Melb - result virtually indistinguishable. Add line chart to compare Syd - Melb Q3. Also virtually indistinguishable. Add HIST compare Syd - Melb Q3. Add new Jupyter with graph calcs (nbn-AUS-v1.3). Some ERRATA document in Notebook. Issue with resorting table, and graphing only part of table. Not an issue if all lines of table graphed.v10 - Load AURIN sample pics. Speedtest data loaded to AURIN geo-analytic platform; requires edu.au login.v9 - Add comparative Q2, Q3, Q4 Hist pic.v8 - Added Q4 data geojson. Add Q3, Q4 Hist pic.v7 - Rename to include Q2, Q3 in Title.v6 - Add Q3 20 data. Rename geojson AUS data as Q2. Add comparative Histogram. Calc in International.ipynb.v5 - add Jupyter Notebook inc Histograms. Hist is count of geo-locations avg download speed (unweighted by tests).v4 - added Melb choropleth (png 50Mpix) inc legend. (To do - add Melb.geojson). Posted Link to AURIN description of Speedtest data.v3 - Add super fast data (&gt;100Mbps) less than 1% of data - 697 lines. Includes png of superfast.plot(). Link below to Google Maps version of superfast data points. Also Google map of first 100 data points - sample data. Geojson format for loading into GeoPandas, per Jupyter Notebook. New version of Jupyter Notebook, v.1.1.v2 - add centroids image.v1 - initial data load.<br>** Future Work- combine Speedtest data with NBN Technology by location data (national map.gov.au); https://www.data.gov.au/dataset/national-broadband-network-connections-by-technology-type- combine Speedtest data with SEIFA data - socioeconomic categories - to discuss with AURIN.- Further international comparisons- discussed collaboration with Assoc Prof Tooran Alizadeh, USyd.

本数据集为亚马逊云服务（Amazon Web Services，AWS）公开的Speedtest宽带测速开放数据集的澳大利亚区域子集，数据来源链接见下文：opendata.aws。

本数据集采用的AWS数据许可协议为"CC BY-NC-SA 4.0"，因此数据使用需满足以下要求：非商业用途（NC）、再分发需采用相同许可协议（SA），该限制相较于标准的CC-BY Figshare许可更为严格。

本次研究下载了全球Speedtest开放数据集（文件大小超400MB，共700万行数据），从中提取澳大利亚区域的经纬度坐标数据后，得到88000行数据，以CSV格式附件提供。

附带了数据提取流程的Jupyter Notebook文件。同时提供了结果展示的Twitter线程链接，以及GitHub平台上的数据分析教程链接，其中包含用于分析全球Speedtest数据的Jupyter Notebook，可选取单个美国州进行分析。

本数据集2021年第二季度（Q2）的统计信息如下：
- 共计310万次Speedtest测速
- 覆盖76.2万台设备
- 包含88000个600m×600m网格点位，以汇总点形式呈现
- 平均下载速率33.7Mbps，平均上传速率12.4Mbps
- 最高测速达724Mbps
- 数据以600m×600m网格为单位，展示了各网格的平均上下行速率、测试次数以及用户（IP地址）数量。本次数据集新增了质心坐标，当前数据包含经纬度信息。

附带的质心可视化图像可参见对应Twitter推文。

注：2021年第二季度数据存在一处统计差异：Speedtest全球报告显示澳大利亚2021年6月的平均测速速率为80Mbps，而本数据集第二季度的平均速率为52Mbps（对应版本v17；2021年第一季度平均速率为45Mbps，对应版本v14）。2020年12月的Speedtest全球报告显示澳大利亚平均速率为59Mbps。该差异可能源于时间统计口径不同，或是空间匿名化处理掩盖了高测速结果，亦可能存在全国平均速率与地理空间细分数据之间的不一致性，后续季度将对此进行验证。

### 版本迭代历史
v20：新增澳大利亚2021年第三季度GeoJSON数据（共8.1万行数据，平均下载速率54.9Mbps），平均单网格测试次数为27次，平均覆盖设备数为7台。
v18/19：新增用于对比2021年第二季度、2021年第一季度与2020年第二季度数据的折线图、直方图及v1.4版本的Jupyter Notebook文件。2021年6月的Speedtest全球报告显示澳大利亚平均速率为80Mbps，显著高于本数据集（2021年4-6月）的平均速率（对应v17版本）。
v17：新增澳大利亚2021年第二季度Speedtest数据的GeoJSON文件（共7.9万行数据，平均下载速率52.3Mbps）。
v15/16：新增用于对比2021年第一季度与2020年第二季度数据的直方图，附带用于计算的Jupyter Notebook文件（incHistQ121, v.1.3-Q121）。
v14：新增澳大利亚2021年第一季度Speedtest数据的GeoJSON文件（共7.9万行数据，平均下载速率45.4Mbps）。
v13：新增墨尔本区域的三色热力图，分别展示速率低于20Mbps、高于90Mbps以及20-90Mbps的区域。
v12：新增澳大利亚-悉尼-墨尔本2020年第三季度折线图。
v11：新增用于对比2020年第二、三、四季度的折线图，结果显示墨尔本区域测速结果几乎无差异；新增用于对比2020年第三季度悉尼与墨尔本区域的折线图与直方图，结果同样几乎无差异。附带包含图表计算逻辑的新版Jupyter Notebook（nbn-AUS-v1.3），Notebook中包含部分勘误说明：原代码存在表格重排问题，仅会绘制部分表格数据，若完整绘制表格则无此问题。
v10：加载AURIN示例图片，将Speedtest数据上传至AURIN地理分析平台，该平台需使用edu.au域名邮箱登录。
v9：新增用于对比2020年第二、三、四季度的直方图图片。
v8：新增2020年第四季度数据的GeoJSON文件，同时新增2020年第三、四季度的直方图图片。
v7：重命名数据集标题，新增第二、三季度标识。
v6：新增2020年第三季度数据，将原有澳大利亚数据集GeoJSON文件重命名为第二季度数据，新增对比用直方图，相关计算逻辑见International.ipynb文件。
v5：新增包含直方图的Jupyter Notebook文件，该直方图统计了各地理点位的平均下载速率分布（未按测试次数加权）。
v4：新增墨尔本区域的等值区域图（PNG格式，分辨率50MPix），附带图例（待完成：新增墨尔本区域GeoJSON文件）。发布AURIN平台上Speedtest数据集的描述链接。
v3：新增超高速测速数据（速率＞100Mbps），共697行，占总数据的1%以下。附带超高速数据的可视化PNG图片，提供超高速数据点的谷歌地图版本链接，以及前100个数据点的示例谷歌地图链接。本数据集采用GeoJSON格式，可通过Jupyter Notebook加载至GeoPandas中，同时更新了v1.1版本的Jupyter Notebook文件。
v2：新增质心坐标可视化图片。
v1：初始数据加载版本。

## 未来工作计划
- 将Speedtest数据与按地理位置划分的澳大利亚国家宽带网络（National Broadband Network，NBN）技术类型数据相结合，数据源来自national map.gov.au：https://www.data.gov.au/dataset/national-broadband-network-connections-by-technology-type
- 将Speedtest数据与澳大利亚社会经济指标（Socio-Economic Indexes for Areas，SEIFA）的社会经济分类数据相结合，该计划将与AURIN团队商议推进
- 开展更多国际对比研究
- 已与悉尼大学副教授Tooran Alizadeh（USyd）探讨合作事宜