Awesome Public Real-Time Datasets and Sources

这是一个公开可用的实时数据集列表，涵盖金融、加密、交通等多个领域，数据通常通过HTTP或Websockets访问。

This is a publicly available list of real-time datasets covering various fields such as finance, cryptocurrency, and transportation. The data is typically accessible via HTTP or Websockets.

原始信息汇总

免费数据集

金融/加密货币

• Coinbase Market Data - 提供包括Level 2订单簿数据在内的市场数据，通过Coinbase的WebSocket接口访问。
• Blockchain transactions - 提供关于新交易和区块的实时通知。
• Yahoo Finance - 通过WebSocket更新网站数据，未在开发者文档中明确说明。
• Finnhub - 提供有限免费使用，同时提供高级数据源。
• CoinCheck - 提供加密货币API，具有WebSocket接口（处于测试阶段）。
• Alpaca Markets - 通过HTTP和WebSocket提供实时和历史市场数据。

交通运输

• Open Rail Data - 提供与英国铁路网络相关的数据，包括参考数据、列车时刻表和实时服务更新。
• GBFS New York - 全球自行车共享数据标准，提供纽约市的自行车共享数据。
• Open Sky Flight - 通过HTTP端点提供Open Sky API数据，支持实时数据，但不支持流式传输。
• Open Glider Network - 提供滑翔机和其他轻型飞机的实时交通数据。
• MTA GTFS Feed - 提供纽约地铁和Caltrain等交通系统的GTFS格式数据。
• NY 511 live camera data - 提供纽约市的实时摄像头数据，需要进行一些抓取工作。
• Transport for London (TfL) - 提供伦敦地铁、公交等的实时数据。
• Norwegian Coastal Administration - 提供挪威经济区和保护区的船舶AIS数据。
• German Traffic Data - 提供德国的实时交通信息。
• Swiss Traffic & Public Transport Data - 提供瑞士的各种实时交通数据，包括道路交通、电动汽车充电站状态、共享出行服务和公共交通的实时到达/离开信息。

信息

• Wikimedia SSE - 提供维基媒体基金会页面的最近更改事件流。
• Seismic Data - 提供实时地震事件的WebSocket接口。
• Open Weather API - 提供当前天气数据的免费API，每秒可请求一次。
• Clima Cell - 提供实时天气数据的免费或付费API。
• NOAA Buoy Data - 提供NOAA的实时浮标数据。
• NOAA Weather Data - 提供NOAA的实时天气数据API。
• Redfin Realestate - 通过非官方API从Redfin提取最新数据。
• EPA Airnow data - 提供由EPA托管的空气质量数据。
• UK Flood Data - 提供英国政府的实时洪水数据API。
• US Energy Grid Data - 提供美国能源电网的实时信息。
• USGS Earthquake Real-time Feed - 提供实时地震数据，了解地震发生情况。

IoT

• ThingSpeak IoT Public Channels - 提供用户发布的各种物联网传感器数据的实时频道，可通过REST API或MQTT API访问。

其他

• GitHub Events - 使用GitHub API消费GitHub上发生的公共事件。
• EventSim - 模拟事件数据的工具。
• Formula 1 Stats & Telemetry - 提供F1的实时和历史数据API。
• International Space Station Live Data - 提供国际空间站的实时数据。
• Live Satellite Positions - 通过REST API跟踪卫星位置。

付费数据集

金融/加密货币

• IEX Trading - 提供股票市场数据流。
• Twitter - 提供实时推文流接口。
• NYSE Cloud Streaming - 提供纽约证券交易所的高质量实时数据流。
• Alpha Vantage Market News & Sentiment - 提供实时市场新闻和情绪数据。

交通运输

• AIS Data - 提供海事、航空和天气数据。

信息

• PurpleAir Air Quality Data - 提供PurpleAir传感器的空气质量数据API。
• NewsAPI - 提供新闻头条的实时跟踪。

体育

• Sports Livescores - 提供实时比分数据。
• Sportradar Sports Data - 提供全球80种体育、500个体育联赛和75万场赛事的实时数据。

搜集汇总

数据集介绍

构建方式

该数据集的构建方式主要依赖于从多个公开的实时数据源中收集和整合数据。这些数据源涵盖了金融、交通、信息、物联网等多个领域，通过HTTP或Websocket协议进行实时数据传输。数据集的构建者通过分类整理这些数据源，确保每个子类别的数据都能以统一的方式被访问和利用。此外，数据集还区分了免费和付费的数据源，以满足不同用户的需求。

使用方法

用户可以通过访问数据集中的各个数据源链接，直接获取实时数据。对于支持Websocket协议的数据源，用户可以通过建立Websocket连接来实时接收数据更新。对于HTTP协议的数据源，用户可以通过定期请求API来获取最新的数据。此外，数据集还提供了一些工具和库的链接，帮助用户更方便地处理和分析这些实时数据。

背景与挑战

背景概述

Awesome Public Real-Time Datasets and Sources数据集由一群热衷于开放数据的研究者创建，旨在为实时数据分析领域提供丰富的资源。该数据集的创建时间可追溯至其GitHub页面首次发布之时，主要研究人员或机构虽未明确提及，但其灵感来源于[awesome public datasets](https://github.com/awesomedata/awesome-public-datasets)项目，表明其与开放数据社区有着紧密的联系。核心研究问题围绕如何高效地收集、整理和分发实时数据，以支持金融、交通、信息、物联网等多个领域的研究与应用。该数据集的影响力在于其为研究人员和开发者提供了便捷的实时数据访问途径，极大地推动了实时数据分析技术的发展。

当前挑战

该数据集面临的挑战主要集中在数据获取与处理的复杂性上。首先，实时数据的获取通常依赖于HTTP或Websockets等技术，这要求用户具备一定的技术背景和资源。其次，数据集涵盖了多个领域，如金融、交通、信息等，每个领域的数据格式和访问方式各不相同，增加了数据整合与分析的难度。此外，部分数据源可能存在访问限制或延迟问题，影响了数据的实时性和可用性。最后，随着数据量的增加，如何高效地存储、处理和分析这些数据也是一个亟待解决的问题。

常用场景

经典使用场景

Awesome Public Real-Time Datasets and Sources 数据集的经典使用场景主要集中在金融、交通、信息和物联网等领域。例如，金融领域的研究者可以通过实时数据分析加密货币市场的波动，交通领域的专家可以利用实时交通数据优化城市交通系统，信息领域的学者可以实时监测地震和天气变化，而物联网领域的开发者则可以利用实时传感器数据进行智能家居和工业自动化系统的优化。

解决学术问题

该数据集解决了多个学术研究中的关键问题，特别是在实时数据分析和预测领域。例如，金融领域的研究者可以利用实时市场数据进行高频交易策略的研究，交通领域的学者可以通过实时交通数据优化城市交通流量预测模型，信息领域的专家可以实时监测自然灾害并进行预警，物联网领域的研究者则可以利用实时传感器数据进行设备状态监测和故障预测。

实际应用

在实际应用中，Awesome Public Real-Time Datasets and Sources 数据集被广泛应用于金融交易、智能交通系统、天气预报、地震监测和物联网设备管理等领域。例如，金融机构利用实时市场数据进行交易决策，城市交通管理部门通过实时交通数据优化交通信号控制，气象部门利用实时天气数据进行灾害预警，物联网公司则通过实时传感器数据进行设备维护和优化。

数据集最近研究

最新研究方向

在实时数据集领域，最新的研究方向主要集中在利用实时数据进行预测分析和决策支持。特别是在金融、交通和信息领域，研究人员正致力于开发高效的算法和模型，以实时处理和分析大规模数据流。例如，金融领域的研究者正在探索如何利用实时市场数据进行高频交易策略的优化，而交通领域的研究则聚焦于通过实时交通数据提升城市交通管理效率。此外，信息领域的研究者也在利用实时数据流进行事件检测和趋势预测，以支持更快速的决策制定。这些研究不仅推动了数据科学的前沿发展，还为各行业的实时应用提供了新的可能性。