有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
PeMS data-sets|交通数据分析数据集|交通监控数据集
收藏github2024-05-07 更新2024-05-31 收录
下载链接：
https://github.com/SANDAG/PeMS-Datasets
下载链接
链接失效反馈资源简介：
该数据集来自Caltrans Performance Measurement System (PeMS)，存储在PeMS Data Clearinghouse中，用于交通数据分析。数据集通过浏览器扩展批量下载，并加载到内部SQL服务器实例中进行进一步处理和汇总。
This dataset originates from the Caltrans Performance Measurement System (PeMS) and is stored in the PeMS Data Clearinghouse, utilized for traffic data analysis. The dataset is downloaded in bulk via a browser extension and subsequently loaded into an internal SQL server instance for further processing and aggregation.
创建时间：
2020-02-07
原始信息汇总
PeMS-Datasets 数据集概述
数据来源与获取
- 数据集来自 Caltrans Performance Measurement System (PeMS) 的 Data Clearinghouse，网址为 http://pems.dot.ca.gov/。
- 访问数据集需要创建用户名和密码。
- 推荐使用批量下载器浏览器扩展下载数据集，因 Caltrans 限制使用程序化工具访问数据集。
数据加载
- 数据集最终存储于内部 SQL 服务器实例，具体配置见项目 Python 文件夹中的 main.py 文件。
- 下载后的数据集需放置于项目数据文件夹，并确保 PeMS SQL 对象（由 pemsObjects.sql 文件创建）存在于目标数据库中。
- 使用提供的 environment.yml 文件创建 Python 解释器，并运行 main.py 文件以加载数据集至 SQL 数据库。
数据集总结
- 数据库中的存储过程提供用户指定时间分辨率的 PeMS 数据集年度聚合，详细信息可参考 GitHub Wiki 页面。
匹配 PeMS 站点与 SANDAG 高速公路网络
- 项目中的 Python 微服务（位于 matching 文件夹）用于匹配 PeMS 站点元数据与 SANDAG 高速公路网络文件。
- 该脚本可独立运行，并使用单独的 environment.yml 文件。
AI搜集汇总
数据集介绍
构建方式
PeMS数据集的构建始于从Caltrans Performance Measurement System (PeMS)数据清仓库中获取原始数据。用户需通过创建用户名和密码访问http://pems.dot.ca.gov/。为避免程序化工具的限制，推荐使用批量下载浏览器扩展进行数据下载。下载后，需确保无重复或空文件。数据最终加载至项目Python文件夹中的main.py指定的内部SQL服务器实例。通过运行pemsObjects.sql文件，确保目标数据库中存在所有PeMS相关的SQL对象。随后，使用提供的environment.yml文件创建Python解释器，并运行main.py文件，实现从数据文件夹中提取必要的txt文件并加载至指定SQL数据库。
特点
PeMS数据集的核心特点在于其来源于Caltrans的性能测量系统，确保了数据的权威性和准确性。数据集包含详细的交通流量信息，覆盖了加利福尼亚州的多个交通站点。此外，数据集支持用户指定的年度聚合和时间分辨率，提供了灵活的数据分析选项。通过Python微服务，数据集还能与SANDAG高速公路网络进行匹配，增强了其在交通网络分析中的应用潜力。
使用方法
使用PeMS数据集时，首先需通过批量下载工具获取数据，并确保数据文件的完整性。随后，将数据放置于项目的数据文件夹中，并通过运行pemsObjects.sql文件在目标数据库中创建或更新PeMS相关的SQL对象。接着，使用environment.yml文件配置Python环境，并运行main.py文件，自动提取并加载数据至SQL数据库。对于数据汇总，数据库中的存储过程提供了年度聚合功能。此外，Python微服务可用于将PeMS站点元数据与SANDAG高速公路网络进行匹配，进一步扩展数据集的应用范围。
背景与挑战
背景概述
PeMS数据集是由加州交通部（Caltrans）的性能测量系统（PeMS）提供的交通数据集，主要用于存储、加载和汇总加州交通网络的性能数据。该数据集的创建旨在通过提供详细的交通流量和性能指标，支持交通管理和规划领域的研究与应用。PeMS数据集的获取需通过PeMS数据清算所，用户需注册账户并使用批量下载工具进行数据下载。该数据集的核心研究问题涉及交通流量的实时监控与分析，对提升交通系统的效率和安全性具有重要意义。
当前挑战
PeMS数据集在构建和使用过程中面临多项挑战。首先，数据获取过程中，由于Caltrans限制了编程工具的访问权限，用户需依赖批量下载浏览器扩展，这增加了数据获取的复杂性。其次，数据集中的重复文件和空文件问题较为常见，需用户在下载后进行清理。此外，数据加载到SQL服务器实例的过程需要确保SQL对象的正确创建和Python环境的配置，这要求用户具备一定的技术能力。最后，数据集的汇总和匹配过程依赖于特定的存储过程和Python微服务，这增加了数据处理的复杂性和技术门槛。
常用场景
经典使用场景
PeMS数据集在交通流量分析和预测中具有经典应用。通过整合来自加州交通性能测量系统（PeMS）的数据，研究者能够深入分析特定路段的交通流量模式，从而为交通管理和优化提供科学依据。该数据集支持时间序列分析，帮助识别交通高峰时段和低谷时段，为智能交通系统的规划和实施提供数据支持。
衍生相关工作
基于PeMS数据集，研究者们开发了多种交通流量预测和分析工具。例如，一些研究团队利用该数据集开发了基于机器学习的交通流量预测模型，显著提高了预测精度。此外，PeMS数据集还被用于研究交通网络的动态变化和交通事件的影响分析，推动了交通工程和智能交通系统领域的进一步发展。
数据集最近研究
最新研究方向
在交通管理与智能交通系统领域，PeMS数据集的最新研究方向主要集中在数据的高效处理与分析上。研究者们致力于开发更优化的数据加载和存储方案，以应对大规模交通数据的实时处理需求。此外，通过结合机器学习和深度学习技术，研究人员正在探索如何从PeMS数据中提取有价值的交通模式和趋势，以支持智能交通系统的决策制定。这些研究不仅提升了数据处理的效率，也为交通管理和城市规划提供了科学依据，推动了智能交通系统的发展。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国食物成分数据库
食物成分数据比较准确而详细地描述农作物、水产类、畜禽肉类等人类赖以生存的基本食物的品质和营养成分含量。它是一个重要的我国公共卫生数据和营养信息资源，是提供人类基本需求和基本社会保障的先决条件；也是一个国家制定相关法规标准、实施有关营养政策、开展食品贸易和进行营养健康教育的基础，兼具学术、经济、社会等多种价值。 本数据集收录了基于2002年食物成分表的1506条食物的31项营养成分（含胆固醇）数据，657条食物的18种氨基酸数据、441条食物的32种脂肪酸数据、130条食物的碘数据、114条食物的大豆异黄酮数据。
国家人口健康科学数据中心 收录
中国行政区划shp数据
中国行政区划数据是重要的基础地理信息数据，目前不同来源的全国行政区划数据非常多，但能够开放获取的高质量行政区域数据少之又少。基于此，锐多宝的地理空间制作一套2013-2023年可开放获取的高质量行政区划数据。该套数据以2022年国家基础地理信息数据中的县区划数据作为矢量基础，辅以高德行政区划数据、天地图行政区划数据，参考历年来民政部公布的行政区划为属性基础，具有时间跨度长、属性丰富、国界准确、更新持续等特性。 中国行政区划数据统计截止时间是2023年2月12日，包含省、市、县、国界、九段线等矢量shp数据。该数据基于2020年行政区划底图，按时间顺序依次制作了2013-2023年初的行政区划数据。截止2023年1月1日，我国共有34个省级单位，分别是4个直辖市、23个省、5个自治区和2个特别行政区。截止2023年1月1日，我国共有333个地级单位，分别是293个地级市、7个地区、30个自治州和3个盟，其中38个矢量要素未纳入统计（比如直辖市北京等、特别行政区澳门等、省直辖县定安县等）。截止2023年1月1日，我国共有2843个县级单位，分别是1301个县、394个县级市、977个市辖区、117个自治县、49个旗、3个自治旗、1个特区和1个林区，其中9个矢量要素未纳入县级类别统计范畴（比如特别行政区香港、无县级单位的地级市中山市东莞市等）。
CnOpenData 收录
默沙东诊疗手册专业版
默沙东诊疗手册专业版
魔搭社区 收录
PlantVillage
在这个数据集中，39 种不同类别的植物叶子和背景图像可用。包含 61,486 张图像的数据集。我们使用了六种不同的增强技术来增加数据集的大小。这些技术是图像翻转、伽玛校正、噪声注入、PCA 颜色增强、旋转和缩放。
OpenDataLab 收录
中国1km分辨率逐月降水量数据集（1901-2023）
该数据集为中国逐月降水量数据，空间分辨率为0.0083333°（约1km），时间为1901.1-2023.12。数据格式为NETCDF，即.nc格式。该数据集是根据CRU发布的全球0.5°气候数据集以及WorldClim发布的全球高分辨率气候数据集，通过Delta空间降尺度方案在中国降尺度生成的。并且，使用496个独立气象观测点数据进行验证，验证结果可信。本数据集包含的地理空间范围是全国主要陆地（包含港澳台地区），不含南海岛礁等区域。为了便于存储，数据均为int16型存于nc文件中，降水单位为0.1mm。 nc数据可使用ArcMAP软件打开制图; 并可用Matlab软件进行提取处理，Matlab发布了读入与存储nc文件的函数，读取函数为ncread，切换到nc文件存储文件夹，语句表达为：ncread (‘XXX.nc’,‘var’, [i j t],[leni lenj lent])，其中XXX.nc为文件名，为字符串需要’’；var是从XXX.nc中读取的变量名，为字符串需要’’；i、j、t分别为读取数据的起始行、列、时间，leni、lenj、lent i分别为在行、列、时间维度上读取的长度。这样，研究区内任何地区、任何时间段均可用此函数读取。Matlab的help里面有很多关于nc数据的命令，可查看。数据坐标系统建议使用WGS84。
国家青藏高原科学数据中心 收录