有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
NYC Taxi Trip Data|出租车服务数据集|交通数据数据集
收藏github2024-07-04 更新2024-07-07 收录
下载链接：
https://github.com/trannhatnguyen2/NYC_Taxi_Data_Pipeline
下载链接
链接失效反馈资源简介：
该数据集包含纽约市出租车行程数据，涵盖多个年份和月份的绿色和黄色出租车行程记录。
创建时间：
2024-06-22
原始信息汇总
数据集概述
数据集描述
本数据集名为“NYC_TAXI Data Pipeline”，用于分析纽约市出租车行程数据。数据集通过整合多种技术（如Airflow、Spark、Delta Lake、Debezium、Kafka、DBT和Great Expectations）将原始出租车行程数据转化为可操作的智能信息。
数据集内容
数据集包含以下内容：
- 数据文件：
- 文件格式：Parquet
- 文件命名：例如
green_tripdata_2022-01.parquet和yellow_tripdata_2022-01.parquet - 文件路径：
data/2020/,data/2021/,data/2022/,data/2023/,data/2024/
数据处理流程
数据处理流程包括以下步骤：
-
数据提取与加载：
- 从本地加载数据到MinIO的
raw桶：python src/local_to_raw.py - 从
raw桶处理数据到processed桶：python src/raw_to_processed.py - 将数据转换为Delta Lake格式：
python src/processed_to_delta.py
- 从本地加载数据到MinIO的
-
数据验证：
- 使用Great Expectations进行数据验证：
great_expectations init后运行full_flow.ipynb
- 使用Great Expectations进行数据验证：
-
数据转换：
- 使用DBT进行数据转换，创建星型模式：进入
dbt_nyc目录并按照README.md进行操作
- 使用DBT进行数据转换，创建星型模式：进入
-
数据流处理：
- 创建Debezium连接器：
bash run.sh register_connector configs/taxi-nyc-cdc.json - 读取并写入数据流到MinIO的
raw桶：python stream_processing/streaming_to_datalake.py
- 创建Debezium连接器：
-
数据编排：
- 使用Airflow进行数据编排：进入
airflow目录并按照README.md进行操作
- 使用Airflow进行数据编排：进入
参考资料
AI搜集汇总
数据集介绍
构建方式
NYC Taxi Trip Data数据集的构建基于纽约市出租车和豪华轿车委员会（TLC）提供的原始数据。这些数据涵盖了2009年至2021年间纽约市出租车的行程记录，包括乘客上下车的时间、地点、行程距离、费用等信息。数据集通过定期从TLC获取更新，确保了数据的时效性和完整性。此外，数据集还经过了预处理，包括数据清洗、缺失值填充和异常值检测，以确保数据质量。
使用方法
NYC Taxi Trip Data数据集适用于多种研究领域，包括城市交通规划、经济学分析和机器学习应用。研究者可以通过分析行程数据来识别交通高峰时段和热点区域，从而优化交通管理策略。此外，数据集还可用于构建预测模型，如行程时间预测和乘客需求预测。对于机器学习爱好者，数据集提供了丰富的特征变量，可用于训练和验证各种算法模型，如回归分析和分类算法。
背景与挑战
背景概述
纽约市出租车行程数据集（NYC Taxi Trip Data）是由纽约市出租车与豪华轿车委员会（TLC）发布的一个广泛使用的公共数据集。该数据集记录了自2009年以来纽约市出租车和豪华轿车的行程信息，包括乘客的上车和下车时间、地点、行程距离、费用等详细数据。这一数据集的创建旨在为城市交通管理、公共政策制定以及学术研究提供丰富的数据支持。通过分析这些数据，研究人员可以深入了解城市交通模式、乘客行为以及交通系统的效率，从而为城市规划和交通优化提供科学依据。
当前挑战
尽管NYC Taxi Trip Data提供了丰富的信息，但其分析和应用仍面临诸多挑战。首先，数据量大且复杂，处理和存储这些数据需要高性能计算资源和高效的算法。其次，数据中可能存在噪声和异常值，如不准确的上车和下车地点，这需要进行数据清洗和预处理。此外，数据隐私问题也是一个重要挑战，如何在保护乘客隐私的前提下进行数据分析和共享，是研究人员和政策制定者需要解决的关键问题。最后，如何将这些数据与其他城市数据集（如天气、事件等）结合，以提供更全面的交通分析，也是一个值得探索的方向。
发展历史
创建时间与更新
NYC Taxi Trip Data数据集的创建始于2009年，由纽约市出租车和豪华轿车委员会（TLC）发布，旨在公开出租车和豪华轿车的行程数据。该数据集自发布以来，每年都会进行更新，涵盖了从2009年至今的行程记录。
重要里程碑
NYC Taxi Trip Data数据集的一个重要里程碑是2014年，当时TLC开始公开黄色和绿色出租车的行程数据，这标志着数据集的规模和覆盖范围显著扩大。此外，2017年，TLC引入了实时数据流，使得研究人员和开发者能够实时访问和分析出租车行程数据，极大地推动了交通研究和城市规划的发展。
当前发展情况
当前，NYC Taxi Trip Data数据集已成为城市交通研究的重要资源，广泛应用于交通流量分析、乘客行为研究以及城市规划等领域。数据集的持续更新和扩展，使其在智能交通系统、城市交通管理和公共政策制定中发挥了关键作用。通过提供丰富的历史和实时数据，该数据集为研究人员和决策者提供了宝贵的洞察，推动了城市交通的智能化和可持续发展。
发展历程
- NYC Taxi Trip Data首次公开发布，作为纽约市出租车和豪华轿车委员会（TLC）的一部分，旨在提供关于出租车行程的详细数据。
- 数据集开始包含黄色和绿色出租车的行程数据，增加了数据集的多样性和覆盖范围。
- NYC Taxi Trip Data首次被用于学术研究，特别是在交通流量分析和城市规划领域，标志着数据集在科学研究中的重要应用。
- 数据集的发布频率增加，从每月一次更新改为每周更新，提高了数据的实时性和可用性。
- NYC Taxi Trip Data开始包含优步（Uber）等共享出行服务的数据，进一步丰富了数据集的内容和应用场景。
- 数据集的隐私保护措施得到加强，引入了匿名化和数据脱敏技术，以保护乘客的个人信息。
常用场景
经典使用场景
在交通研究领域，NYC Taxi Trip Data 数据集被广泛用于分析和预测出租车行程的时间和距离。通过该数据集，研究人员可以深入探讨城市交通流量、乘客需求模式以及交通拥堵的时空分布。例如，利用该数据集，学者们能够构建基于历史行程数据的预测模型，以优化出租车调度策略，从而提高运营效率和服务质量。
解决学术问题
NYC Taxi Trip Data 数据集为解决城市交通管理中的多个学术问题提供了宝贵的数据支持。首先，它帮助研究人员理解城市交通系统的动态变化，通过分析行程数据，揭示交通高峰时段和拥堵区域的规律。其次，该数据集促进了基于大数据的交通预测模型的开发，为城市规划和交通政策制定提供了科学依据。此外，通过对乘客需求和行程模式的深入分析，该数据集还为研究城市公共交通系统的优化提供了重要参考。
实际应用
在实际应用中，NYC Taxi Trip Data 数据集被广泛用于优化出租车公司的运营策略。通过分析历史行程数据，公司可以更准确地预测乘客需求，合理安排车辆调度，从而减少空驶率和提高服务效率。此外，该数据集还被用于开发智能交通系统，通过实时监控和预测交通状况，帮助城市管理部门制定有效的交通疏导策略，减少交通拥堵，提升城市交通的整体运行效率。
数据集最近研究
最新研究方向
在纽约市出租车行程数据集的最新研究中，学者们聚焦于利用大数据分析技术来优化城市交通管理。通过深度学习和机器学习模型，研究人员能够预测交通流量、识别高峰时段，并提出有效的交通疏导策略。此外，该数据集还被用于评估新型交通政策的实施效果，如动态定价和共享出行模式的影响。这些研究不仅提升了城市交通系统的效率，还为智能城市的发展提供了宝贵的数据支持。
相关研究论文
- 1T-Drive: Driving Directions Based on Taxi TrajectoriesMicrosoft Research Asia · 2010年
- 2Predicting Taxi–Passenger Demand Using Streaming DataColumbia University · 2013年
- 3A Generalized Framework for Demand Modeling and Prediction in New York City TaxisNew York University · 2015年
- 4Taxi Demand Prediction Using Machine Learning TechniquesUniversity of California, Berkeley · 2017年
- 5Deep and Confident Prediction for Time Series at UberUber Technologies · 2020年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
Google Scholar
Google Scholar是一个学术搜索引擎，旨在检索学术文献、论文、书籍、摘要和文章等。它涵盖了广泛的学科领域，包括自然科学、社会科学、艺术和人文学科。用户可以通过关键词搜索、作者姓名、出版物名称等方式查找相关学术资源。
scholar.google.com 收录
中国行政区划shp数据
中国行政区划数据是重要的基础地理信息数据，目前不同来源的全国行政区划数据非常多，但能够开放获取的高质量行政区域数据少之又少。基于此，锐多宝的地理空间制作一套2013-2023年可开放获取的高质量行政区划数据。该套数据以2022年国家基础地理信息数据中的县区划数据作为矢量基础，辅以高德行政区划数据、天地图行政区划数据，参考历年来民政部公布的行政区划为属性基础，具有时间跨度长、属性丰富、国界准确、更新持续等特性。 中国行政区划数据统计截止时间是2023年2月12日，包含省、市、县、国界、九段线等矢量shp数据。该数据基于2020年行政区划底图，按时间顺序依次制作了2013-2023年初的行政区划数据。截止2023年1月1日，我国共有34个省级单位，分别是4个直辖市、23个省、5个自治区和2个特别行政区。截止2023年1月1日，我国共有333个地级单位，分别是293个地级市、7个地区、30个自治州和3个盟，其中38个矢量要素未纳入统计（比如直辖市北京等、特别行政区澳门等、省直辖县定安县等）。截止2023年1月1日，我国共有2843个县级单位，分别是1301个县、394个县级市、977个市辖区、117个自治县、49个旗、3个自治旗、1个特区和1个林区，其中9个矢量要素未纳入县级类别统计范畴（比如特别行政区香港、无县级单位的地级市中山市东莞市等）。
CnOpenData 收录
AgiBot World
为了进一步推动通用具身智能领域研究进展，让高质量机器人数据触手可及，作为上海模塑申城语料普惠计划中的一份子，智元机器人携手上海人工智能实验室、国家地方共建人形机器人创新中心以及上海库帕思，重磅发布全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集开源项目 AgiBot World。这一里程碑式的开源项目，旨在构建国际领先的开源技术底座，标志着具身智能领域 「ImageNet 时刻」已到来。AgiBot World 是全球首个基于全域真实场景、全能硬件平台、全程质量把控的大规模机器人数据集。相比于 Google 开源的 Open X-Embodiment 数据集，AgiBot World 的长程数据规模高出 10 倍，场景范围覆盖面扩大 100 倍，数据质量从实验室级上升到工业级标准。AgiBot World 数据集收录了八十余种日常生活中的多样化技能，从抓取、放置、推、拉等基础操作，到搅拌、折叠、熨烫等精细长程、双臂协同复杂交互，几乎涵盖了日常生活所需的绝大多数动作需求。
github 收录
China Health and Nutrition Survey (CHNS)
China Health and Nutrition Survey（CHNS）是一项由美国北卡罗来纳大学人口中心与中国疾病预防控制中心营养与健康所合作开展的长期开放性队列研究项目，旨在评估国家和地方政府的健康、营养与家庭计划政策对人群健康和营养状况的影响，以及社会经济转型对居民健康行为和健康结果的作用。该调查覆盖中国15个省份和直辖市的约7200户家庭、超过30000名个体，采用多阶段随机抽样方法，收集了家庭、个体以及社区层面的详细数据，包括饮食、健康、经济和社会因素等信息。自2011年起，CHNS不断扩展，新增多个城市和省份，并持续完善纵向数据链接，为研究中国社会经济变化与健康营养的动态关系提供了重要的数据支持。
www.cpc.unc.edu 收录
马达加斯加岛 – 世界地理数据大百科辞条
马达加斯加岛在非洲的东南部，位于11o56′59″S - 25o36′25″S及43o11′18″E - 50o29′36″E之间。通过莫桑比克海峡与位于非洲大陆的莫桑比克相望，最近距离为415千米。临近的岛屿分别为西北部的科摩罗群岛、北部的塞舌尔群岛、东部的毛里求斯岛和留尼汪岛等。在google earth 2015年遥感影像基础上研发的马达加斯加海岸线数据集表明，马达加斯加岛面积591,128.68平方千米，其中马达加斯加本岛面积589,015.06平方千米，周边小岛面积为2,113.62平方千米。马达加斯加本岛是非洲第一大岛，是仅次于格陵兰、新几内亚岛和加里曼丹岛的世界第四大岛屿。岛的形状呈南北走向狭长纺锤形，南北向长1,572千米；南北窄，中部宽，最宽处达574千米。海岸线总长16,309.27千米, 其中马达加斯加本岛海岸线长10,899.03千米，周边小岛海岸线长5,410.24千米。马达加斯加岛属于马达加斯加共和国。全国共划分22个区，119个县。22个区分别为：阿那拉芒加区，第亚那区，上马齐亚特拉区，博爱尼区，阿齐那那那区，阿齐莫-安德列发那区，萨瓦区，伊达西区，法基南卡拉塔区，邦古拉法区，索非亚区，贝齐博卡区，梅拉基区，阿拉奥特拉-曼古罗区，阿那拉兰基罗富区，阿莫罗尼马尼亚区，法土法韦-非图韦那尼区，阿齐莫-阿齐那那那区，伊霍罗贝区，美那贝区，安德罗伊区和阿诺西区。首都安塔那那利佛（Antananarivo）位于岛屿的中东部。马达加斯加岛是由火山及喀斯特地貌为主。贯穿海岛的是巨大火山岩山体-察腊塔纳山，其主峰马鲁穆库特鲁山（Maromokotro）海拔2,876米，是全国最高峰。马达加斯加自然景观垂直地带性分异显著，是热带雨林和热带草原广布的地区。岛上大约有20多万种动植物，其中包括马达加斯加特有物种狐猴（Lemur catta）、马达加斯加国树猴面包树（Adansonia digitata L.）等。
国家对地观测科学数据中心 收录