SideSeeing Hospital Dataset

SideSeeing Hospital Dataset是由圣保罗大学、伊利诺伊大学芝加哥分校和麻省理工学院联合创建的多模态数据集，专注于评估医院周边的人行道环境。该数据集包含46个视频，覆盖12公里的路径，整合了从胸部安装的移动设备同步捕获的视频和传感器数据（如加速度计、陀螺仪、磁力计和GPS）。数据集的创建旨在通过多传感器和多源数据的同步收集，提供对城市环境特别是人行道可达性的深入分析，以支持城市专家进行详细的人行道可达性评估。

The SideSeeing Hospital Dataset is a multimodal dataset jointly created by the University of São Paulo, the University of Illinois Chicago, and the Massachusetts Institute of Technology, focusing on evaluating the pedestrian environment around hospitals. This dataset contains 46 videos covering a total path length of 12 kilometers, integrating video and sensor data (such as accelerometer, gyroscope, magnetometer, and GPS) synchronously captured from chest-worn mobile devices. The dataset was developed to enable in-depth analysis of urban environments, particularly pedestrian accessibility, through the synchronous collection of multi-sensor and multi-source data, thereby supporting urban experts in conducting detailed pedestrian accessibility assessments.

原始信息汇总

数据集概述

标题

SideSeeing Project – SideSeeing Project Website – Urban Informatics and Citizen Science

描述

SideSeeing Project 是一个专注于城市信息学和公民科学的网站。

搜集汇总

数据集介绍

构建方式

SideSeeing Hospital Dataset 旨在通过整合来自胸挂式移动设备的同步视频画面和传感器数据（加速度计、陀螺仪、磁力计和 GPS）来评估城市环境。数据集涵盖了在巴西和美国九家医院附近的步道，记录了用户行走的路径。数据集包括三个小时的内容，覆盖了 12 公里的距离，并包含 325,000 个视频帧及其相应的传感器数据。此外，还提出了一个由 68 个元素组成的分类法，用于识别步道场景。

特点

SideSeeing Hospital Dataset 是一个多模态数据集，它包含了同步视频画面和传感器数据，为评估步道的可访问性提供了详细的信息。数据集的特点是：1）数据集涵盖了在巴西和美国九家医院附近的步道，记录了用户行走的路径；2）数据集包括三个小时的内容，覆盖了 12 公里的距离，并包含 325,000 个视频帧及其相应的传感器数据；3）数据集还提出了一个由 68 个元素组成的分类法，用于识别步道场景。

使用方法

SideSeeing Hospital Dataset 可用于研究步道的可访问性，包括步道的表面材料类型、表面条件和周围元素等。数据集的使用方法包括：1）使用提供的 Python 库 “sideseeing-tools” 加载数据集；2）使用库中的函数进行数据预处理、可视化和分析；3）利用库中的方法提取数据片段，并自动处理视频和传感器的分割；4）根据需要调整库中的函数和参数，以满足特定的研究需求。

背景与挑战

背景概述

随着城市化进程的不断推进，城市公共空间，尤其是人行道的环境评估显得尤为重要。SideSeeing Hospital Dataset 是一个新型的多模态数据集，旨在通过集成来自胸挂式移动设备的同步视频和传感器数据（加速度计、陀螺仪、磁力计和 GPS）来评估城市环境。该数据集由来自巴西和美国九家医院附近的 sidewalks 的路径组成，覆盖了 12 公里的距离，并包括了 325,000 个视频帧和相应的传感器数据。该数据集还包括一个由 68 个元素组成的分类法，用于 sidewalk 场景的识别。SideSeeing 数据集和工具为城市专家提供了一个深入的 sidewalk 可访问性评估的套件。

当前挑战

SideSeeing Hospital Dataset 面临的挑战包括：1) 所解决的领域问题：当前缺乏描述城市公共空间的综合数据集，尤其是针对步行者。虽然一些数据集可能提供有关 sidewalks 可访问性、步行网络和 sidewalk 表面材料的信息，但缺乏细粒度、地面级数据来反映使用者的实际体验。2) 构建过程中的挑战：数据采集过程中需要确保同步视频和传感器数据的准确性，以及数据集的多样性和代表性。此外，构建一个适用于 sidewalk 场景的分类法也是一个挑战，需要考虑到 sidewalk 的不同特征，如路面类型、表面条件、障碍物、结构和相邻道路类型等。

常用场景

经典使用场景

SideSeeing Hospital Dataset是一个多模态数据集，其经典使用场景在于通过集成视频和传感器数据来评估城市步行道的可访问性。该数据集提供了同步的视频片段，这些片段是由佩戴在胸部的移动设备捕捉的，并辅以加速度计、陀螺仪、磁力计和GPS传感器数据。通过这些数据，研究者可以对步行道的表面材料、条件以及周围环境进行详细分析，从而评估不同环境下的可访问性。

衍生相关工作

SideSeeing Hospital Dataset的发布衍生了一系列相关工作，包括使用多模态数据评估城市环境的研究。该数据集为研究人员提供了宝贵的资源，以开发和应用计算机视觉模型来分析步行道的表面材料、条件和周围环境。此外，SideSeeing Hospital Dataset还促进了开发用于数据收集和分析的开源工具，如Android应用程序和Python库，这些工具为城市专家提供了进行深入的可访问性评估和创建自定义数据集的能力。

数据集最近研究

最新研究方向

SideSeeing Hospital Dataset 的最新研究方向集中在利用多模态数据深入分析城市人行道的可访问性。该数据集融合了来自胸挂式移动设备同步捕获的视频片段与传感器数据（加速度计、陀螺仪、磁力计和 GPS），为研究提供了丰富的数据基础。研究人员可以利用这一数据集来识别和分类人行道的表面类型和条件，以及评估不同环境下的可访问性。此外，SideSeeing 项目还提供了开源的 Android 应用程序和 Python 库，以支持数据的收集和分析。未来的研究方向包括扩展数据集至更多城市，研究步态分析，以及利用现有的计算机视觉模型开发分类器。

相关研究论文

• SideSeeing: A multimodal dataset and collection of tools for sidewalk assessment

  圣保罗大学（USP），伊利诺伊大学芝加哥分校（UIC），麻省理工学院（MIT） · 2024年