JTA Dataset

JTA（联合轨迹自动）是一个大型数据集，用于城市场景中的行人姿态估计和跟踪，通过利用高度逼真的视频游戏《侠盗猎车手V》创建。该数据集收集了512个全高清视频（256个用于训练，256个用于测试），每个视频30秒长，以30帧/秒录制。

The JTA (Joint Track Auto) is a large-scale dataset designed for pedestrian pose estimation and tracking in urban scenarios, created by leveraging the highly realistic video game 'Grand Theft Auto V'. This dataset comprises 512 full HD videos (256 for training and 256 for testing), each 30 seconds long, recorded at 30 frames per second.

原始信息汇总

JTA Dataset 概述

数据集描述

• 名称: JTA (Joint Track Auto)
• 用途: 行人姿态估计和跟踪
• 场景: 城市环境
• 来源: 利用视频游戏《Grand Theft Auto V》创建
• 视频数量: 512个全高清视频（256个用于训练，256个用于测试）
• 视频长度: 30秒
• 帧率: 30 fps

数据集内容

• 目录结构:
  • annotations: 包含训练、测试和验证的标注文件
    • annotations/train: 256个JSON文件
    • annotations/test: 128个JSON文件
    • annotations/val: 128个JSON文件
  • videos: 包含训练、测试和验证的视频文件
    • videos/train: 256个MP4视频文件
    • videos/test: 128个MP4视频文件
    • videos/val: 128个MP4视频文件
  • to_imgs.py: 视频转图片脚本
  • to_poses.py: 序列标注转帧标注脚本
  • visualize.py: 标注可视化脚本
  • coco_style_convert.py: 标注格式转换为COCO格式脚本
  • posetrack_style_convert.py: 标注格式转换为PoseTrack18格式脚本
  • joint.py 和 pose.py: 支持脚本

标注格式

• 文件结构: JSON格式，包含N行10列的矩阵
• 数据字段:
  • frame number: 帧号
  • person ID: 人物唯一标识
  • joint type: 关节类型
  • x2D, y2D: 2D坐标
  • x3D, y3D, z3D: 3D坐标
  • occluded: 是否被遮挡
  • self-occluded: 是否自遮挡

摄像头参数

• 内参矩阵: [ K = egin{pmatrix} 1158 & 0 & 960 \ 0 & 1158 & 540 \ 0 & 0 & 1 end{pmatrix} ]

关节类型

• 标识与名称:
  • 0: head_top
  • 1: head_center
  • 2: neck
  • 3: right_clavicle
  • 4: right_shoulder
  • 5: right_elbow
  • 6: right_wrist
  • 7: left_clavicle
  • 8: left_shoulder
  • 9: left_elbow
  • 10: left_wrist
  • 11: spine0
  • 12: spine1
  • 13: spine2
  • 14: spine3
  • 15: spine4
  • 16: right_hip
  • 17: right_knee
  • 18: right_ankle
  • 19: left_hip
  • 20: left_knee
  • 21: left_ankle

使用许可

• 许可类型: Creative Commons Attribution-NonCommercial 4.0 International License

搜集汇总

数据集介绍

构建方式

JTA数据集通过利用高度逼真的视频游戏《侠盗猎车手V》构建，旨在为城市场景中的行人姿态估计和跟踪提供丰富的数据资源。该数据集收集了512段全高清视频，每段视频时长30秒，帧率为30帧/秒，分为256段训练视频和256段测试视频。数据集的创建借助了特定的工具，确保了数据的高质量和一致性。

特点

JTA数据集的显著特点在于其高度的真实感和多样性，这得益于《侠盗猎车手V》游戏的高度逼真环境。数据集包含了详细的标注信息，包括每帧中行人的2D和3D坐标、关节类型、遮挡状态等，为研究提供了丰富的数据支持。此外，数据集提供了多种格式的转换工具，便于研究人员根据需求进行数据处理和分析。

使用方法

使用JTA数据集时，用户可以通过提供的Python脚本将视频转换为图像帧，或将标注信息转换为不同的格式，如COCO或PoseTrack格式。数据集的标注信息以JSON文件形式提供，用户可以通过简单的脚本读取和处理这些信息。此外，数据集还提供了可视化工具，帮助用户直观地查看标注结果。

背景与挑战

背景概述

JTA数据集（Joint Track Auto）是一个用于城市场景下行人姿态估计和跟踪的大型数据集，由高度逼真的视频游戏《侠盗猎车手V》生成。该数据集由意大利Modena大学的AImageLab创建，包含512个全高清视频，每个视频时长30秒，帧率为30fps，分为训练集和测试集各256个视频。JTA数据集的核心研究问题在于利用虚拟环境中的数据来提升行人姿态估计和跟踪的准确性，这对于增强现实、智能监控等领域具有重要意义。

当前挑战

JTA数据集在构建过程中面临多项挑战。首先，从虚拟环境中提取高质量的行人姿态数据需要复杂的工具和方法。其次，数据集的标注过程涉及2D和3D坐标的精确映射，以及遮挡情况的识别，这些都需要高度精确的算法支持。此外，数据集的规模和多样性要求高效的存储和处理技术。最后，将JTA数据集的标注格式转换为COCO或PoseTrack等标准格式，以便于与其他研究成果进行比较和整合，也是一个重要的技术挑战。

常用场景

经典使用场景

JTA数据集在行人姿态估计和跟踪领域中具有经典的使用场景。该数据集通过高度逼真的视频游戏《侠盗猎车手V》生成，提供了512个全高清视频，每个视频时长30秒，帧率为30fps。这些视频被分为训练集、测试集和验证集，分别包含256、128和128个视频。研究人员可以利用这些视频及其详细的标注信息，进行行人姿态估计和跟踪算法的研究与开发。

解决学术问题

JTA数据集解决了行人姿态估计和跟踪中的多个学术研究问题。首先，它提供了丰富的标注信息，包括2D和3D坐标、关节类型、遮挡状态等，有助于研究遮挡情况下的姿态估计。其次，通过模拟城市环境，该数据集为研究复杂场景下的行人跟踪提供了宝贵的资源。这些研究不仅推动了计算机视觉领域的发展，还为实际应用提供了理论支持。

衍生相关工作

JTA数据集的发布催生了一系列相关研究工作。例如，研究人员基于该数据集开发了多种行人姿态估计和跟踪算法，并在多个国际会议上发表了相关论文。此外，该数据集还被用于训练和评估深度学习模型，推动了计算机视觉领域的发展。这些衍生工作不仅丰富了学术研究，也为实际应用提供了技术支持。