HABIT

HABIT是由慕尼黑应用科学大学智能车辆实验室构建的高精度自动驾驶仿真基准，集成了真实世界行人运动数据以提升交互场景的真实性。该数据集包含4,730条经过语义筛选的交通兼容行人运动序列，源自3万条原始动作捕捉与视频数据，通过标准化SMPL格式确保物理一致性。其创建过程采用模块化运动重建流水线，将异构运动源转化为平滑轨迹并集成至CARLA仿真环境。该数据集主要应用于自动驾驶系统的感知、预测与规划能力评估，旨在解决传统仿真中行人行为多样性不足导致的系统泛化能力缺陷问题。HABIT is a high-precision autonomous driving simulation benchmark constructed by the Intelligent Vehicles Lab of Munich University of Applied Sciences, which integrates real-world pedestrian motion data to enhance the realism of interactive driving scenarios. This dataset contains 4,730 semantically curated traffic-compatible pedestrian motion sequences derived from 30,000 raw motion capture and video datasets, with physical consistency ensured via the standardized SMPL format. Its development adopts a modular motion reconstruction pipeline that converts heterogeneous motion sources into smooth trajectories and integrates them into the CARLA simulation environment. This dataset is primarily applied to evaluate the perception, prediction and planning capabilities of autonomous driving systems, aiming to address the limitations of system generalization caused by insufficient pedestrian behavioral diversity in traditional simulation scenarios.

原始信息汇总

HABIT: Human Action Benchmark for Interactive Traffic in CARLA

数据集概述

HABIT (Human Action Benchmark for Interactive Traffic) 是一个用于自动驾驶模拟的高保真基准测试数据集，旨在解决当前自动驾驶仿真中人类行为表示不足的问题。

核心特性

• 数据来源：整合来自动作捕捉(mocap)和视频的真实世界人体运动数据
• 集成平台：通过模块化、可扩展且物理一致的运动重定向管道集成到CARLA自动驾驶模拟器
• 数据规模：从约30,000个重定向运动中精选出4,730个交通兼容的行人运动
• 数据格式：采用SMPL格式标准化，确保物理一致的轨迹

技术特点

• 与CARLA Leaderboard无缝集成
• 支持自动场景生成和严格的智能体评估
• 提供安全评估指标：简化损伤量表(AIS)和误报制动率(FPBR)

评估结果

在三个最先进的自动驾驶智能体(InterFuser、TransFuser、BEVDriver)上的评估显示：

• 在CARLA Leaderboard上接近零碰撞/公里的智能体，在HABIT上表现显著下降
• 最高达到7.43次碰撞/公里
• AIS 3+级损伤风险达12.94%
• 高达33%的不必要制动情况

可用性

所有组件均已公开发布，支持可重复的、行人感知的AI研究。

出版信息

• 接受会议：WACV 2026
• 版本：预相机就绪版本
• arXiv ID：2511.19109v1
• 提交日期：2025年11月24日
• 学科分类：计算机视觉与模式识别(cs.CV)

搜集汇总

数据集介绍

构建方式

在自动驾驶仿真领域，HABIT数据集通过模块化运动重定向流程构建，整合了来自动作捕捉和视频数据的真实人类运动。从初始约30,000个运动片段中，经过语义过滤和视觉验证，精心筛选出4,730个交通兼容的行人运动序列。这些运动以SMPL格式标准化，通过轨迹重建算法确保物理一致性，最终无缝集成到CARLA仿真平台中，支持自动化场景生成。

特点

HABIT数据集的核心特点在于其高保真度的行人行为多样性，涵盖了行走、奔跑、站立及犹豫穿越等复杂动态。数据集包含4,730个语义标注的运动序列，通过自然语言处理聚类行为类别，并引入随机增强以丰富交互变化。其独特之处在于结合了简化损伤量表和误报制动率等安全指标，能够揭示传统仿真中隐藏的规划器弱点。

使用方法

该数据集与CARLA领导者板完全兼容，用户可通过预定义路线和天气条件生成交互式交通场景。每个场景配置30辆车辆和30名行人，其中20名具有行为多样性。评估时，系统自动记录碰撞频率、损伤风险及误报制动等指标，支持对感知、预测和规划模块的端到端测试。所有工具和运动数据均已公开，确保研究的可重复性和扩展性。

背景与挑战

背景概述

自动驾驶仿真系统长期面临人类行为建模不足的瓶颈，尤其在行人交互动态的语义多样性方面存在显著缺陷。2025年由慕尼黑应用科学大学智能车辆实验室研发的HABIT基准应运而生，该数据集通过融合动作捕捉与视频数据，构建了包含4730条交通场景行人运动序列的高保真仿真环境。其核心突破在于将真实世界人类运动通过模块化重定向流程集成至CARLA平台，解决了传统仿真中行人行为过于程式化的问题，为感知-预测-规划全链路评估提供了前所未有的行为真实性基础。

当前挑战

在领域问题层面，HABIT直面自动驾驶系统对行人意图预测的认知挑战。传统基准依赖线性运动假设，难以捕捉现实世界中犹豫横穿、违规通行等非线性行为模式，导致智能体在真实场景出现严重性能衰减。构建过程中需攻克异构运动数据融合的技术壁垒：从初始3万条原始动作中筛选交通兼容序列时，需通过自然语言处理与视觉验证双重过滤；运动重定向环节需协调SMPL模型与CARLA引擎间的坐标系差异、骨骼拓扑不一致等难题，确保物理轨迹的时空连贯性。

常用场景

经典使用场景

在自动驾驶系统评估领域，HABIT数据集通过整合真实世界人类运动数据，为感知-预测-规划全栈系统提供了高保真测试环境。该数据集将来自动作捕捉和视频源的4730个交通兼容行人运动序列融入CARLA仿真平台，构建了包含110条路线、12种天气条件的多样化交互场景。研究人员利用这一基准测试工具，能够系统评估自动驾驶代理在复杂行人动态下的决策能力，特别是在处理乱穿马路、非让行行为和犹豫穿越等真实交通情境时的表现。

实际应用

在工程实践层面，HABIT数据集为自动驾驶系统的安全验证提供了关键支撑。通过对InterFuser、TransFuser和BEVDriver等先进驾驶代理的评估，该数据集暴露了在实际部署中可能出现的严重安全隐患——这些在CARLA排行榜上实现零碰撞的模型，在HABIT测试中却表现出高达7.43次/公里的碰撞频率和12.94%的重伤风险。汽车制造商和科技公司可利用这一工具，在虚拟环境中提前发现系统对罕见行人行为的处理缺陷，显著降低实车测试的成本与风险。

衍生相关工作

基于HABIT数据集的开源特性，学术界已衍生出多项重要研究工作。其模块化运动重建管道为视频到仿真的人体运动迁移提供了技术基础，启发了后续的生成式行人行为建模方法。数据集引入的临床意义安全评估标准推动了自动驾驶安全度量体系的革新，促使研究者重新审视传统二元碰撞指标的局限性。此外，HABIT提供的规模化真实运动数据为具身智能和机器人交互研究创造了新的可能性，建立了仿真与现实世界之间的行为桥梁。