ACT-Bench

github2024-12-23 更新2024-12-27 收录

自动驾驶

世界模型

数据链接：

https://github.com/turingmotors/ACT-Bench 数据链接链接失效反馈

官方服务：

资源简介：

ACT-Bench是一个专门用于定量评估自动驾驶世界模型动作可控性的框架。它专注于测量世界模型在指定轨迹条件下生成驾驶场景的能力。

ACT-Bench is a framework dedicated to the quantitative evaluation of action controllability for autonomous driving world models. It focuses on measuring the capability of such models to generate driving scenarios under specified trajectory conditions.

创建时间：

2024-12-05

原始信息汇总

ACT-Bench 数据集概述

数据集简介

ACT-Bench 是一个专门用于定量评估自动驾驶世界模型动作可控性的框架。其核心目标是测量世界模型在给定轨迹条件下生成驾驶场景的能力。

数据集内容

数据集样本数量: 2286
数据集格式: 视频文件（MP4）
数据集存储位置: generated_videos/<your_model_name>/NUSCENES_ACTION_*.mp4

数据集使用

1. 生成视频

步骤: 使用世界模型在基准数据集上生成视频。
注意事项: instruction_trajs 可能需要根据特定世界模型的输入格式进行调整。
示例: 参考 Terra/generate.py 中的 prepare_action() 函数。

2. 计算评分

工具: ACT-Estimator
命令: bash python run_benchmark.py --input_dir generated_videos/<your_model_name> --output_dir results/<your_model_name>
脚本示例: python from act_bench import ActBenchConfig, compute_score

config = ActBenchConfig( input_dir="generated_videos/<your_model_name>", output_dir="results/<your_model_name>", ) results = compute_score(config) print(f"Accuracy: {results.accuracy*100:.2f}%") print(f"Mean ADE: {results.ade:.4f}, Mean FDE: {results.fde:.4f}")

论文结果复现

下载生成视频: bash python download_generated_videos.py
计算评分: bash

For Terra

./scripts/compute_score_terra_paper.sh

For Vista

./scripts/compute_score_vista_paper.sh

For Terra v2

./scripts/compute_score_terra_v2.sh
Notebook 示例: compute_score.ipynb

引用

如果论文或代码对您的研究有帮助，请考虑引用： bibtex @misc{arai2024actbench, title={ACT-Bench: Towards Action Controllable World Models for Autonomous Driving}, author={Hidehisa Arai and Keishi Ishihara and Tsubasa Takahashi and Yu Yamaguchi}, year={2024}, eprint={2412.05337}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2412.05337}, }

搜集汇总

数据集介绍

构建方式

ACT-Bench作为一个专注于自动驾驶领域的世界模型动作可控性评估框架，其构建过程基于对指定轨迹条件下生成驾驶场景的能力进行量化分析。该数据集通过收集和处理大量自动驾驶场景数据，结合特定轨迹指令，生成了包含2286个样本的基准数据集。数据集的构建不仅考虑了场景的多样性，还确保了轨迹指令与生成场景之间的高度匹配，从而为世界模型的评估提供了坚实的基础。

使用方法

使用ACT-Bench数据集进行世界模型评估的过程分为两个主要步骤：首先，用户需要根据数据集中的轨迹指令生成相应的驾驶场景视频，并将这些视频放置在指定目录下。随后，通过运行提供的脚本或编写自定义代码，调用ACT-Estimator工具对生成的视频进行评分。评分结果将包括准确率、ADE和FDE等关键指标，帮助用户全面了解世界模型的性能。此外，数据集还提供了复现论文中结果的详细指南和示例代码，方便用户进行对比和验证。

背景与挑战

背景概述

ACT-Bench是由Turing Motors团队于2024年推出的一个专门用于定量评估自动驾驶世界模型动作可控性的框架。该数据集的核心研究问题在于衡量世界模型在给定轨迹条件下生成驾驶场景的能力。ACT-Bench的创建旨在为自动驾驶领域的研究人员提供一个标准化的评估工具，以促进世界模型在动作可控性方面的改进。该数据集通过生成视频并计算相关评分，为自动驾驶系统的开发与优化提供了重要的参考依据。ACT-Bench的发布不仅填补了该领域在定量评估方面的空白，还为后续研究奠定了坚实的基础。

当前挑战

ACT-Bench在解决自动驾驶世界模型动作可控性评估问题时，面临多重挑战。首先，如何准确量化世界模型在生成驾驶场景时的可控性，是一个复杂的技术难题。其次，构建过程中需要确保数据集中的轨迹指令与不同世界模型的输入格式兼容，这对数据预处理提出了较高要求。此外，生成视频的质量和一致性对评估结果的准确性至关重要，这要求数据集在构建过程中严格把控数据生成流程。最后，如何在评估过程中平衡计算效率与评估精度，也是ACT-Bench在实际应用中需要克服的挑战。

常用场景

经典使用场景

ACT-Bench数据集在自动驾驶领域的世界模型评估中具有重要应用。通过生成指定轨迹条件下的驾驶场景，该数据集能够量化评估世界模型的动作可控性。研究人员可以利用ACT-Bench生成视频并计算得分，从而比较不同模型在生成驾驶场景时的表现。这一过程不仅为模型优化提供了数据支持，还为自动驾驶技术的进一步发展奠定了基础。

解决学术问题

ACT-Bench数据集解决了自动驾驶领域中世界模型动作可控性评估的难题。传统方法难以量化模型在生成驾驶场景时的表现，而ACT-Bench通过提供标准化的评估框架，使得研究人员能够准确测量模型的准确性、平均位移误差（ADE）和最终位移误差（FDE）。这一数据集的出现填补了学术研究中的空白，为自动驾驶技术的理论研究和实践应用提供了重要工具。

实际应用

在实际应用中，ACT-Bench数据集被广泛用于自动驾驶系统的开发和测试。通过生成和评估驾驶场景视频，工程师能够优化世界模型的性能，从而提高自动驾驶车辆的安全性和可靠性。此外，该数据集还可用于模拟不同驾驶条件下的场景，帮助研究人员预测和解决潜在问题，为自动驾驶技术的商业化应用提供了有力支持。

数据集最近研究