Learning to Drive (L2D)

Learning to Drive (L2D) 是由阿尔托大学计算机科学系创建的一个低成本真实世界强化学习基准。该数据集涉及一个简单可复制的实验设置，其中强化学习代理需要学习如何驾驶Donkey Car在三个微型赛道上行驶，仅使用单眼图像观测和车辆速度。数据集的创建过程包括详细的实验设置描述，确保了实验的可重复性。L2D数据集的应用领域主要集中在自主驾驶任务上，旨在通过强化学习算法解决从零开始学习驾驶的问题。

Learning to Drive (L2D) is a low-cost real-world reinforcement learning benchmark created by the Department of Computer Science at Aalto University. This dataset provides a simple and reproducible experimental setup, where reinforcement learning agents are required to learn to operate a Donkey Car on three miniature tracks using only monocular image observations and vehicle speed. The dataset creation process includes detailed descriptions of the experimental setup to ensure full experimental reproducibility. The L2D dataset is primarily focused on autonomous driving tasks, aiming to solve the problem of learning to drive from scratch via reinforcement learning algorithms.

搜集汇总

数据集介绍

构建方式

L2D基准测试基于一款名为Donkey car的开源自驾平台构建，该平台硬件成本约250美元，组装仅需两小时。研究团队对平台进行了扩展，集成了Intel RealSense T265追踪相机以实现精确速度估计，并加装额外电源以延长训练时间。实验围绕三条不同形状的微型赛道展开，每条赛道长度约7米。系统架构采用MQTT协议在Donkey car与GPU工作站之间进行通信，交替执行本地数据采集与远程模型训练。强化学习智能体仅依赖单目摄像头图像和车速观测，通过检测车辆驶离赛道这一离散事件来提供稀疏且含噪的奖励信号，从而学习驾驶策略。

特点

该数据集具有鲜明的真实世界挑战特征：高维图像观测需智能体直接从摄像头序列中学习控制；系统存在不可避免的随机延迟；车辆动力学因地面摩擦、电池电压和温度等因素呈现非平稳特性；策略推理必须满足实时性要求；且智能体需在有限样本下实现高效学习。实验设计包含三项递进任务：固定速度下的转向学习、跨赛道泛化能力评估以及速度与转向的联合高速控制。结果表明，Dreamer等模型基算法能在不到五分钟的交互内从零学会驾驶，甚至超越模仿学习和人类操作员的性能。

使用方法

使用者需首先购置Donkey car基础套件并组装，参照论文提供的赛道尺寸搭建训练环境。随后安装Intel RealSense T265和额外电源，并部署开源的软件管线。训练流程中，智能体以20Hz频率控制车辆，每回合从固定起点出发，完成三圈即视为成功。研究者可直接应用任意现有强化学习算法（如SAC+VAE或Dreamer），通过MQTT协议实现车端与工作站间的权重传输与数据回传。论文公开了完整的训练轨迹和代码库，确保实验可精确复现，并提供了Unity仿真器接口用于算法预测试。

背景与挑战

背景概述

强化学习算法在模拟环境中的显著进展亟需在真实世界任务中加以验证，然而现有物理基准平台往往成本高昂、难以复现。在此背景下，来自阿尔托大学的Ari Viitala、Rinu Boney、Yi Zhao、Alexander Ilin与Juho Kannala于2020年共同提出了Learning to Drive（L2D）数据集，旨在构建一个低成本、可重复的真实世界强化学习基准。该数据集基于开源Donkey car平台，硬件成本仅约250美元，组装耗时两小时，通过微型赛道与单目图像观测，要求智能体从稀疏且嘈杂的脱离轨道信号中学习驾驶策略。L2D的提出填补了真实世界强化学习标准化基准的空白，推动了样本高效、鲁棒算法在自主驾驶领域的实证研究，其开源管线使任意现有强化学习算法均可直接应用于该平台。

当前挑战

L2D数据集面临的挑战涵盖领域问题与构建过程两大层面。在领域问题层面，智能体需直接处理高维图像观测，应对真实系统中不可避免的观测、动作与奖励延迟，克服由表面摩擦、电池电压及温度引发的非平稳动力学特性，同时满足系统控制频率下的实时推理需求，并在有限的真实交互样本中实现数据高效学习。在构建过程层面，研究者需解决低功耗硬件下视觉惯性里程计与速度估计的精确性问题，设计PD控制器以维持变工况下的设定速度，并开发基于MQTT的轻量级通信协议以协调车载计算与远程训练，同时确保三款不同形状赛道的实验设置可精确复现。

常用场景

经典使用场景

在真实世界的强化学习研究中，L2D基准测试被广泛用于评估算法从高维图像观测中直接学习控制策略的能力。研究者利用Donkey小车平台，在微型赛道上部署强化学习智能体，使其仅依赖单目摄像头图像和速度信息，通过稀疏的脱离赛道惩罚信号进行自主学习。这一场景模拟了真实自动驾驶中从感知到决策的端到端学习流程，为验证样本效率、鲁棒性和控制精度提供了高度可控且低成本的实验环境。

衍生相关工作

围绕L2D基准衍生了一系列重要工作，包括将Dreamer模型基算法首次成功应用于真实世界任务，以及结合变分自编码器与软演员-评论家（SAC）的联合表示学习方法。这些研究不仅验证了在稀疏奖励下模型基算法相比无模型方法的样本效率优势，还催生了针对非平稳动力学的PD控制器集成方案。后续工作进一步拓展了多车交互、户外大场景导航等复杂任务，巩固了该基准在真实世界强化学习领域的基石地位。

数据集最近研究

最新研究方向

在真实世界强化学习领域，低成本、可复现的物理基准平台正成为连接仿真与实景应用的关键桥梁。L2D数据集以Donkey car微型赛车平台为核心，聚焦于从单目图像和速度观测中学习自主驾驶控制，其前沿研究方向紧密围绕样本效率、鲁棒性与高速控制能力展开。当前研究热点包括利用Dreamer等基于模型的强化学习算法，在稀疏且嘈杂的人类脱离信号作为奖励的条件下，实现五分钟内的快速学习，并超越模仿学习与人类操作员的驾驶性能。该数据集通过三种不同轨道的泛化任务和高速控制任务，系统评估了算法在真实世界中的延迟、非平稳动力学和实时推理挑战，其低成本（约250美元）和完全开源特性为广泛复现与扩展研究提供了坚实基础，推动了强化学习从仿真向真实物理系统迁移的标准化进程。

相关研究论文

• Learning to Drive (L2D) as a Low-Cost Benchmark for Real-World Reinforcement Learning

  阿尔托大学计算机科学系 · 2020年