JEPA World Model Trajectories Dataset

该数据集包含从玩具环境中收集的随机轨迹，环境由一个位于两个房间之间的代理组成，房间之间有一堵墙，墙上有一个门。代理不能穿过边界墙或中间墙（除了通过门）。不同的轨迹可能有不同的墙和门位置。数据集包含250万帧的探索性轨迹。

This dataset contains random exploratory trajectories collected from a toy environment. In this environment, an agent is situated between two rooms separated by a wall with a doorway. The agent cannot cross the environment's boundary walls or the dividing wall between the two rooms, except through the doorway. The positions of the walls and doorways may vary across different trajectories. The dataset includes a total of 2.5 million frames of exploratory trajectories.

原始信息汇总

数据集概述

数据集内容

• 训练数据：

  • 状态数据：/scratch/DL24FA/train/states.npy
    • 形状：(num_trajectories, trajectory_length, 2, 64, 64)
    • 描述：包含两通道图像，第一通道表示代理，第二通道表示边界和墙壁。
  • 动作数据：/scratch/DL24FA/train/actions.npy
    • 形状：(num_trajectories, trajectory_length-1, 2)
    • 描述：每个动作是一个(delta x, delta y)向量，指定代理从先前全局位置的位移。

• 探测训练数据：

  • 路径：/scratch/DL24FA/probe_normal/train

• 探测验证数据：

  • 路径：/scratch/DL24FA/probe_normal/val
  • 路径：/scratch/DL24FA/probe_wall/val

数据集描述

• 环境：

  • 代理在一个由墙壁分隔的两个房间的玩具环境中移动。
  • 代理不能穿过边界墙或中间墙（除非通过门）。
  • 不同轨迹可能有不同的墙和门位置。

• 任务：

  • 在250万帧的探索轨迹数据集上训练JEPA架构。
  • 模型将被评估其在预测表示中捕捉代理真实(x, y)坐标的能力。

评估方法

• 探测评估：
  • 使用2层全连接网络从预测表示中提取代理的(y1, y2)坐标。
  • 评估脚本已实现，只需插入训练好的模型进行评估。
  • 评估包括两个已知的验证集和一个未发布的长期预测和未见过的布局的验证集。

竞赛标准

• 评估指标：

  1. probe_normal上的MSE误差（权重1）
  2. probe_wall上的MSE误差（权重1）
  3. 长期探测测试上的MSE误差（权重1）
  4. 域外墙探测测试上的MSE误差（权重1）
  5. 模型参数数量（权重0.25）

• 评分计算：

  • 每个团队的总体评分是5个指标的加权和。

搜集汇总

数据集介绍

构建方式

JEPA World Model Trajectories Dataset 的构建基于一个玩具环境，其中包含一个在两个房间之间移动的代理。数据集由250万帧的探索性轨迹组成，这些轨迹是从环境中随机收集的。每个轨迹包括观察和动作序列，形成一个完整的代理行为记录。观察数据以两通道图像的形式存储，第一通道表示代理，第二通道表示边界和墙壁。动作数据则以位置偏移向量的形式记录，指定了代理从先前位置的移动。通过这种方式，数据集不仅捕捉了代理的动态行为，还反映了环境布局的多样性。

特点

该数据集的主要特点在于其丰富的环境多样性和详细的轨迹记录。每个轨迹不仅包含了代理的位置和动作信息，还通过两通道图像详细描绘了环境布局，包括墙壁和门的位置变化。这种设计使得JEPA模型能够感知并区分不同的环境布局，从而提高其在复杂环境中的预测能力。此外，数据集的规模和多样性为训练复杂的自监督学习模型提供了坚实的基础。

使用方法

使用JEPA World Model Trajectories Dataset时，用户首先需要加载训练数据，包括状态和动作数据。状态数据存储在`/scratch/DL24FA/train/states.npy`中，动作数据存储在`/scratch/DL24FA/train/actions.npy`中。用户可以根据需要对数据进行预处理和增强。随后，用户需实现并训练JEPA架构，确保模型在表示空间中预测和目标之间的距离最小化，同时防止表示崩溃。训练完成后，用户可以通过运行`python main.py`进行模型评估，评估脚本将自动加载并测试模型在不同验证集上的表现。

背景与挑战

背景概述

JEPA World Model Trajectories Dataset是由CSCI-GA 2572课程的最终项目所创建，旨在训练一个基于Joint Embedding Prediction Architecture (JEPA)的世界模型。该数据集的核心研究问题是如何在自监督学习框架下，通过预测未来观测的表示来训练模型。数据集由LeCun (2022)提出的JEPA架构驱动，主要研究人员或机构为纽约大学（NYU）。该数据集包含250万帧的探索性轨迹，来源于一个简单的双房间环境，其中代理在两个房间之间移动。此数据集对自监督学习和世界模型研究领域具有重要影响，特别是在防止表示崩溃和提高模型对环境动态的理解方面。

当前挑战

JEPA World Model Trajectories Dataset在构建和应用过程中面临多项挑战。首先，数据集的构建涉及在一个简单的双房间环境中收集随机轨迹，这要求模型能够感知和区分不同的环境布局。其次，训练JEPA模型时，必须防止表示崩溃，这需要采用特定的正则化技术或对比样本。此外，模型评估不仅包括对正常轨迹的预测，还需测试其在面对墙壁和门时的表现，以及在长时预测和未见过的环境布局中的泛化能力。这些挑战要求研究者在模型设计和训练过程中进行创新和优化。

常用场景

经典使用场景

JEPA World Model Trajectories Dataset 的经典使用场景在于训练联合嵌入预测架构（JEPA），以预测玩具环境中代理的未来状态。具体而言，该数据集包含从两个房间环境中收集的代理轨迹，这些轨迹用于训练JEPA模型，使其能够预测代理在不同时间步的表示状态。通过这种方式，模型能够学习到环境布局的感知和区分能力，从而在未来的观测中做出准确的预测。

实际应用

在实际应用中，JEPA World Model Trajectories Dataset 可用于开发智能代理和机器人系统，这些系统需要在复杂环境中进行导航和决策。例如，在自动驾驶、机器人导航和虚拟现实等领域，该数据集可以用于训练模型，使其能够预测和适应不断变化的环境条件。此外，该数据集还可用于教育和研究，帮助学生和研究人员理解和实现先进的自监督学习技术。

衍生相关工作

基于 JEPA World Model Trajectories Dataset，许多相关工作得以展开，包括但不限于改进JEPA架构的算法、探索不同的正则化技术以防止表示崩溃、以及开发新的评估方法来衡量模型性能。例如，一些研究可能专注于提高模型在长时预测中的表现，而另一些则可能探索如何使模型更好地泛化到未见过的环境布局。这些工作不仅丰富了自监督学习的理论基础，还为实际应用提供了技术支持。