visnavdataset/lavn

LAVN数据集是一个用于视觉导航、代理地图、路径点、强化学习和对比学习的数据集。数据集包含虚拟环境和真实环境中的轨迹数据，虚拟环境的数据来自Gibson和Matterport，真实环境的数据来自校园场景。每个轨迹数据包括RGB图像、深度图像（仅虚拟环境）和元数据（存储在worker_graph.json文件中）。元数据包括图像路径、深度路径、位置、方向、点击点、动作等信息。数据集还制定了长期维护计划，包括数据标准检查、数据清理、定期更新、存储解决方案和数据备份等。

原始信息汇总

LAVN 数据集概述

数据集组织结构

文件结构

• src 文件夹：包含主要的地标标注脚本 makeData_virtual.py 和 makeData_real.py。
• Virtual 文件夹：存储模拟环境中的轨迹数据。
• Real 文件夹：存储真实世界中的轨迹数据。

每个轨迹的数据收集格式如下：

|--traj_<SCENE_ID> |--worker_graph.json |--rgb_<FRAME_ID>.jpg |--depth_<FRAME_ID>.jpg

其中 <SCENE_ID> 与原始场景 ID 完全匹配，图像保存为 .jpg 或 .png 格式。rgb 图像为主要视觉表示，而 depth 图像为虚拟环境中捕获的辅助视觉信息。

worker_graph.json 文件格式

该文件存储元数据，格式如下： json { "node<NODE_ID>": { "img_path": "./human_click_dataset/traj_<SCENE_ID>/rgb_<FRAME_ID>.jpg", "depth_path": "./human_click_dataset/traj_<SCENE_ID>/depth_<FRAME_ID>.png", "location": [<LOC_X>, <LOC_Y>, <LOC_Z>], "orientation": <ORIENT>, "click_point": [<COOR_X>, <COOR_Y>], "reason": "" }, ... "edges": ..., "goal_location": null, "start_location": [<LOC_X>, <LOC_Y>, <LOC_Z>], "landmarks": [[[<COOR_X>, <COOR_Y>], <FRAME_ID>], ...], "actions": ["ACTION_NAME", "turn_right", "move_forward", "turn_right", ...], "env_name": <SCENE_ID> }

其中，<LOC_X>, <LOC_Y>, <LOC_Z> 表示三轴位置向量，<ORIENT> 表示仅在模拟环境中的方向，<COOR_X>, <COOR_Y> 表示地标在图像中的坐标。

长期维护计划

• 数据标准：定期使用脚本检查数据格式，验证数据一致性。
• 数据清洗：移除格式错误、缺失数据或包含无效值的数据。
• 定期更新：每月安排数据更新。
• 存储解决方案：使用 Zenodo 提供 DOI 作为公共存储库，同时在私有云服务器和本地驱动器中备份。
• 数据备份：一旦检测到上述存储方式中的任一备份不可访问，将立即从其他两个备份中恢复。
• 文档：定期更新文档，反映用户反馈。

搜集汇总

背景与挑战

背景概述

LAVN数据集是一个用于视觉导航、代理地图、路径点、强化学习和对比学习的数据集，包含虚拟和真实环境中的轨迹数据，提供RGB图像、深度图像和元数据。数据集还制定了长期维护计划，确保数据的持续更新和可靠性。