CLEVR-Building-blocks

CLEVR-Building-blocks数据集是基于CLEVR环境构建的。对于每个视频，数据生成器使用4-6个随机定位和视觉上不同的对象初始化场景。对象的形状，颜色和材料总共有32种组合，并且每种组合的最多一个实例允许出现在视频序列中。代理可以对对象OA和OB执行以下8个动作之一: 拾取OA，横向/纵向拾取并旋转OA，将OA放在OB上，将OA放在OB的左侧/右侧，将OA放在OB的前面/后面。每个训练样本都包含一个视频，其中包含三个连续的Pickand Put- action对以及每个帧的一系列语义动作标签。

搜集汇总

背景与挑战

背景概述

CLEVR-Building-blocks数据集基于CLEVR环境构建，每个视频包含4-6个具有32种视觉组合的随机对象，并支持8种拾取和放置动作，同时提供视频序列和语义动作标签。该数据集由英伟达、多伦多大学和矢量人工智能研究所于2022年发布。