HongxinLi/MOTIF-EVAL

该数据集主要包含图像和与图像相关的元数据，特征包括图像、图像ID、带有边界框的图像、用户界面中的负对象类型ID、负对象是否可点击、负对象的边界框、负对象的字符串描述、正对象的屏幕边界框、正对象的视图边界框、正对象类型、正对象的输入字符串、正对象的描述字符串、动作字符串、动作、指令、跟踪ID、目标、应用程序、屏幕宽度、屏幕高度、虚拟高度宽度、虚拟高度高度、缩放比例X和缩放比例Y。数据集分为两个部分：test_au_tu和train_au_tu，分别包含1344和10900个示例。

原始信息汇总

数据集概述

数据集信息

特征

• image: 图像数据
• image_id: 图像ID，字符串类型
• image_w_bbox: 带边界框的图像数据
• ui_neg_objs_type_id: 负样本对象类型ID，整数序列
• ui_neg_objs_clickable: 负样本对象可点击性，整数序列
• ui_neg_objs_bbox: 负样本对象边界框，浮点数序列的序列
• ui_neg_objs_str: 负样本对象字符串，字符串序列
• ui_pos_obj_screen_bbox: 正样本对象屏幕边界框，浮点数序列
• ui_pos_obj_view_bbox: 正样本对象视图边界框，整数序列
• ui_pos_obj_type: 正样本对象类型，整数类型
• ui_pos_obj_input_str: 正样本对象输入字符串，字符串类型
• ui_pos_obj_desc_str: 正样本对象描述字符串，字符串类型
• verb_str: 动词字符串，字符串类型
• action: 动作，字符串类型
• instr: 指令，字符串类型
• trace_id: 跟踪ID，字符串类型
• goal: 目标，字符串类型
• app: 应用程序，字符串类型
• screen_w: 屏幕宽度，整数类型
• screen_h: 屏幕高度，整数类型
• vh_w: 视图宽度，整数类型
• vh_h: 视图高度，整数类型
• scale_x: X轴缩放比例，浮点数类型
• scale_y: Y轴缩放比例，浮点数类型

数据集分割

• test_au_tu: 测试集，包含1344个样本，大小为1345252564.0字节
• train_au_tu: 训练集，包含10900个样本，大小为10639726851.0字节

数据集大小

• 下载大小: 11297398729字节
• 数据集总大小: 11984979415.0字节

配置

• default: 默认配置
  • test_au_tu: 测试集路径为data/test_au_tu-*
  • train_au_tu: 训练集路径为data/train_au_tu-*

搜集汇总

背景与挑战

背景概述

MOTIF-EVAL是一个包含图像和文本的多模态数据集，主要用于评估任务，包含12,244行数据，涵盖用户界面交互的多种操作和描述。