2D和3D移动目标选择数据集

本论文提出了一种名为MAGNeT的框架，用于解决复杂场景下的移动目标选择问题。该框架通过融合多种模态的环境数据，实现了在少量训练数据下进行有效的模型适应。MAGNeT利用用户画像、传感器数据和选择任务的环境信息，使用高斯混合模型结合先验模型，并应用自适应学习机制调整每个场景的专家模型参数。本论文还构建了用于移动目标选择的数据集，并展示了该框架在动态调整权重以减少错误方面的强大能力。

This paper proposes a framework named MAGNeT to address the moving target selection problem in complex scenarios. This framework achieves effective model adaptation with limited training data by fusing multi-modal environmental data. MAGNeT leverages user profiles, sensor data, and environmental information for the selection task, combines the Gaussian Mixture Model (GMM) with a prior model, and applies an adaptive learning mechanism to adjust the parameters of expert models for each scenario. This paper also constructs a dataset for moving target selection, and demonstrates the strong capability of the framework in dynamically adjusting weights to reduce errors.

搜集汇总

数据集介绍

构建方式

在多媒体交互系统中，移动目标选择任务常面临环境振动等复杂因素带来的挑战。为深入探究该场景下用户意图推断问题，研究团队在真实车辆的封闭环路中开展了系统性数据采集。实验招募了10名右利手参与者（平均年龄23.4岁），通过在乘客侧平台部署惯性传感器实时记录三轴加速度与振动数据，同时使用平板电脑（2D场景）和头戴式显示器（3D场景）呈现交互任务。2D数据集涵盖了4种目标尺寸、4种运动速度与2种交互姿态（设备固定与手持）的交叉组合，每位参与者在每种条件下完成12次重复试验，共获得3840个样本。3D数据集则包含4种目标尺寸与4种运动速度的全因子设计，每位参与者重复6次，总计960个样本。所有交互过程中，系统精确记录了用户的触控或空间指向坐标，无论是否成功命中目标。

特点

该数据集具有鲜明的跨模态与环境敏感性特征。首先，数据采集于真实车载振动环境，涵盖了路面颠簸、弯道等多样化驾驶情境，通过加权均方根加速度（RMSA）量化振动强度，为构建振动相关的交互行为模型提供了基础。其次，2D数据集创新性地引入了两种交互姿态——平板固定与手持，使得数据集能够反映不同身体稳定性下的操作差异。此外，数据集中同步记录了用户特征（年龄、性别、姿态）与环境传感器数据（加速度与振动），为多模态上下文感知提供了丰富的输入来源。值得注意的是，通过K-means聚类分析，数据集可依据RMSA划分为高、低振动子集，这一内在结构使得研究者能够评估模型在不同扰动强度下的鲁棒性，成为验证自适应融合机制的关键基准。

使用方法

该数据集适用于训练与评估基于多模态高斯网络（如MAGNeT）的移动目标选择意图推断模型。使用时，首先将数据划分为测试集（2D：1536样本，3D：384样本）、验证集（2D：384样本，3D：96样本）及训练集，其中训练样本需根据目标条件（尺寸×速度）进行分层抽样以确保分布均衡。研究者可基于数据集中的用户特征、振动加速度序列及目标属性信息，构建上下文感知的专家模型融合权重。借助少样本学习范式，通过在每种目标条件下仅取1至10个样本即可完成模型自适应。模型输出结果为每个候选目标的预测概率，进而通过排序策略（如Top-1或Top-2）推断用户意图，错误率指标（如E@1、E@2）可作为模型性能的评估标准。

背景与挑战

背景概述

该数据集由山东大学与中国科学院软件研究所的研究团队于2025年创建，主要研究人员包括Xiangxian Li、Yawen Zheng等人。其核心研究问题聚焦于复杂场景下（如车载振动环境）2D与3D移动目标选择中的用户意图推断。随着人机交互向沉浸式多媒体系统演进，用户在动态环境（如车内直播交互、VR游戏）中操作移动目标的挑战日益凸显。传统概率模型虽能关联端点分布与目标属性，但依赖大量场景特定数据且缺乏跨情境迁移能力。该数据集通过采集真实车辆行驶中的振动、加速度等多模态环境数据，结合目标尺寸、速度及交互手势等变量，构建了3840个2D样本与960个3D样本的标注数据集，为少样本情境下的自适应移动目标选择研究提供了关键基准，推动了人机交互中多模态融合意图推断技术的发展。

当前挑战

该数据集所解决的领域核心挑战在于复杂动态交互环境中移动目标选择的高错误率问题。传统边界法依赖物理碰撞检测，在高振动场景下错误率高达80%以上，而距离法虽有所改善但难以应对多因素耦合的意图模糊性。现有三元高斯模型虽能建模端点分布，却需大量样本拟合且无法跨场景泛化。在数据集构建过程中，挑战尤为显著：首先，多因素条件的交叉组合（4种尺寸×4种速度×2种手势）导致试验设计维度爆炸；其次，真实车载环境的路面振动、加速度等噪声干扰难以控制，需通过严格的闭环路线设计与多传感器同步采集以确保数据质量；此外，3D场景中深度变化与空间指向的耦合进一步增加了标注复杂度。这些挑战使该数据集成为评估少样本自适应模型的关键测试床。

常用场景

经典使用场景

在多媒体交互与人机界面研究领域，移动目标选择是一项基础而挑战性的任务，尤其当用户处于车载振动、行走握持等复杂动态场景时。该数据集系统采集了2D触控屏和3D虚拟现实环境下的移动目标选择行为数据，涵盖了多种目标尺寸、运动速度以及交互姿态（如平板固定与手持）的组合。经典使用场景包括：利用该数据集训练和评估意图推断模型，以从用户触摸或指向的端点分布中准确识别其真正想要选中的目标，从而克服因环境扰动和运动噪声导致的误操作。

衍生相关工作

该数据集直接衍生并支撑了MAGNeT（多模态自适应高斯网络）这一经典工作的提出与验证，其核心思想是通过门控网络动态融合多个预训练的三元高斯专家模型，并结合时序注意力机制处理环境传感器信号。此外，该数据集还为后续研究提供了基准，催生了关于少样本交互适配、跨情境专家知识迁移、以及混合高斯模型在动态人机系统中的在线学习等一系列探索，推动了从静态建模向动态、个性化工效学模型的转变。

数据集最近研究

最新研究方向

在移动目标选择领域，该2D和3D移动目标选择数据集的最新研究聚焦于如何借助多模态上下文信息与少样本学习范式，突破传统概率模型在复杂场景下泛化能力不足的瓶颈。研究者提出了MAGNeT框架，通过在车载振动、移动手持等真实动态环境下采集的包含用户特征与传感器信号的丰富数据，融合三元高斯专家模型与自适应权重调整机制，实现了在仅需少量样本的情况下显著降低选择误差。这一方向不仅推动了人机交互中意图推理的鲁棒性与环境适应性的前沿探索，也为智能界面在多媒体交互、车载娱乐系统及虚拟现实等热点应用中的高效用户意图识别提供了坚实的理论与实证基础，具有重要的学术价值与广泛的应用前景。

相关研究论文

• 通过

  山东大学威海分校 · 2025年