Datatset-of-Grasp-and-Contact-Patterns-Across-Mobile-Interactions

该数据集包含23名参与者的1032张热图像和绘制的接触图，涉及智能手机的五个侧面（背面、左侧、右侧、顶部、底部）和9种交互任务（+1种照片变体）：滚动、打字、通话、游戏、视频、地图、音量、横向照片、纵向照片、自拍。热图像用于捕捉抓握过程中传递的热量残留，并通过Segment Anything Model 2自动分割，手动标记手指和手掌。

This dataset contains 1032 thermal images and hand-drawn contact maps from 23 participants, covering five sides of smartphones (back, left, right, top, bottom) and 10 interaction tasks (+1 photo variant): scrolling, typing, calling, gaming, video playback, map navigation, volume adjustment, horizontal photo shooting, vertical photo shooting, and selfie shooting. These thermal images are used to capture residual heat transferred during gripping processes, and are automatically segmented via the Segment Anything Model 2, with fingers and palm regions manually annotated.

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称：Datatset-of-Grasp-and-Contact-Patterns-Across-Mobile-Interactions
• 数据规模：包含1032张热成像图像及绘制的接触地图。
• 参与者：23名参与者（ID 1-24，其中ID 3因记录错误被排除）。
• 设备侧面：智能手机的5个侧面（背面、左侧、右侧、顶部、底部）。
• 交互任务：9种交互任务（+1种照片变体），包括滚动、打字、通话、游戏、视频、地图、音量、横向拍照、纵向拍照、自拍。

数据集内容与结构

数据集主要包含热成像图像和基于注释生成的接触地图。

核心文件

• AnnotationsOfThermalImages.csv：包含所有注释，格式为“CVAT for images 1.1”。
• Figure3_FractionOfParticipantsBySideByInteraction.xlsx：统计文件。

文件夹结构

Supplementary_Material/ ├── AnnotationsOfThermalImages.csv ├── Figure3_FractionOfParticipantsBySideByInteraction.xlsx ├── README.txt ├── ContactMaps/ │ ├── byInteraction/ # 按交互任务聚合的手部放置频率图（按手机侧面分开） │ ├── byInteraction_Combined/ # 按交互任务聚合的手部放置频率图（手机侧面组合视图） │ ├── byParticipant/ # 按参与者显示的手部接触掩膜（按手机侧面分开） │ └── byParticipant_Combined/ # 按参与者显示的接触地图（手机侧面组合视图） └── Thermal_Images/ └── Thermal_Images_byParticipant_Combined/ # 参与者手部放置的热成像组合视图

数据说明

• 热成像图像：记录了参与者在执行不同手机交互后，手部抓握留在手机5个侧面的热残留。图像已使用CVAT进行注释，标注了双手的手掌和各个手指（拇指、食指、中指、无名指、小指）。
• 接触地图：展示了不同交互任务下参与者的手部放置情况。左手接触用粉色表示，右手接触用蓝色表示。同一颜色范围内饱和度递增以区分不同手指，最深色调代表手掌。
• 数据缺失说明：数据收集中遗漏了三个手机侧面（预期1035张图像），但通过对应的抓握照片视觉检查确认这些表面没有发生手指接触。具体为：
  • 10_Photo_top - 无接触
  • 18_Calling_bottom - 无接触
  • 19_Scrolling_bottom - 无接触

数据创建与处理流程

1. 在参与者执行9种不同的手机交互后，立即拍摄智能手机5个侧面的热成像图像，以捕捉抓握过程中传递的热残留。
2. 使用Segment Anything Model 2自动分割热成像图像，以检测热手印及其接触区域。
3. 使用CVAT手动细化掩膜，并通过参考抓握照片，按手指和手掌进行标注。
4. 生成的注释用于创建ContactMaps文件夹中的图表。

建议工作流程

使用AnnotationsOfThermalImages.csv中的注释进行新的分析和绘图。

统计分析环境

统计分析最后在以下环境中测试：

1. RStudio 2026.01.0
2. R版本 4.5.2
3. Rtools45

引用信息

如果使用本数据集，请引用以下论文： Carolin Stellmacher, Leon Tristan Dratzidis, André Zenner, Iddo Yehoshua Wald, Johannes Schöning, Yvonne Rogers, Donald Degraen, and Mark Colley. 2026. Understanding How Mobile Interactions Shape Grasp and Contact Patterns Beyond the Touchscreen. In Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI ’26), April 13–17, 2026, Barcelona, Spain. ACM, New York, NY, USA, 20 pages. https://doi.org/10.1145/3772318.3790565

BibTeX条目详见数据集README文件。

搜集汇总

数据集介绍

构建方式

在移动交互研究领域，为深入理解用户握持手机时的手部接触模式，该数据集通过热成像技术系统性地采集了手部接触痕迹。研究团队招募了23名参与者，在完成滚动、打字、通话、游戏等九种典型交互任务后，立即对智能手机的背面、左侧、右侧、顶部及底部五个侧面进行热成像拍摄，共获取1032幅热图像。随后，利用Segment Anything Model 2（SAM 2）对热图像中的手部热残留区域进行自动分割，初步识别接触区域。为确保标注精度，研究人员进一步借助CVAT工具，结合握持姿势的参考照片，对自动分割产生的掩码进行了细致的人工修正与标注，区分了手掌及各手指的具体接触位置，最终生成了结构化的标注文件。

特点

该数据集的核心特点在于其多维度、精细化的手部接触表征。数据覆盖了智能手机五个不同侧面的接触信息，超越了传统研究仅关注触摸屏的局限，全面揭示了用户在多样化交互任务中复杂的握持行为。数据集不仅提供了原始的热成像图像，还包含了经过人工精校的、按手指与手掌部位划分的详细接触标注，并以标准化的CVAT格式存储，便于后续分析。此外，数据集附带了按参与者个体和按交互任务聚合绘制的接触热力图，这些可视化图表以不同色彩与饱和度直观展示了左右手及各手指的接触频率与分布模式，为量化分析与模式识别提供了直观依据。

使用方法

研究者可利用数据集提供的核心标注文件‘AnnotationsOfThermalImages.csv’展开深入分析。该文件遵循CVAT for images 1.1格式标准，包含了所有热图像中手部接触区域的详细坐标与类别信息，支持直接导入相关计算机视觉或数据分析工具进行二次处理。用户可基于此标注数据，复现或扩展原研究中的统计分析，例如训练机器学习模型以预测交互任务或识别握持模式。同时，数据集附带的预生成接触热力图（存放于ContactMaps文件夹）可作为基准参考或用于结果可视化。按照README文件的指引，建议使用R语言及相关环境（如RStudio 2026.01.0, R version 4.5.2）进行统计分析，以确保与原始研究环境的一致性。

背景与挑战

背景概述

在移动人机交互领域，理解用户如何握持和接触智能手机是优化设备设计与交互体验的关键。由德国不来梅大学、萨尔兰大学、伦敦大学学院等机构的研究人员于2026年共同创建的“移动交互中的握持与接触模式数据集”，旨在系统探究超越触摸屏的握持行为。该数据集通过热成像技术捕捉了23名参与者在执行滚动、打字、通话等九种交互任务后，于手机五个侧面留下的热残留印记，并利用Segment Anything Model 2进行自动分割与人工标注，生成了1032幅热图像及接触图谱。其核心研究问题聚焦于不同移动交互如何塑造用户的手部接触空间分布，为未来智能手机的形态设计、交互优化及可访问性研究提供了实证基础，对推动人机交互领域的精细化认知具有显著影响力。

当前挑战

该数据集致力于解决移动交互中握持与接触模式识别这一复杂问题，其挑战在于如何准确捕捉并量化用户手部在非触摸屏区域的动态接触行为。由于握持姿态随任务情境高度变化，且热残留信号易受环境温度与个体生理差异干扰，数据采集与标注过程面临严峻考验。在构建过程中，研究团队需克服热成像技术的灵敏度限制，通过SAM 2模型进行初步分割后，仍需大量人工介入以精细化标注各手指与手掌区域，并借助握持照片交叉验证以确保注释可靠性。此外，数据收集阶段遗漏了部分手机侧面的图像，需通过视觉检查确认无接触发生，这进一步凸显了在多模态数据融合与质量控制方面存在的实践难度。

常用场景

经典使用场景

在移动交互与人体工程学领域，该数据集通过热成像技术捕捉了用户执行九种典型手机任务时在设备五个侧面留下的接触痕迹，为研究者提供了前所未有的精细抓握模式可视化数据。这些数据能够揭示不同交互情境下用户手部与手机非触屏区域的接触规律，成为探索手持设备交互设计基础原理的宝贵资源。

解决学术问题

该数据集有效解决了人机交互研究中关于三维抓握行为量化分析的难题。传统研究多聚焦于触屏接触点，而此数据集通过热残留图像系统性地记录了手掌与手指在设备侧边及背面的压力分布，使得研究者能够实证分析任务类型如何塑造整体抓握姿态，从而深化对移动交互中人体工学与行为模式的理解。

衍生相关工作

基于该数据集标注的接触模式，后续研究可衍生出多个经典方向，例如开发预测用户当前任务的机器学习模型，或构建跨设备抓握行为的统一理论框架。其精细的指部分区标注也为手部生物力学仿真提供了验证数据，可能催生新一代自适应握持感知界面的原型设计与评估研究。