Tap Typing with Touch Sensing Images (TSI) dataset

这个数据集包含在移动触摸屏键盘上的用户点击数据，每个点击对应用户试图通过键盘输入的特定字符。数据集通过要求16名参与者复制输入给定的提示来收集，因此我们可以将每个触摸点与提示中的字符对齐，并为键盘解码器训练构建（触摸数据，意图键）对。独特的TSI数据集不仅包括用户点击的质心，还包括其椭圆特征和电容感应图像（在我们的UIST论文中称为“触摸热图”或简称“热图”），为键盘解码提供了更丰富的信息。总共，TSI数据集由43735个示例以及键盘布局文件和提示文件组成。

This dataset contains user touch data collected on a mobile touchscreen keyboard, where each tap corresponds to the specific character that the user intended to input via the keyboard. The dataset was collected by asking 16 participants to copy and type given prompts, allowing us to align each touch point with the corresponding character in the prompt and construct (touch data, intended key) pairs for keyboard decoder training. The unique TSI dataset not only includes the centroid of user taps, but also their elliptical features and capacitive sensing images (referred to as "touch heatmaps" or simply "heatmaps" in our UIST paper), which provide richer information for keyboard decoding. In total, the TSI dataset consists of 43,735 examples, along with keyboard layout files and prompt files.

原始信息汇总

Tap Typing with Touch Sensing Images (TSI) Dataset

概述

• 名称: Tap Typing with Touch Sensing Images (TSI) Dataset
• 来源: 由Google的Piyawat Lertvittayakumjorn, Shanqing Cai, Billy Dou, Cedric Ho, 和 Shumin Zhai创建，与UIST 2024论文"Can Capacitive Touch Images Enhance Mobile Keyboard Decoding?"相关。
• 数据类型: 包含用户在移动触摸屏键盘上的触摸点数据。
• 数据量: 共43735个触摸点。
• 数据结构: 包含三个文件——touch_data.csv, keyboard_data.json, 和 prompt_data.csv。

数据收集

• 参与者: 16名参与者（8男，7女，1非二元性别）。
• 设备: 使用两台Pixel 6 Pro设备进行数据收集。
• 任务: 参与者被要求复制输入给定的提示文本，每个参与者完成四个任务块，每个任务块包含30个提示。
• 提示类型: 包含两种提示类型：
  1. 英语短语: 来自MacKenzie和Soukoreff (2003)的20个短语或句子。
  2. 随机字符串: 10个由随机字符组成的8字符长字符串，被视为out-of-vocabulary (OOV)。

数据结构

touch_data.csv

• 字段:
  • participant_id: 参与者ID。
  • task_id: 任务块ID。
  • trial_id: 试验ID。
  • timestamp_ms: 触摸点的时间戳（毫秒）。
  • ref_char: 用户意图输入的字符。
  • ref_char_index_in_prompt: 字符在提示中的位置。
  • first_frame_touch_x: 触摸中心的x坐标。
  • first_frame_touch_y: 触摸中心的y坐标。
  • first_frame_touch_major: 触摸椭圆的主轴长度。
  • first_frame_touch_minor: 触摸椭圆的次轴长度。
  • first_frame_touch_orientation: 触摸椭圆的方向（弧度）。
  • first_frame_touch_heatmap: 触摸热图的稀疏表示。
  • first_frame_heatmap_overlap_vector: 热图重叠向量表示。
  • was_deleted: 触摸点是否被删除。
  • lm_scores: 语言模型分数。

keyboard_data.json

• 字段:
  • device_info: 设备信息，包括设备型号、屏幕尺寸和热图图像尺寸。
  • keyboard_info: 键盘信息，包括键盘尺寸和最常见的按键尺寸。
  • keys_info: 每个候选键的信息，包括键中心位置和键尺寸。

prompt_data.csv

• 字段:
  • participant_id: 参与者ID。
  • task_id: 任务块ID。
  • trial_id: 试验ID。
  • prompt_type: 提示类型（短语或随机字符串）。
  • prompt: 提示文本。

引用

txt @misc{lertvittayakumjorn2024can, title={Can Capacitive Touch Images Enhance Mobile Keyboard Decoding?}, author={Piyawat Lertvittayakumjorn and Shanqing Cai and Billy Dou and Cedric Ho and Shumin Zhai}, year={2024}, eprint={2410.02264}, archivePrefix={arXiv}, primaryClass={cs.HC}, url={https://arxiv.org/abs/2410.02264}, }

搜集汇总

数据集介绍

构建方式

该数据集通过邀请16名参与者在智能手机上进行复制打字任务来构建。每位参与者被要求完成四个任务块，每个任务块包含30个文本提示，参与者需尽可能快速且准确地输入这些提示。数据收集过程中，使用了两台Pixel 6 Pro设备，并配置为记录触摸感应图像。通过这种方式，数据集不仅记录了用户点击的中心点，还记录了触摸区域的椭圆特征和电容感应图像（称为“触摸热图”），从而为键盘解码提供了丰富的信息。

特点

该数据集的独特之处在于其不仅包含了用户点击的中心点坐标，还包含了触摸区域的椭圆特征和电容感应图像（触摸热图）。这些触摸热图提供了触摸区域的详细空间数据，有助于更精确地解码用户意图。此外，数据集还包括了触摸热图与候选键之间的重叠区域向量，这是一种专为键盘解码设计的新型表示方法。

使用方法

该数据集主要用于训练和评估移动键盘解码器。用户可以通过读取touch_data.csv文件获取触摸点的详细信息，包括触摸中心点的坐标、椭圆特征、触摸热图及其重叠区域向量。同时，keyboard_data.json文件提供了键盘布局和设备信息，prompt_data.csv文件则列出了所有用于数据收集的提示文本。这些文件共同为研究者提供了全面的触摸数据和上下文信息，便于进行深入的键盘解码研究。

背景与挑战

背景概述

Tap Typing with Touch Sensing Images (TSI) 数据集是由Google的研究人员Piyawat Lertvittayakumjorn、Shanqing Cai、Billy Dou、Cedric Ho和Shumin Zhai在2024年创建的，旨在探索电容式触摸图像是否能增强移动键盘解码的准确性。该数据集收集了16名参与者在移动触摸屏键盘上的触摸点数据，每个触摸点对应一个用户试图输入的特定字符。TSI数据集不仅包含触摸点的质心，还包括其椭圆特征和电容感应图像（称为“触摸热图”），为键盘解码提供了丰富的信息。该数据集包含43735个样本，以及键盘布局和提示文件，对移动设备输入法的研究具有重要意义。

当前挑战

TSI数据集面临的挑战主要包括两个方面。首先，数据集的构建过程中需要精确地对齐触摸点和用户意图输入的字符，这涉及到复杂的算法和数据处理技术，如Needleman-Wunsch算法。其次，数据集的多样性和代表性也是一个挑战，尽管包含了16名参与者的数据，但仍需确保这些数据能够代表更广泛的用户群体。此外，数据集的隐私和安全问题也不容忽视，特别是在处理包含个人触摸行为的数据时，如何确保数据的安全性和匿名性是一个重要的课题。

常用场景

经典使用场景

在人机交互领域，Tap Typing with Touch Sensing Images (TSI) 数据集的经典应用场景主要集中在移动键盘解码技术的研究与开发。该数据集通过收集用户在触摸屏键盘上的点击数据，包括触摸点的质心、椭圆特征以及电容感应图像（即触摸热图），为研究人员提供了一个丰富的数据资源。这些数据可以用于训练和评估键盘解码模型，从而提高移动设备输入的准确性和用户体验。

衍生相关工作

基于 TSI 数据集，研究人员已经开展了一系列相关工作，包括改进触摸屏输入的解码算法、探索触摸热图在输入预测中的应用、以及开发基于触摸物理特征的个性化输入法。这些工作不仅提升了移动设备输入的准确性和效率，还为触摸屏技术的进一步研究提供了新的方向和方法。

数据集最近研究

最新研究方向

在移动设备输入法领域，Tap Typing with Touch Sensing Images (TSI) 数据集的最新研究方向主要集中在利用触摸感应图像（Touch Sensing Images）来提升键盘解码的准确性和效率。该数据集不仅包含触摸点的质心和椭圆特征，还引入了触摸热图（Touch Heatmaps），为键盘解码提供了更为丰富的信息。当前的研究热点在于如何有效地融合这些多维度的触摸数据，以改进现有的键盘解码算法，特别是在处理复杂触摸模式和提高用户输入体验方面。此外，该数据集的引入也为研究者提供了一个新的视角，探讨触摸感应技术在增强移动设备交互体验中的潜力和应用前景。