UpStory

UpStory数据集由Uppsala大学信息技术和计算机科学系等机构的研究人员创建，专注于8-10岁儿童的自然双人互动。数据集包含35对儿童的互动记录，总时长3小时40分钟，通过友谊网络分析来区分高和低亲密度配对。数据集的创建过程包括设计一个基于友谊网络的实验操纵，以促进不同亲密度水平的配对，并通过视频和音频记录捕捉互动。该数据集的应用领域主要是在教育环境中通过机器学习技术预测儿童互动的亲密度，旨在提高学习体验和任务表现。

The UpStory dataset was created by researchers from institutions including the Department of Information Technology and Computer Science at Uppsala University, focusing on natural dyadic interactions of children aged 8 to 10. The dataset contains interaction records from 35 child dyads, with a total duration of 3 hours and 40 minutes, and distinguishes pairs with high and low closeness via friendship network analysis. The dataset creation process involved designing a friendship network-based experimental manipulation to foster pairs with varying levels of closeness, and capturing interactions through video and audio recordings. Its primary application is predicting the closeness of child interactions using machine learning techniques in educational settings, with the goal of enhancing learning experiences and task performance.

原始信息汇总

UpStory 数据集概述

数据集描述

UpStory 数据集是一个匿名的儿童-儿童互动数据集，通过实验操纵了互动的亲密度水平。数据集包含来自同龄同学（年龄8-10岁）在自然环境中进行讲故事游戏的数据。这些同学被分为高亲密度和低亲密度两种条件。由于实验设计，大多数儿童参与了两组互动：一组高亲密度和一组低亲密度。

数据集内容

• 数据集包含35对互动数据。
• 每对互动有一个ID，以P（高亲密度条件）或N（低亲密度条件）开头，后跟学年（2或3）和两位数字。
  • 例如：N251 是来自2年级的低亲密度对；P318 是来自3年级的高亲密度对。
• 每个儿童有一个两位数的ID。
  • 例如：儿童17参与了P245和N255两组互动。
• 每对互动进行了1到5轮游戏，总共提供了106轮数据。

互动信息

• 顶层CSV文件pair-info.csv提供了每对互动的详细信息，包括：
  • pair_id：互动ID。
  • condition：实验条件（low_rapport或high_rapport）。
  • distance：参与者在年级友谊网络中的距离（2 <= n <= 56 对于2年级对，2 <= n <= 20 对于3年级对）。
  • year：学年（2或3）。
  • rounds：游戏轮数（1 <= n <= 5）。
  • child_1：对中的第一个儿童（较低ID；2位数字）。
  • child_2：对中的第二个儿童（较高ID；2位数字）。

数据来源

• 数据集包含从两个不同视频源提取的时间序列数据，每个视频源从一侧概览游戏区域：左摄像头和右摄像头。
• 每个视频源有自己的顶级文件夹，包含从该源提取的数据。
• 每个源文件夹中的CSV文件命名格式为<source>-<pair_id>-round-<round_number>-<face|pose>.csv。
  • 例如：left-camera-N249-round-1-face.csv。
• 每个游戏轮有一个单独的文件；每对通常玩了约3轮（最少1轮，最多5轮）。

面部数据

• 面部数据使用OpenFace提取，包含该工具生成的多数信息。
• 时间序列以25Hz给出；条目按帧（0索引）和child_id索引。
• 包含数据：
  • 置信度和成功指标。
  • 每只眼睛的3D凝视向量。
  • 联合凝视角度。
  • 眼睛标志信息在2D（帧位置像素）和3D（估计距离）。
  • 头部位置和旋转信息在3D。
  • 面部关键点位置在2D（帧位置像素）和3D（估计距离）。
  • 18个AU的存在估计（二进制变量：0或1）。
  • 17个AU的强度估计（连续变量：0到5）。

姿态数据

• 姿态数据使用OpenPose提取。
• 时间序列以25Hz给出；条目按帧（0索引）、child_id和关节（行所指的命名身体部位）索引。
• 每行提供的数据：
  • x：帧中的水平位置，以像素为单位，从左到右（浮点；范围0-宽度）。
  • y：帧中的垂直位置，以像素为单位，从上到下（浮点；范围0-高度）。
  • confidence：OpenPose报告的预测置信度（浮点；范围0-1）。

搜集汇总

数据集介绍

构建方式

UpStory数据集的构建旨在探索儿童之间的社交互动，特别是基于相互理解而建立起来的紧密关系——即融洽关系。该数据集的收集过程涉及一组8至10岁的儿童，他们在设计故事的任务中参与互动，同时允许他们在游戏区域内自由移动。为了促进不同融洽程度的数据收集，研究人员采用了被试内设计，利用自我报告的友谊关系将每个儿童配对两次，要么最小化配对之间的友谊网络分离，要么最大化配对分离。数据集包含了35对儿童的音频和视频记录，总计3小时40分钟。这些记录包括两个覆盖游戏区域视频源以及每个儿童的单独语音录音。数据集还包括匿名版本，其中包含每帧头部姿态、身体姿态和面部特征，以及每对儿童的配对信息，包括融洽程度。此外，还提供了用于预测融洽关系的机器学习基线。

特点

UpStory数据集的特点在于其独特的构建方式和对儿童社交互动的深入探索。该数据集通过实验操纵融洽程度，收集了自然发生的儿童之间的互动，这些互动是在设计故事的任务中进行的。数据集包含了丰富的多模态信息，包括音频、视频和面部及身体姿态特征，为研究人员提供了丰富的数据资源。此外，数据集还提供了基于友谊网络分析的配对策略，为研究儿童社交互动中的融洽关系提供了客观的测量方法。这些特点使得UpStory数据集成为研究儿童社交互动和机器学习预测融洽关系的重要资源。

使用方法

UpStory数据集的使用方法包括提取和分析其中的多模态特征，以预测儿童之间的融洽程度。研究人员可以利用OpenPose和OpenFace等工具从视频记录中提取身体和面部特征，并使用机器学习模型对这些特征进行分析。此外，数据集还提供了基于友谊网络分析的配对策略，可以帮助研究人员更好地理解儿童社交互动中的融洽关系。为了方便研究人员使用，数据集还提供了机器学习基线，这些基线可以帮助研究人员快速评估模型的性能，并为后续的研究提供参考。UpStory数据集的公开可用性使得研究人员可以轻松地获取数据，并利用这些数据进行深入的研究和探索。

背景与挑战

背景概述

在社交互动领域，友谊和融洽关系对于构建建设性的社会互动至关重要，尤其是在教育环境中，它们对学生成果的影响备受关注。随着通过机器学习（ML）自动化分析此类现象的兴趣日益增长，获取带注释的交互数据集变得极其宝贵。然而，目前尚不存在明确捕捉儿童之间双向互动中融洽关系的公开数据集。此外，尽管在自动分析人类行为方面取得了进展，但先前的研究尚未解决在教育环境中预测儿童之间双向互动中融洽关系的问题。为了填补这一空白，我们推出了UpStory数据集：这是一个新的数据集，包含小学年龄段儿童之间的自然双向互动，并具有对融洽关系的实验性操纵。我们通过使用受试者内设计来促进不同融洽关系水平的平衡收集：通过自我报告的友谊网络来为每个孩子配对两次，要么最小化，要么最大化友谊网络中的配对分离。该数据集包含35对的数据，总计3小时40分钟的视频和音频记录。它包括两个视频源，覆盖游戏区域，以及每个孩子的单独声音记录。我们提供了一个匿名版本的公开数据集，包含逐帧头部姿势、身体姿势和面部特征；以及每对信息，包括融洽关系的水平。最后，我们提供了预测融洽关系的ML基线。

当前挑战

UpStory数据集面临的挑战包括：1）解决领域问题的挑战，即预测儿童之间双向互动中的融洽关系；2）构建过程中所遇到的挑战，如敏感数据的隐私保护和匿名化处理。此外，数据集的构建过程中还涉及到确保数据的高质量和可靠性，以及如何通过机器学习技术自动预测融洽关系的水平。为了解决这些挑战，研究者采用了基于友谊网络分析的配对策略，并通过提取匿名化的面部和姿势特征来构建数据集。

常用场景

经典使用场景

UpStory数据集是首个明确捕捉儿童间相互关系并用于教育场景中预测关系水平的自然互动数据集。其经典使用场景包括对儿童间的互动模式进行自动分析，特别是对于友谊和社交关系的研究。通过分析儿童在讲故事游戏中的互动，研究者可以识别出高和低关系水平的配对，从而探究友谊和社交关系对学习成果的影响。此外，UpStory数据集还可以用于开发机器学习模型，以便自动预测儿童间的社交关系水平，这对于教育技术的开发具有重要意义。

实际应用

UpStory数据集的实际应用场景包括教育技术、社交机器人设计和儿童发展研究。在教育技术领域，UpStory数据集可以用于开发智能辅导系统，这些系统能够根据儿童间的社交关系水平提供个性化的教学策略。在社交机器人设计领域，UpStory数据集可以帮助研究者了解儿童间的社交行为，从而设计出能够与儿童进行有效互动的机器人。在儿童发展研究领域，UpStory数据集可以用于研究儿童间的社交关系如何影响其认知和社会情感发展。

衍生相关工作

UpStory数据集衍生出的相关经典工作包括基于机器学习的关系水平预测模型、友谊网络分析方法和儿童社交行为特征提取技术。这些研究成果对于教育技术、社交机器人设计和儿童发展研究具有重要意义，有助于我们更好地理解儿童间的社交行为和关系，并为开发新型教育技术和社交机器人提供理论支持。