Multimodal PISA (Multimodal Piano Skills Assessment)

计算机可以确定钢琴演奏者的技能水平吗？这种评估是基于对球员表现的视觉分析，还是我们应该相信我们的耳朵而不是我们的眼睛？由于当前的 CNN 难以处理长视频，如何对较短的片段进行采样以最好地反映玩家的技能水平？在这项工作中，我们收集并发布了首个用于多模式技能评估的数据集，重点是评估钢琴演奏者的技能水平，回答提出的问题，启动钢琴演奏技能的自动评估工作，并为未来的工作提供基线。

Can computers determine the skill level of a piano performer? Should such assessment rely on visual analysis of the player’s performance, or should we trust our ears over our eyes? Given that current Convolutional Neural Networks (CNNs) struggle to process long videos, how should we sample shorter clips to optimally reflect the player’s actual skill level? In this work, we collect and release the first dataset for multimodal skill assessment focused on evaluating piano performers’ skill levels. This work answers the aforementioned questions, kickstarts research on automated piano performance skill evaluation, and provides a baseline for future studies.

搜集汇总

背景与挑战

背景概述

该数据集是首个专注于多模态钢琴技能评估的数据集，旨在通过结合视觉和听觉分析来自动评估演奏者的技能水平。它针对长视频处理难题提供了解决方案，并为相关研究提供了基准。