Semantic FM Dataset

一个包含互联FM合成器补丁及其比较语义标签以及丰富元数据的数据集。该数据集收集了关于FM合成语义关联感知研究的数据。参与者根据语义提示创建FM合成器补丁，并使用27个语义描述符评估创建补丁与起始补丁之间的差异程度。

A dataset comprising interconnected FM synthesizer patches along with comparative semantic labels and rich metadata. This dataset gathers data for research on semantic association perception in FM synthesis. Participants created FM synthesizer patches based on semantic cues and evaluated the degree of difference between the created patches and the original patches using 27 semantic descriptors.

原始信息汇总

数据集概述

数据集名称： Semantic FM Dataset

数据集内容：

• 音频文件： 包含两个文件夹，audio_long 和 audio_short，分别包含4秒和1.25秒的合成器补丁渲染音频。所有音频文件为16位44.1kHz PCM WAV格式。
• 元数据： 提供详细的元数据，包括合成器补丁的唯一标识、参与者信息、语义提示、参数变化、语义评分等。

音频文件详情：

• audio_long：包含4秒的音频，其中3秒为门控，1秒为释放。
• audio_short：包含1.25秒的音频，其中1秒为门控，0.25秒为释放。

元数据格式：

• synth_id：合成器补丁的唯一标识。
• reference_synth_id：参考合成器补丁的唯一标识。
• participant_id：参与者的唯一标识。
• prompt：提供给参与者的语义提示。
• prompt_descriptor：语义提示的根词。
• prompt_direction：提示的方向（正或负）。
• delta_* 和 param_* 和 ref_*：相关合成器参数的变化量和最终值及参考值。
• bright 到 plucky：从起始参考补丁到最终创建补丁的比较语义评分。
• note：参考和创建补丁播放的MIDI音符。
• semantic_factor_*：补丁在每个语义因子上的得分。
• msi_*：参与者对Goldsmiths音乐复杂性指数子尺度的回应。
• age：参与者的年龄。
• country_childhood 和 country_residence：参与者童年时期和参与时的居住国家。
• stft_mag_centroid_median 到 zero_crossing_rate：大量声学特征。
• acoustic_component_* 和 delta_acoustic_component_*：补丁在每个声学特征主成分上的得分及其与参考补丁的差异。

搜集汇总

数据集介绍

构建方式

Semantic FM Dataset的构建基于一项关于FM合成语义关联的感知研究。参与者使用三算子架构的FM合成器，根据语义提示创建合成器音色补丁，并对所创建补丁与起始补丁之间的差异进行27个语义描述符的评分。数据集包含音频文件和丰富的元数据，音频文件分为长版本和短版本，分别以4秒和1.25秒的时长呈现，所有音频均以16位44.1kHz PCM WAV格式存储。

使用方法

使用Semantic FM Dataset时，研究人员可以通过`metadata.csv`文件访问每个合成器补丁的详细元数据，包括语义评分、合成器参数变化和声学特征。音频文件则存储在`audio_long`和`audio_short`文件夹中，文件名与元数据中的`synth_id`字段对应。研究人员可以利用这些数据进行FM合成音色的语义分析、声学特征提取以及感知研究，进一步探索音色与语义之间的关联。

背景与挑战

背景概述

Semantic FM Dataset 是一个专注于频率调制（FM）合成器音色语义关联的数据集，由研究人员B. Hayes和C. Saitis于2020年创建。该数据集的核心研究问题在于探索FM合成器音色与语义描述之间的关联，旨在揭示音色感知的复杂性及其在音乐创作中的应用。数据集通过参与者对特定语义提示的反应生成合成器音色，并记录了丰富的元数据，包括音色的语义评分、声学特征以及参与者的背景信息。该数据集为音乐信息检索、音色合成以及音乐心理学等领域提供了重要的研究基础，推动了音色语义研究的深入发展。

当前挑战

Semantic FM Dataset 所解决的核心领域问题是音色语义关联的量化与建模。这一问题的挑战在于音色的感知具有高度主观性，且受多种因素影响，如文化背景、个人经验等。数据集的构建过程中，研究人员面临的主要挑战包括如何设计有效的语义提示以引导参与者生成具有代表性的音色，以及如何准确捕捉音色的声学特征与语义描述之间的关系。此外，数据集的元数据复杂性较高，涉及大量声学特征和语义评分，这对数据的标准化处理与分析提出了更高的要求。这些挑战不仅反映了音色语义研究的复杂性，也为未来研究提供了重要的改进方向。

常用场景

经典使用场景

Semantic FM Dataset 数据集在音乐信息检索和音频合成领域具有重要应用。研究者可以利用该数据集中的音频文件和丰富的元数据，探索频率调制（FM）合成器音色的语义关联。通过分析参与者对不同语义提示的反应，数据集为研究音色感知和语义描述之间的关系提供了宝贵的实验数据。

解决学术问题

该数据集解决了音乐心理学和音频合成领域中的关键问题，特别是如何通过语义描述来量化音色的变化。通过提供详细的语义评分和声学特征，数据集支持研究者深入分析音色的多维感知特性，并揭示音色与语义之间的复杂关系。这一研究为音乐合成器的设计和音色分类提供了理论依据。

实际应用

在实际应用中，Semantic FM Dataset 数据集为音乐制作和音频设计提供了重要参考。音乐制作人可以利用数据集中的语义标签和声学特征，优化合成器音色的设计，使其更符合特定的情感或场景需求。此外，该数据集还可用于开发智能音频处理工具，帮助用户根据语义提示快速生成理想的音色。

数据集最近研究

最新研究方向

在音乐信息检索和音频合成领域，Semantic FM Dataset为研究者提供了丰富的语义标签和元数据，推动了基于语义的音频合成技术的发展。该数据集通过参与者对FM合成器音色的语义描述和参数调整，揭示了音色感知与语义关联之间的复杂关系。当前研究热点集中在如何利用这些语义标签和元数据，开发更智能的音频合成系统，使其能够根据用户输入的语义提示自动生成符合预期的音色。此外，该数据集还被广泛应用于音乐情感计算和个性化音乐推荐系统的研究中，为理解音乐感知的个体差异提供了重要数据支持。