传感器信号多通道数据集

本数据集由伦敦玛丽女王大学数字音乐中心创建，用于在Bela嵌入式硬件平台上部署神经网络。数据集包含来自多个传感器的信号，支持多通道记录，适用于实时嵌入式音乐应用。创建过程中，数据集通过Bela板进行记录，并在主机上进行同步和处理，最终用于训练轻量级模型。该数据集的应用领域主要集中在实时音乐表演和交互，旨在通过深度学习技术提升音乐创作和表演的互动性和创新性。

This dataset was created by the Digital Music Center at Queen Mary University of London for deploying neural networks on the Bela embedded hardware platform. It comprises signals from multiple sensors, supports multi-channel recording, and is tailored for real-time embedded music applications. During its development, the dataset was recorded using the Bela board, synchronized and processed on a host machine, and finally utilized for training lightweight models. The primary application domains of this dataset center on real-time music performance and interaction, with the goal of improving the interactivity and innovativeness of music creation and performance via deep learning technologies.

原始信息汇总

Bela神经网络数据集记录与运行管道

概述

本数据集用于记录信号数据，并通过训练轻量级模型，在Bela平台上实时运行该模型。整个流程包括以下几个阶段：

1. 数据记录：在单个或多个Bela板上记录传感器信号数据。
2. 数据处理：将原始数据文件传输到主机进行处理，包括信号对齐和转换为numpy数组。
3. 模型训练：使用深度学习框架（如Tensorflow或PyTorch）训练模型。
4. 模型导出：将训练好的模型导出为.tflite文件。
5. 代码交叉编译：将推理代码交叉编译并传输到Bela上执行。

使用方法

在主机（笔记本电脑）上克隆仓库： bash git clone --recurse-submodules https://github.com/pelinski/bela-dl-pipeline

每个步骤的具体说明在其对应的文件夹内。

引用

该工作在NIME 2023会议上展示：

Pelinski, T., Díaz, R., Benito Temprano, A. L., & McPherson, A. (2023). Pipeline for recording datasets and running neural networks on the Bela embedded hardware platform. Proceedings of the International Conference on New Interfaces for Musical Expression. NIME 2023, Mexico City, Mexico.

论文链接：这里。

搜集汇总

背景与挑战

背景概述

该数据集提供了一个完整的流程，用于在Bela嵌入式硬件平台上记录多通道传感器信号数据集，并运行神经网络模型进行实时推理。流程包括信号记录、数据处理、模型训练和导出，以及跨平台编译和部署。