Yin-Yang数据集

Yin-Yang数据集是由瑞士伯尔尼大学和德国海德堡大学联合开发的，专为研究生物学上可信的误差反向传播和脉冲神经网络中的深度学习而设计。该数据集作为经典深度学习数据集的替代，特别适用于网络模型和硬件平台的早期原型设计场景。它具有较小的规模，便于快速学习和适应小规模的探索性研究。数据集内容包括二维阴阳符号中的点，根据其在符号中的位置被分类为'Yin'、'Yang'或'Dot'类。数据集创建过程中采用了拒绝采样方法，确保了样本的随机性和多样性。该数据集主要应用于解决深度学习中的误差反向传播问题，特别是在资源高效的实现中，通过展示误差反向传播的缺陷，推动了生物学上可信的学习算法的发展。

The Yin-Yang Dataset was co-developed by the University of Bern in Switzerland and Heidelberg University in Germany, specifically designed for researching biologically plausible error backpropagation and deep learning in spiking neural networks. As an alternative to classic deep learning datasets, it is particularly suitable for early prototyping scenarios of network models and hardware platforms. It has a small scale, facilitating rapid learning and adaptation for small-scale exploratory research. The dataset consists of points within two-dimensional Yin-Yang symbols, which are categorized into 'Yin', 'Yang', or 'Dot' classes based on their positions within the symbols. Rejection sampling was employed during the dataset creation process to ensure the randomness and diversity of the samples. This dataset is primarily applied to solving error backpropagation problems in deep learning, especially in resource-efficient implementations, by demonstrating the flaws of error backpropagation to advance the development of biologically plausible learning algorithms.

搜集汇总

数据集介绍

构建方式

Yin-Yang数据集通过模拟阴阳符号的二维表示构建而成。每个样本点代表阴阳符号中的一个位置，并根据其位置被分类为“阴”、“阳”或“点”三个类别。样本通过拒绝采样随机生成，确保数据集的平衡性。为适应网络模型对输入值的要求，样本值均严格为正，并包含坐标值和对称值以消除偏置。此外，通过不同的随机种子和样本大小，可以生成多个数据集版本。

特点

Yin-Yang数据集的特点在于其简洁性和对深度学习算法的挑战性。它包含较少的样本，便于小规模探索性研究，且在浅层和深层网络之间表现出明显的准确率差距，有利于测试网络架构和学习算法。数据集的维度低，需要的网络规模小，适合在资源受限的神经形态平台上进行学习和分类。此外，数据集的样本可以适应不同的网络模型和神经元模型，通过空间-时间输入编码或基于速率的输入编码进行学习。

使用方法

Yin-Yang数据集的使用方法包括将其应用于生物可信的误差反向传播算法、脉冲神经网络学习和神经形态硬件上的分层网络研究。在训练过程中，可以比较不同网络架构（如具有完整功能误差反向传播的深层网络、浅层网络、具有冻结下层权重的网络）的性能。数据集可以通过调整随机种子和样本大小来生成不同的版本，以便于进行多种实验和研究。此外，数据集可以用于展示和测试不同的编码方法，如空间-时间输入编码或基于速率的输入编码。

背景与挑战

背景概述

Yin-Yang数据集是为研究生物学上合理的误差反向传播和脉冲神经网络中的深度学习而开发的。它为经典深度学习数据集提供了一个替代方案，特别是在网络模型和硬件平台的早期原型场景中。该数据集的主要优势在于其规模较小，学习速度快，适合小型探索性研究；其次，它展示了浅层和深层神经网络之间可达准确度之间的显著差异；最后，它易于在空间和时间输入域之间迁移，使其对不同类型的分类场景都很有趣。Yin-Yang数据集的创建旨在满足生物物理学上合理的误差反向传播算法、脉冲神经网络学习和神经形态硬件上的层次网络的研究需求。

当前挑战

Yin-Yang数据集的相关挑战包括：1)所解决的领域问题：它旨在为生物物理学上合理的误差反向传播算法、脉冲神经网络学习和神经形态硬件上的层次网络的研究提供一个合适的平台。2)构建过程中所遇到的挑战：需要确保数据集在展示浅层和深层神经网络之间准确度差异的同时，保持数据集规模的小型化，以便于在资源受限的环境中测试和学习。此外，为了适应不同的网络模型和神经元模型，数据集还需要支持多种输入编码方法，如空间时间输入编码和基于速率的输入编码。

常用场景

经典使用场景

Yin-Yang数据集主要应用于生物学上合理的误差反向传播算法和脉冲神经网络中的深度学习研究。它被设计为一个小型但非平凡的数据集，以供研究人员原型和测试网络架构和学习算法。该数据集具有几个优势：首先，它较小，因此学习速度更快，更适合于软件模拟和硬件原型的小规模探索性研究。其次，它展示了浅层和深层神经网络在可达精度之间的巨大差距。第三，它易于在空间和时间输入域之间进行迁移，使其对不同类型的分类场景都很有趣。

解决学术问题

Yin-Yang数据集解决了一个常见的问题，即在生物上合理的网络模型和硬件平台上进行原型设计和测试时，需要一个小型但非平凡的数据集。现有的数据集如MNIST和fashion-MNIST虽然可以由浅层网络或没有在底层学习的网络以高精度进行分类，但它们需要相对较大的网络。Yin-Yang数据集通过提供一个可由小型网络解决的、样本较少且浅层网络和正确训练的深层网络之间准确度差距较大的数据集，解决了这个问题。此外，它还揭示了在大规模网络中，深度层的隐藏层可以掩盖不完善的误差反向传播的问题。

衍生相关工作

Yin-Yang数据集已经衍生出一些相关的工作，包括但不限于：1. 展示了在脉冲神经网络中误差反向传播算法的算法。2. 研究了基于脉冲的神经网络的基于事件的反向传播算法。3. 在神经形态芯片BrainScaleS-2上实现了对Yin-Yang数据集的分类，并展示了其在低功耗和高效率学习方面的优势。