ebdataset

一个基于numpy记录数组的稀疏表示和PyTorch的密集表示构建的事件驱动数据集加载器，支持多种数据集，如Neuromorphic Mnist、NCaltech101等。

An event-driven dataset loader constructed based on sparse representations using numpy record arrays and dense representations using PyTorch, supporting various datasets such as Neuromorphic Mnist, NCaltech101, and more.

原始信息汇总

数据集概述

支持的数据集

1. Neuromorphic Mnist (N-MNIST)

   • 来源：Orchard, G.; Cohen, G.; Jayawant, A.; and Thakor, N.
   • 描述：“Converting Static Image Datasets to Spiking Neuromorphic Datasets Using Saccades”
   • 出版：Frontiers in Neuroscience, vol.9, no.437, Oct. 2015
   • 下载链接：N-MNIST

2. NCaTech101

   • 来源：Orchard, G.; Cohen, G.; Jayawant, A.; and Thakor, N.
   • 描述：“Converting Static Image Datasets to Spiking Neuromorphic Datasets Using Saccades”
   • 出版：Frontiers in Neuroscience, vol.9, no.437, Oct. 2015
   • 下载链接：NCaTech101

3. IBM DVS128 Gesture

   • 来源：A. Amir, B. Taba, D. Berg, T. Melano, J. McKinstry, C. Di Nolfo, T. Nayak, A. Andreopoulos, G. Garreau, M. Mendoza, J. Kusnitz, M. Debole, S. Esser, T. Delbruck, M. Flickner, and D. Modha
   • 描述：“A Low Power, Fully Event-Based Gesture Recognition System”
   • 出版：2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)
   • 下载链接：IBM DVS128 Gesture

4. INI Roshambo17

   • 来源：I.-A. Lungu, F. Corradi, and T. Delbruck
   • 描述：“Live Demonstration: Convolutional Neural Network Driven by Dynamic Vision Sensor Playing RoShamBo”
   • 出版：2017 IEEE Symposium on Circuits and Systems (ISCAS 2017)
   • 下载链接：INI Roshambo17

5. INI UCF-50

   • 来源：Hu, Y., Liu, H., Pfeiffer, M., and Delbruck, T.
   • 描述：“DVS Benchmark Datasets for Object Tracking, Action Recognition and Object Recognition”
   • 出版：Front. Neurosci. 10, 405. doi:10.3389/fnins.2016.00405
   • 下载链接：INI UCF-50

6. NTidigits

   • 来源：Anumula, Jithendar, et al.
   • 描述：“Feature Representations for Neuromorphic Audio Spike Streams”
   • 出版：Frontiers in Neuroscience, vol. 12, Feb. 2018, p. 23
   • 下载链接：NTidigits

7. Prophesee N-Cars

   • 来源：Amos Sironi, Manuele Brambilla, Nicolas Bourdis, Xavier Lagorce, Ryad Benosman
   • 描述：“HATS: Histograms of Averaged Time Surfaces for Robust Event-based Object Classification”
   • 出版：To appear in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018
   • 下载链接：Prophesee N-Cars

数据集使用示例

• NMnist数据集

  • 稀疏表示使用示例： python from ebdataset.vision import NMnist for spike_train, label in NMnist(path): spike_train.x, spike_train.y, spike_train.p, spike_train.ts break

  • 密集表示使用示例： python from ebdataset.vision.transforms import ToDense dt = 1*ms loader = NMnist(path, is_train=True, transforms=ToDense(dt)) for spike_train, label in loader: spike_train.shape # => (34, 34, 2, duration of sample) break

  • 可视化示例： bash python -m ebdataset.visualization.spike_train_to_vid NMnist path

安装指南

• 安装命令： bash pip install ebdataset

搜集汇总

数据集介绍

构建方式

ebdataset是一个基于事件的数据集加载器，专为神经形态计算领域设计。该数据集通过整合多个公开的神经形态数据集，构建了一个统一的Python API接口，支持Python 3.5及以上版本。数据集的构建基于numpy记录数组以实现稀疏表示，并利用PyTorch进行密集表示。通过这种方式，ebdataset为用户提供了一个高效且灵活的工具，用于加载和处理神经形态数据。

使用方法

使用ebdataset时，用户可以通过简单的Python代码加载数据集，并选择稀疏或密集表示方式进行处理。例如，通过`NMnist`类加载Neuromorphic Mnist数据集，并使用`ToDense`转换器将稀疏数据转换为密集张量。此外，ebdataset还提供了可视化功能，用户可以通过命令行工具将事件数据转换为视频格式，便于进一步分析和展示。安装ebdataset只需通过`pip install ebdataset`命令即可完成。

背景与挑战

背景概述

ebdataset是一个专注于神经形态计算领域的事件驱动数据集加载工具，旨在为研究人员提供一个统一的Python API接口，支持稀疏和密集数据表示。该数据集由多个子数据集组成，包括Neuromorphic Mnist、NCaltech101、IBM DVS128 Gesture等，涵盖了从静态图像转换到脉冲神经形态数据的多种应用场景。这些数据集由Garrick Orchard、Gregory Cohen等研究人员在2015年首次提出，并在神经科学和计算机视觉领域产生了广泛影响。ebdataset的创建为神经形态计算的研究提供了重要的数据支持，推动了基于事件驱动的视觉和音频处理技术的发展。

当前挑战

ebdataset面临的挑战主要集中在两个方面。首先，神经形态计算领域的数据处理与传统图像处理存在显著差异，如何高效地将静态图像转换为脉冲神经形态数据，并保持数据的时空特性，是一个关键问题。其次，数据集的构建过程中，研究人员需要解决数据采集、标注和格式统一等技术难题。例如，事件驱动数据的稀疏性和高时间分辨率使得数据存储和处理变得复杂，如何设计高效的算法和工具来支持这些数据的加载和可视化，是ebdataset开发过程中需要克服的主要挑战。此外，随着神经形态计算领域的快速发展，如何持续更新和扩展数据集以支持新的研究需求，也是ebdataset未来需要面对的重要问题。

常用场景

经典使用场景

ebdataset作为一个基于事件的神经形态数据集加载器，广泛应用于神经形态计算领域的研究。其经典使用场景包括神经形态视觉和听觉数据的处理与分析，特别是在动态视觉传感器（DVS）和事件相机生成的数据上。通过提供统一的Python API，ebdataset使得研究人员能够轻松加载和处理多种神经形态数据集，如N-MNIST、NCaltech101和IBM DVS128 Gesture等，从而加速了神经形态算法的开发与验证。

解决学术问题

ebdataset解决了神经形态计算领域中数据格式不统一、处理复杂的问题。通过将多种神经形态数据集整合到一个统一的接口下，研究人员可以更便捷地进行跨数据集比较和算法验证。此外，ebdataset支持稀疏和密集两种数据表示方式，使得基于事件的数据能够与传统的深度学习框架（如PyTorch）无缝集成，推动了神经形态计算与深度学习方法的融合。

实际应用

在实际应用中，ebdataset被广泛用于事件相机数据的处理与分析，例如手势识别、物体跟踪和动作识别等任务。例如，IBM DVS128 Gesture数据集通过ebdataset加载后，可用于开发低功耗、实时性强的动态手势识别系统。此外，ebdataset还支持将事件数据转换为视频格式，便于直观展示和分析，为事件相机在自动驾驶、机器人视觉等领域的应用提供了有力支持。

数据集最近研究

最新研究方向

在神经形态计算领域，ebdataset作为一个基于事件的视觉数据集加载器，近年来在神经形态视觉处理研究中扮演了重要角色。该数据集支持多种神经形态数据集，如Neuromorphic Mnist、NCaltech101和IBM DVS128 Gesture等，这些数据集广泛应用于事件驱动的视觉识别和动作分析。随着神经形态硬件和算法的快速发展，ebdataset的研究方向逐渐聚焦于如何更高效地处理和解析事件数据，以支持实时、低功耗的视觉应用。特别是在自动驾驶、机器人视觉和智能监控等领域，ebdataset的应用潜力巨大，推动了事件驱动视觉算法的创新与优化。