Awesome-Neuromorphic-Navigation-Resources

这是一个专注于神经形态导航领域的精选资源集合，收录了真实世界数据集和模拟数据集，以及相关的硬件平台和软件工具。合集旨在为研究人员和从业者提供该领域的全面资源索引，覆盖视觉、听觉、触觉、嗅觉和无线传感器等数据源，并包含算法编程工具、脑网络模拟器等软件资源。This is a curated collection of resources focused on the field of neuromorphic navigation. It encompasses real-world and simulated datasets, as well as relevant hardware platforms and software tools. The collection aims to provide researchers and practitioners with a comprehensive resource index for this domain, covering data sources such as visual, auditory, tactile, olfactory and wireless sensors, along with software resources including algorithmic programming tools and brain network simulators.

原始信息汇总

神经形态导航资源汇总

该仓库由东南大学（中国南京）维护，系统收集了神经形态导航领域的研究资源，包括数据集、硬件平台和软件工具。

数据资源

真实世界数据集

仓库收录了24个真实世界数据集，涵盖多种传感器类型与场景：

数据集	发表年份/会议	主要特点	开放资源
DAVIS240C	IJRR-2017	事件相机数据集，用于位姿估计、视觉里程计和SLAM	网站
MVSEC	RAL-2018	多车辆立体事件相机数据集，用于3D感知	网站
DSEC	RAL-2021	驾驶场景立体事件相机数据集	GitHub
M2DGR	RAL-2022	多传感器多场景地面机器人SLAM数据集	GitHub
UZH-FPV	ICRA-2019	无人机竞速数据集	网站
DDD17	ICML-2017	端到端DAVIS驾驶数据集	网站
DDD20	ITSC-2020	端到端事件相机驾驶数据集，融合帧与事件	网站
VECtor	RAL-2022	多传感器SLAM通用事件中心基准	网站
ViViD++	RAL-2022	视觉可见性数据集	网站
TUM-VIE	IROS-2021	立体视觉-惯性-事件数据集	网站
Brisbane-Event-VPR	RAL-2020	基于事件的视觉位置识别	GitHub
GRIFFIN	RAL-2021	扑翼飞行与机器人感知数据集	网站
AGRI-EBV	ICRA-2021	农业环境视觉导航事件数据集	网站
FusionPortable	IROS-2022	多传感器校园场景定位与建图数据集	网站
M3ED	CVPRW-2023	多机器人、多传感器、多环境事件数据集	GitHub
Hadviger et al.	ECMR-2023	立体视觉定位事件数据集	网站
PKU-DAVIS-SOD	TPAMI-2023	流式目标检测事件与帧数据集	网站
ECMD	TIV-2024	事件中心多传感器驾驶SLAM数据集	GitHub
MA-VIED	TITS-2024	多传感器汽车视觉惯性事件数据集	GitHub
CEAR	RAL-2024	敏捷四足机器人快速感知事件数据集	GitHub
NSAVP	IJRR-2025	自动驾驶车辆感知新传感器数据集	网站
M2P2	ArXiv-2025	极低光照越野环境多模态被动感知数据集	网站
M3DSS	ICRA-2025	多平台、多传感器、多场景SLAM数据集	GitHub
NYC-Event-VPR	ICRA-2025	密集城市环境大规模高分辨率事件视觉位置识别	GitHub
FusionPortableV2	IJRR-2025	统一多传感器数据集，支持跨平台通用SLAM	网站

事件模拟器与模拟数据集

事件模拟器（13个）：

模拟器	发表年份/会议	描述	开放资源
ESIM	CoRL-2018	开源事件相机模拟器	GitHub
v2e	CVPRW-2021	从视频帧到真实DVS事件	GitHub
DVS Gazebo Plugin	SIMPAR-2016	基于尖峰神经网络的车辆端到端控制框架	-
PIX2NVS	ICIP-2017	像素域视频帧参数化转换为神经形态视觉流	GitHub
pyDVS	SSCI-2016	可扩展实时DVS仿真器	GitHub
EventGAN	ICCP-2021	利用大规模图像数据集为事件相机生成数据	GitHub
ViSim	ArXiv-2018	多传感器真实感室内场景数据集	网站
VID2E	CVPR-2020	视频事件转换	GitHub
ICNS	Frontiers in Neuroscience-2021	通过特征参数改进事件相机模拟器	GitHub
VISTA	ICRA-2022	开放数据驱动的多模态感知与策略学习模拟器	GitHub
DVS-Voltmeter	ECCV-2022	基于随机过程的事件模拟器	GitHub
V2CE	ICRA-2024	视频到连续事件模拟器	GitHub
EREBUS	ArXiv-2025	端到端鲁棒事件水下仿真	GitHub

使用模拟数据集的重要工作（5篇）：

• TIP-2022：异步时空记忆网络用于连续事件目标检测
• ICCV-2023：从事件相机学习光流（使用渲染数据集）
• TRO-2024：CMax-SLAM事件旋转运动光束法平差与SLAM系统
• CVPR-2024：事件引导低光图像增强（大规模真实事件-图像数据集）
• CVPR-2025：Ev-3DOD事件相机推动3D目标检测时间边界

硬件资源

神经形态传感器

视觉传感器（6种）：

• DVS（2008）：128×128分辨率，120dB动态范围，15μs延迟异步时序对比视觉传感器
• ATIS（2010）：QVGA分辨率，143dB动态范围异步地址-事件PWM动态图像传感器
• DAVIS240（2014）：240×180分辨率，130dB动态范围，3μs延迟全局快门时空视觉传感器
• DAVIS346（2018）：前后照明动态有源像素视觉传感器对比
• CeleX-V（2019）：100万像素多模式事件传感器
• Vidar（2023）：1000倍速相机与机器视觉

其他传感器类型提及：

• 听觉传感器
• 触觉传感器
• 嗅觉传感器
• 无线传感器

神经形态处理器

仓库收录了多种神经形态处理器，但未详细列出。

软件资源

算法编程工具

支持ANN-to-SNN转换（如SNN Toolbox、SpikingJelly）和替代梯度直接训练（如snnTorch、Norse、SpikingJelly）。

脑网络模拟器

提及Brian 2、NEST、BindsNET等神经科学/生物可解释工具，重点支持局部学习（如STDP）。

神经形态硬件工具链

针对不同硬件平台提供对应工具链：

• Intel Loihi系列：Lava
• SpiNNaker系列：sPyNNaker / PyNN
• SynSense Speck/Dynap：Samna
• BrainScaleS：BrainScaleS OS

场景模拟器

• 未详细列出具体模拟器名称

其他软件资源

• 未详细列出

搜集汇总

数据集介绍

构建方式

该数据集资源库由东南大学研究团队精心构建，旨在系统梳理神经形态导航领域的核心资源。其构建方式基于对已发表文献与公开资源的广泛调研，将资源划分为数据资源、硬件资源与软件资源三大核心板块。数据资源部分进一步细分为真实世界数据集与事件模拟器及仿真数据集，并提供了详尽的论文引用与开放资源链接。硬件资源则系统收录了神经形态传感器与处理器，涵盖视觉、听觉、触觉、嗅觉及无线传感器等多种类型。软件资源囊括算法编程工具、脑网络模拟器、神经形态硬件工具链及场景模拟器等。整个库以结构化表格形式呈现，辅以决策树流程图，引导研究者根据目标快速定位所需资源。

特点

该资源库最鲜明的特点在于其系统性与实用性。它并非简单罗列资源，而是通过清晰的分类体系与交互式决策树，为研究者提供了从硬件部署到算法仿真的全链路导航。资源覆盖全面，既包含DAVIS240C、MVSEC等经典真实数据集，也收录了ESIM、v2e等前沿事件模拟器，同时整合了Intel Loihi、SpiNNaker等神经形态处理器及其配套软件工具链。每个资源均附有论文出处与官方链接，确保了信息的可追溯性与可靠性。这种结构化组织方式极大地降低了神经形态导航研究的入门门槛，尤其适合跨领域研究者快速掌握该领域的技术生态。

使用方法

使用者可根据自身研究目标，借助资源库内置的决策树流程图进行高效导航。若聚焦硬件部署，可在Intel Loihi系列、SpiNNaker系列等平台分支下找到对应的Lava、sPyNNaker等编程框架；若侧重算法仿真，则可根据神经科学可塑性或深度学习集成等方向，选择Brian 2、SpikingJelly等工具。数据资源部分支持直接访问各数据集的官方网站或GitHub仓库，便于下载与复现。软件资源则提供了从算法编程到场景模拟的完整工具链，使用者可依据论文引用与开源链接，快速获取并集成所需组件。该资源库持续更新，并鼓励社区通过Pull Request或Issue贡献遗漏资源。

背景与挑战

背景概述

类脑导航作为神经形态计算与自主机器人领域的交叉前沿，旨在借鉴生物神经系统的高效感知与决策机制，突破传统导航系统在动态、低功耗场景下的性能瓶颈。由东南大学张有东、何旭等研究人员于2026年发布的Awesome-Neuromorphic-Navigation-Resources资源库，系统梳理了该领域的核心数据集、硬件平台与软件工具。该资源库聚焦于事件相机、脉冲神经网络等类脑技术如何赋能视觉里程计、同步定位与地图构建等导航任务，其伴随的综述论文已在TechRxiv预印本平台公开，为学术界与工业界提供了统一的参考基准。该资源的发布显著降低了类脑导航研究的入门门槛，推动了多传感器融合与仿生计算在移动机器人、自动驾驶等领域的应用探索。

当前挑战

类脑导航面临的首要挑战在于实时性与鲁棒性的平衡：事件相机虽具备微秒级响应与高动态范围优势，但其异步稀疏输出与脉冲神经网络的训练机制尚不成熟，难以在复杂光照或高速运动场景中稳定运行。数据集构建亦存在瓶颈，现有真实世界数据集（如DSEC、MVSEC）多集中于结构化道路环境，缺乏对非结构化地形、极端天气或低光照条件的充分覆盖。此外，模拟器（如ESIM、v2e）生成的合成数据与真实传感器响应之间存在域迁移鸿沟，导致算法泛化能力受限。硬件层面，神经形态处理器（如Loihi、Speck）的生态碎片化严重，不同平台的编程工具链与接口标准尚未统一，增加了算法部署的工程复杂度。

常用场景

经典使用场景

在神经形态导航的学术探索中，该资源库所汇集的数据集，如MVSEC与DSEC，最经典的使用场景在于赋能基于事件相机的视觉里程计与同步定位与地图构建（SLAM）研究。这些数据集通过记录高动态范围、低延迟的事件流，为算法在快速运动与极端光照条件下的鲁棒性评估提供了不可或缺的基准平台。研究者得以借此剖析事件驱动感知机制在环境结构恢复与自我运动估计中的效能，从而推动神经形态视觉导航理论从仿真验证迈向真实世界的实证检验。

衍生相关工作

围绕该资源库，学术界已涌现出一系列里程碑式的衍生工作。在算法层面，CMax-SLAM与Ev-3DOD等工作利用其提供的数据集，开创了基于对比度最大化的旋转运动束调整与时间连贯的三维目标检测新范式。在工具生态层面，ESIM与v2e等事件模拟器的出现，使得大规模合成数据训练成为可能，进而催生了如Asynchronous Spatio-Temporal Memory Network等针对连续事件流的时空记忆网络架构。这些工作共同勾勒出从数据驱动到模型驱动的完整研究脉络，持续重塑着神经形态导航领域的知识版图。

数据集最近研究

最新研究方向

在类脑计算与自主导航深度融合的前沿浪潮中，神经形态导航作为突破传统机器人感知极限的关键路径，正迎来研究范式的深刻变革。该数据集资源库系统梳理了从真实场景数据集（如M3ED、FusionPortableV2）到事件模拟器（如ESIM、v2e）的完整工具链，精准捕捉了该领域的最新动态：研究重心正从单一视觉里程计向多传感器融合的鲁棒SLAM系统迁移，尤其是在极端光照、高速运动及复杂农业环境下的感知挑战。值得关注的是，伴随低光增强与3D目标检测等CVPR顶会成果的涌现，事件相机与脉冲神经网络的结合正催生新一代低延迟、高动态范围的导航架构。这一资源的汇聚不仅为学术界提供了标准化评测基准，更深刻推动了神经形态硬件从实验室走向无人车、无人机等真实部署场景的产业化进程。