Working Memory (WorM) benchmark dataset

Working Memory (WorM) benchmark dataset是由新加坡科技研究局的Deep NeuroCognition Lab创建的综合性大型工作记忆基准数据集。该数据集包含10个任务，总计100万个试验，评估工作记忆的4种功能、3个领域和11种行为及神经特征。数据集旨在为认知心理学、神经科学和人工智能社区提供一个标准框架，用于比较和增强工作记忆模型，研究工作记忆的神经基础，并开发具有人类能力的工作记忆模型。数据集的创建过程涉及对工作记忆多方面的系统性探索，旨在解决现有研究中的空白，推动对工作记忆过程的理解，并为开发更强大、更接近人类能力的人工智能系统提供支持。

The Working Memory (WorM) benchmark dataset is a comprehensive large-scale benchmark for working memory, developed by the Deep NeuroCognition Lab under Singapore’s Agency for Science, Technology and Research (A*STAR). This dataset includes 10 tasks with a total of 1 million trials, and evaluates 4 core functions, 3 domains, and 11 behavioral and neural characteristics of working memory. It aims to provide a standardized framework for the cognitive psychology, neuroscience, and artificial intelligence communities to compare and enhance working memory models, investigate the neural underpinnings of working memory, and develop working memory models with human-like capabilities. The development of this dataset involves a systematic exploration of multiple facets of working memory, with the goals of addressing gaps in existing research, advancing the understanding of working memory processes, and supporting the development of more powerful, human-like artificial intelligence systems.

原始信息汇总

WorM 数据集概述

数据集介绍

WorM 是一个全面的 Working Memory (WM) 基准数据集，包含 10 个任务和总共 100 万次试验，评估了 4 种功能、3 个领域和 11 种行为及神经特征的 WM。

数据集下载与结构

• 下载链接: WorM 数据集
• 数据结构: 数据集应解压至 WorM/wm_bench_data/，包含所有 WM 任务的原始刺激和元数据。

依赖环境

• Python 版本: 3.8
• CUDA 版本: 11.3
• 依赖安装: 使用 WorM/requirements.txt 安装依赖

预训练模型

• 下载链接: 预训练模型
• 模型列表: rnn-96, rnn-256, rnn-1024, gru-96, gru-256, gru-1024, lstm-96, lstm-256, lstm-1024, trf-96, trf-256, trf-1024

训练与测试

• 命令: 从 WorM/ 目录运行 python -m src.main 进行联合训练和测试
• 参数配置: 可在 src/args.py 中修改参数

自定义数据生成

• 示例: 在 WorM/ 目录下使用 Dataset 类生成特定任务的数据集

• 代码示例: python from src.data.dataset import Visual_Item_Recognition_Dataset

  VIR_Task_TrainVal_Dataset = Visual_Item_Recognition_Dataset(data_path=./your-folder-choice, max_seq_len=20, grid_size=6, list_length_options=[4, 6, 8, 10], distractor_difference_options=[4], ri_options=[0, 2, 4, 5, 6], gen_random_trials=True, num_samples=96000, img_size=96, rs_img_size=32, write=True, split=train)

其他文件

• 数据可视化与分析: 提供多个 Jupyter 笔记本进行数据可视化、评估和神经分析
• 示例文件:
  • viz_data.ipynb: 可视化不同 WM 任务的试验
  • bench_cd_task.ipynb: CD 任务的评估和分析
  • bench_cs_task.ipynb: CS 任务的评估和分析
  • bench_smu_task.ipynb: SMU 任务的评估和分析
  • bench_vir_task.ipynb: VIR 任务的评估和分析
  • bench_vsr_task.ipynb: VSR 任务的评估和分析
  • bench_vsrec_task.ipynb: VSRec 任务的评估和分析
  • bench_sts_task.ipynb: STS 任务的神经分析
  • bench_neural_analysis.ipynb: 计算模型的神经分析

搜集汇总

数据集介绍

构建方式

该数据集由Ankur Sikarwar和Mengmi Zhang创建，旨在为认知心理学、神经科学和人工智能领域提供一种标准化框架，以比较和改进工作记忆模型。数据集包括10个任务和100万次试验，涵盖了工作记忆的4种功能、3个领域和11种行为和神经特征。研究人员使用最先进的循环神经网络和Transformer模型在所有这些任务上进行联合训练和测试。此外，数据集还包含人类行为基准，以供与人工智能模型进行行为比较。

特点

WorM数据集具有以下特点：首先，它是一个综合性的大型数据集，涵盖了工作记忆的多个方面；其次，数据集包含了人类行为基准，便于与人工智能模型进行直接比较；最后，数据集采用了联合训练和测试的方法，有助于探索不同工作记忆任务之间的复杂交互和依赖关系。

使用方法

使用WorM数据集时，研究人员可以将其用于训练和评估人工智能工作记忆模型。数据集包含了10个不同的工作记忆任务，每个任务都有相应的训练、验证和测试数据。研究人员可以根据需要选择合适的模型架构和训练方法，并使用数据集提供的评估指标来衡量模型性能。此外，数据集还提供了人类行为基准，便于与人工智能模型进行比较和分析。

背景与挑战

背景概述

Working Memory (WorM) benchmark dataset 是一个综合性的大型工作记忆基准数据集，由新加坡Deep NeuroCognition Lab、Center for Frontier AI Research (CFAR)和Institute for Infocomm Research (I2R)的研究人员创建。该数据集旨在评估和比较人类和人工智能模型在多种工作记忆任务上的表现，涵盖了工作记忆的四个功能性和三个领域。WorM 包含了 10 个任务和 100 万次试验，旨在评估模型的行为、神经种群和执行控制的相关性。该数据集为认知心理学、神经科学和人工智能领域的研究人员提供了一个标准化的框架，用于比较和改进工作记忆模型，研究工作记忆的神经基础，并开发具有人类-like 能力的工作记忆模型。

当前挑战

WorM 数据集面临的主要挑战包括：1) 在多个任务上评估模型的行为，例如序列长度效应和保持间隔；2) 研究神经种群，例如任务特定的神经簇和执行控制的相关性；3) 考察和比较执行不同记忆功能（存储、集成、操作和监督）的多个工作记忆模型之间的性能。此外，WorM 数据集还需要进一步完善时间映射，调整任务难度，实验不同的训练和测试方法，以及研究模型的泛化能力。

常用场景

经典使用场景

该数据集涵盖了10个工作记忆任务，包含100万个试验，评估了4种功能、3个领域和11种行为和神经特征。这使得它成为评估人类和AI模型在工作记忆能力方面的宝贵资源。研究者可以使用该数据集来训练和测试各种工作记忆模型，并与其他模型进行比较。此外，该数据集还可以用于研究工作记忆的神经基础，并开发具有人类水平能力的工作记忆模型。

衍生相关工作

该数据集衍生了大量的相关工作。研究者们使用该数据集来训练和测试各种工作记忆模型，并与其他模型进行比较。此外，该数据集还可以用于研究工作记忆的神经基础，并开发新的治疗方法和干预措施，以改善工作记忆能力。

数据集最近研究

最新研究方向

Working Memory (WorM) benchmark dataset 作为一个人工智能和认知心理学研究的新工具，提供了一个全面的平台来评估和比较人类和人工智能模型在工作记忆任务上的表现。该数据集涵盖了10个任务和100万次试验，涉及工作记忆的4个功能和3个领域，旨在揭示工作记忆的复杂性和多面性。研究结果表明，循环神经网络在模拟人类行为方面比变压器模型更准确，并且在某些任务中表现出与人类相似的优先级和近因效应。此外，神经网络种群分析揭示了专门用于不同领域和工作记忆功能的神经簇，这为理解工作记忆的神经基础提供了新的见解。WorM数据集的发布为认知心理学、神经科学和人工智能领域的学者提供了一个宝贵的资源，有助于推动工作记忆模型的发展，并促进对人类工作记忆机制的理解。

相关研究论文

• Decoding the Enigma: Benchmarking Humans and AIs on the Many Facets of Working Memory

  新加坡科技研究局 · 2023年