five

HuggingFaceM4/RAVEN

收藏
Hugging Face2024-02-14 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/HuggingFaceM4/RAVEN
下载链接
链接失效反馈
官方服务：
资源简介：
--- dataset_info: - config_name: center_single features: - name: panels list: image - name: choices list: image - name: structure dtype: array2_d: shape: - 1 - 8 dtype: string - name: meta_matrix dtype: array2_d: shape: - 8 - 9 dtype: uint8 - name: meta_target dtype: array2_d: shape: - 1 - 9 dtype: uint8 - name: meta_structure dtype: array2_d: shape: - 1 - 21 dtype: uint8 - name: target dtype: uint8 - name: id dtype: int32 - name: metadata dtype: string splits: - name: train num_bytes: 219804916.0 num_examples: 6000 - name: validation num_bytes: 73611915.0 num_examples: 2000 - name: test num_bytes: 73880331.0 num_examples: 2000 download_size: 213062764 dataset_size: 367297162.0 - config_name: distribute_four features: - name: panels list: image - name: choices list: image - name: structure dtype: array2_d: shape: - 1 - 8 dtype: string - name: meta_matrix dtype: array2_d: shape: - 8 - 9 dtype: uint8 - name: meta_target dtype: array2_d: shape: - 1 - 9 dtype: uint8 - name: meta_structure dtype: array2_d: shape: - 1 - 21 dtype: uint8 - name: target dtype: uint8 - name: id dtype: int32 - name: metadata dtype: string splits: - name: train num_bytes: 255341749.0 num_examples: 6000 - name: validation num_bytes: 85646249.0 num_examples: 2000 - name: test num_bytes: 85553961.0 num_examples: 2000 download_size: 272347298 dataset_size: 426541959.0 - config_name: distribute_nine features: - name: panels list: image - name: choices list: image - name: structure dtype: array2_d: shape: - 1 - 8 dtype: string - name: meta_matrix dtype: array2_d: shape: - 8 - 9 dtype: uint8 - name: meta_target dtype: array2_d: shape: - 1 - 9 dtype: uint8 - name: meta_structure dtype: array2_d: shape: - 1 - 21 dtype: uint8 - name: target dtype: uint8 - name: id dtype: int32 - name: metadata dtype: string splits: - name: train num_bytes: 349108622.0 num_examples: 6000 - name: validation num_bytes: 118133610.0 num_examples: 2000 - name: test num_bytes: 116742247.0 num_examples: 2000 download_size: 352013405 dataset_size: 583984479.0 - config_name: in_center_single_out_center_single features: - name: panels list: image - name: choices list: image - name: structure dtype: array2_d: shape: - 1 - 8 dtype: string - name: meta_matrix dtype: array2_d: shape: - 8 - 9 dtype: uint8 - name: meta_target dtype: array2_d: shape: - 1 - 9 dtype: uint8 - name: meta_structure dtype: array2_d: shape: - 1 - 21 dtype: uint8 - name: target dtype: uint8 - name: id dtype: int32 - name: metadata dtype: string splits: - name: train num_bytes: 342483526.0 num_examples: 6000 - name: validation num_bytes: 114191360.0 num_examples: 2000 - name: test num_bytes: 114324613.0 num_examples: 2000 download_size: 354453412 dataset_size: 570999499.0 - config_name: in_distribute_four_out_center_single features: - name: panels list: image - name: choices list: image - name: structure dtype: array2_d: shape: - 1 - 8 dtype: string - name: meta_matrix dtype: array2_d: shape: - 8 - 9 dtype: uint8 - name: meta_target dtype: array2_d: shape: - 1 - 9 dtype: uint8 - name: meta_structure dtype: array2_d: shape: - 1 - 21 dtype: uint8 - name: target dtype: uint8 - name: id dtype: int32 - name: metadata dtype: string splits: - name: train num_bytes: 374132580.0 num_examples: 6000 - name: validation num_bytes: 125685012.0 num_examples: 2000 - name: test num_bytes: 124616415.0 num_examples: 2000 download_size: 371649861 dataset_size: 624434007.0 - config_name: left_center_single_right_center_single features: - name: panels list: image - name: choices list: image - name: structure dtype: array2_d: shape: - 1 - 8 dtype: string - name: meta_matrix dtype: array2_d: shape: - 8 - 9 dtype: uint8 - name: meta_target dtype: array2_d: shape: - 1 - 9 dtype: uint8 - name: meta_structure dtype: array2_d: shape: - 1 - 21 dtype: uint8 - name: target dtype: uint8 - name: id dtype: int32 - name: metadata dtype: string splits: - name: train num_bytes: 252973967.0 num_examples: 6000 - name: validation num_bytes: 85214590.0 num_examples: 2000 - name: test num_bytes: 84771828.0 num_examples: 2000 download_size: 238890851 dataset_size: 422960385.0 - config_name: up_center_single_down_center_single features: - name: panels list: image - name: choices list: image - name: structure dtype: array2_d: shape: - 1 - 8 dtype: string - name: meta_matrix dtype: array2_d: shape: - 8 - 9 dtype: uint8 - name: meta_target dtype: array2_d: shape: - 1 - 9 dtype: uint8 - name: meta_structure dtype: array2_d: shape: - 1 - 21 dtype: uint8 - name: target dtype: uint8 - name: id dtype: int32 - name: metadata dtype: string splits: - name: train num_bytes: 249153679.0 num_examples: 6000 - name: validation num_bytes: 83628250.0 num_examples: 2000 - name: test num_bytes: 83734170.0 num_examples: 2000 download_size: 246945860 dataset_size: 416516099.0 configs: - config_name: center_single data_files: - split: train path: center_single/train-* - split: validation path: center_single/validation-* - split: test path: center_single/test-* - config_name: distribute_four data_files: - split: train path: distribute_four/train-* - split: validation path: distribute_four/validation-* - split: test path: distribute_four/test-* - config_name: distribute_nine data_files: - split: train path: distribute_nine/train-* - split: validation path: distribute_nine/validation-* - split: test path: distribute_nine/test-* - config_name: in_center_single_out_center_single data_files: - split: train path: in_center_single_out_center_single/train-* - split: validation path: in_center_single_out_center_single/validation-* - split: test path: in_center_single_out_center_single/test-* - config_name: in_distribute_four_out_center_single data_files: - split: train path: in_distribute_four_out_center_single/train-* - split: validation path: in_distribute_four_out_center_single/validation-* - split: test path: in_distribute_four_out_center_single/test-* - config_name: left_center_single_right_center_single data_files: - split: train path: left_center_single_right_center_single/train-* - split: validation path: left_center_single_right_center_single/validation-* - split: test path: left_center_single_right_center_single/test-* - config_name: up_center_single_down_center_single data_files: - split: train path: up_center_single_down_center_single/train-* - split: validation path: up_center_single_down_center_single/validation-* - split: test path: up_center_single_down_center_single/test-* --- Dataset from [RAVEN: A Dataset for Relational and Analogical Visual rEasoNing ](https://arxiv.org/abs/1903.02741). Homepage: https://github.com/WellyZhang/RAVEN
提供机构：
HuggingFaceM4
原始信息汇总

数据集概述

数据集配置

1. center_single

  • 特征:
    • panels: 图像列表
    • choices: 图像列表
    • structure: 2维数组，形状为 [1, 8]，数据类型为字符串
    • meta_matrix: 2维数组，形状为 [8, 9]，数据类型为无符号8位整数
    • meta_target: 2维数组，形状为 [1, 9]，数据类型为无符号8位整数
    • meta_structure: 2维数组，形状为 [1, 21]，数据类型为无符号8位整数
    • target: 无符号8位整数
    • id: 32位整数
    • metadata: 字符串
  • 分割:
    • train: 6000个样本，219804916字节
    • validation: 2000个样本，73611915字节
    • test: 2000个样本，73880331字节
  • 下载大小: 213062764字节
  • 数据集大小: 367297162字节

2. distribute_four

  • 特征:
    • panels: 图像列表
    • choices: 图像列表
    • structure: 2维数组，形状为 [1, 8]，数据类型为字符串
    • meta_matrix: 2维数组，形状为 [8, 9]，数据类型为无符号8位整数
    • meta_target: 2维数组，形状为 [1, 9]，数据类型为无符号8位整数
    • meta_structure: 2维数组，形状为 [1, 21]，数据类型为无符号8位整数
    • target: 无符号8位整数
    • id: 32位整数
    • metadata: 字符串
  • 分割:
    • train: 6000个样本，255341749字节
    • validation: 2000个样本，85646249字节
    • test: 2000个样本，85553961字节
  • 下载大小: 272347298字节
  • 数据集大小: 426541959字节

3. distribute_nine

  • 特征:
    • panels: 图像列表
    • choices: 图像列表
    • structure: 2维数组，形状为 [1, 8]，数据类型为字符串
    • meta_matrix: 2维数组，形状为 [8, 9]，数据类型为无符号8位整数
    • meta_target: 2维数组，形状为 [1, 9]，数据类型为无符号8位整数
    • meta_structure: 2维数组，形状为 [1, 21]，数据类型为无符号8位整数
    • target: 无符号8位整数
    • id: 32位整数
    • metadata: 字符串
  • 分割:
    • train: 6000个样本，349108622字节
    • validation: 2000个样本，118133610字节
    • test: 2000个样本，116742247字节
  • 下载大小: 352013405字节
  • 数据集大小: 583984479字节

4. in_center_single_out_center_single

  • 特征:
    • panels: 图像列表
    • choices: 图像列表
    • structure: 2维数组，形状为 [1, 8]，数据类型为字符串
    • meta_matrix: 2维数组，形状为 [8, 9]，数据类型为无符号8位整数
    • meta_target: 2维数组，形状为 [1, 9]，数据类型为无符号8位整数
    • meta_structure: 2维数组，形状为 [1, 21]，数据类型为无符号8位整数
    • target: 无符号8位整数
    • id: 32位整数
    • metadata: 字符串
  • 分割:
    • train: 6000个样本，342483526字节
    • validation: 2000个样本，114191360字节
    • test: 2000个样本，114324613字节
  • 下载大小: 354453412字节
  • 数据集大小: 570999499字节

5. in_distribute_four_out_center_single

  • 特征:
    • panels: 图像列表
    • choices: 图像列表
    • structure: 2维数组，形状为 [1, 8]，数据类型为字符串
    • meta_matrix: 2维数组，形状为 [8, 9]，数据类型为无符号8位整数
    • meta_target: 2维数组，形状为 [1, 9]，数据类型为无符号8位整数
    • meta_structure: 2维数组，形状为 [1, 21]，数据类型为无符号8位整数
    • target: 无符号8位整数
    • id: 32位整数
    • metadata: 字符串
  • 分割:
    • train: 6000个样本，374132580字节
    • validation: 2000个样本，125685012字节
    • test: 2000个样本，124616415字节
  • 下载大小: 371649861字节
  • 数据集大小: 624434007字节

6. left_center_single_right_center_single

  • 特征:
    • panels: 图像列表
    • choices: 图像列表
    • structure: 2维数组，形状为 [1, 8]，数据类型为字符串
    • meta_matrix: 2维数组，形状为 [8, 9]，数据类型为无符号8位整数
    • meta_target: 2维数组，形状为 [1, 9]，数据类型为无符号8位整数
    • meta_structure: 2维数组，形状为 [1, 21]，数据类型为无符号8位整数
    • target: 无符号8位整数
    • id: 32位整数
    • metadata: 字符串
  • 分割:
    • train: 6000个样本，252973967字节
    • validation: 2000个样本，85214590字节
    • test: 2000个样本，84771828字节
  • 下载大小: 238890851字节
  • 数据集大小: 422960385字节

7. up_center_single_down_center_single

  • 特征:
    • panels: 图像列表
    • choices: 图像列表
    • structure: 2维数组，形状为 [1, 8]，数据类型为字符串
    • meta_matrix: 2维数组，形状为 [8, 9]，数据类型为无符号8位整数
    • meta_target: 2维数组，形状为 [1, 9]，数据类型为无符号8位整数
    • meta_structure: 2维数组，形状为 [1, 21]，数据类型为无符号8位整数
    • target: 无符号8位整数
    • id: 32位整数
    • metadata: 字符串
  • 分割:
    • train: 6000个样本，249153679字节
    • validation: 2000个样本，83628250字节
    • test: 2000个样本，83734170字节
  • 下载大小: 246945860字节
  • 数据集大小: 416516099字节
搜集汇总
数据集介绍
main_image_url
构建方式
RAVEN数据集由HuggingFaceM4团队基于同名论文构建，旨在评估机器的关系与类比视觉推理能力。该数据集包含七种配置，如center_single、distribute_four等，每种配置模拟不同的空间布局和推理复杂度。每个样本由一组面板图像（panels）、候选答案图像（choices）以及结构化元数据组成，元数据包括矩阵结构（meta_matrix）、目标元信息（meta_target）和结构编码（meta_structure）。数据通过自动生成方式产生，确保推理模式的可控性与多样性。训练、验证和测试集均分别包含6000、2000和2000个样本，总计约10万例，覆盖从简单中心布局到复杂分布组合的推理任务。
特点
RAVEN数据集的核心特点在于其精细化的推理结构设计。每个样本不仅提供视觉面板，还附带完整的元数据，如8x9的meta_matrix记录面板间关系，meta_structure以21维向量编码推理规则。七种配置分别对应不同的空间与逻辑组合，例如in_center_single_out_center_single涉及内外嵌套，distribute_nine则要求从九宫格中推理。这种设计使数据集能够系统性地评估模型在模式识别、关系映射和类比迁移上的能力。此外，所有图像均为矢量风格，避免了真实图像中的噪声干扰，聚焦于纯推理挑战。
使用方法
使用RAVEN数据集时，可通过HuggingFace Datasets库加载，指定配置名称如'center_single'，并选择训练、验证或测试划分。每个样本的panels字段包含8张面板图像，choices字段提供8个候选答案，target字段为正确答案索引。研究者可提取meta_matrix和meta_structure作为监督信号，用于训练模型预测缺失面板。典型用法包括构建视觉Transformer或关系网络，将面板序列编码后与候选答案对比。数据集支持多任务学习，例如同时预测target和重构meta_matrix，以强化推理能力。加载示例：load_dataset('HuggingFaceM4/RAVEN', 'center_single', split='train')。
背景与挑战
背景概述
在人工智能领域，视觉推理能力被视为衡量模型智能水平的关键标尺，尤其是关系推理与类比推理能力，更是通向通用人工智能的重要基石。RAVEN数据集（Relational and Analogical Visual rEasoNing）正是为攻克这一核心挑战而诞生的里程碑式资源，由Welly Zhang等研究者于2019年提出，旨在系统性地评估和推动视觉推理模型的发展。该数据集基于经典的多矩阵智力测试范式，精心设计了包括中心单一、四分布、九分布等七种不同配置的视觉推理任务，每一任务均包含由抽象图形构成的矩阵谜题，要求模型从给定的候选图像中选出正确补全缺失面板的选项。自发布以来，RAVEN数据集已成为视觉推理领域不可或缺的基准测试平台，深刻影响了后续如RPM（Raven's Progressive Matrices）任务的研究方向，为探索模型在结构感知、规则抽取与泛化能力上的边界提供了严谨的评估框架。
当前挑战
RAVEN数据集所解决的领域问题聚焦于视觉关系推理，其核心挑战在于模型需从有限的视觉信息中抽象出潜在的关系规则（如位置、数量、形状变换等），并应用于未知的新组合，这对现有深度学习模型的符号推理与泛化能力构成了严峻考验。构建过程中，研究者面临多重困难：首先，为确保任务的有效性与可解释性，需要精心设计并生成大量具有可控复杂度的矩阵谜题，涵盖不同的关系类型与分布模式，这要求对刺激材料的属性（如形状、颜色、位置）进行精细的数学编码与组合；其次，数据集的平衡性与难度分层至关重要，既要避免简单模式导致的性能天花板，又要防止过于复杂的任务使模型无法学习，因此需通过元矩阵和结构元数据（如meta_matrix与meta_structure）来精确调控每一道谜题的逻辑结构；此外，生成高质量、无歧义的图像对与干扰项，并保证训练、验证与测试集之间的分布一致性，也是确保评估公正性的技术难点。
常用场景
经典使用场景
RAVEN数据集专为评估和推动视觉推理能力而设计，其核心场景聚焦于抽象视觉类比推理任务。该数据集通过构建包含多种空间关系和属性变换的矩阵图案（如中心单一、分布四格、分布九格等配置），要求模型从给定的候选面板中选出能正确补全矩阵缺失部分的图案。这一过程模拟了人类智力测试中的瑞文推理测验，旨在衡量模型对几何形状、数量、位置、颜色等基本视觉特征及其组合关系的理解与泛化能力。研究者通常利用该数据集训练和测试神经网络，特别是那些致力于模拟人类认知中关系推理与类比思维机制的模型。
衍生相关工作
RAVEN数据集催生了一系列影响深远的经典研究工作。其中，Hahne等人提出的WReN（Wild Relational Network）模型专门针对该数据集，通过引入关系网络来显式建模图案元素间的交互，显著提升了推理准确率。后续的CoPINet（Contrastive Perceptual Inference Network）则结合对比学习，进一步强化了模型对关键关系特征的捕获能力。在视觉-语言融合领域，研究者利用RAVEN评估多模态模型的抽象推理水平，如将自然语言描述与视觉图案对齐进行联合推理。此外，该数据集还启发了诸如I-RAVEN等变体的出现，通过引入新的规则类型和干扰项，持续推动着视觉推理研究的边界拓展。
数据集最近研究
最新研究方向
RAVEN数据集在视觉关系推理与类比学习领域持续发挥关键作用，近期研究聚焦于将其作为基准评估多模态大模型在抽象模式理解与结构化推理上的能力。随着神经符号系统与视觉Transformer的融合趋势，该数据集被广泛用于检验模型能否从离散图像矩阵中自主提取规则并完成类比迁移，这一方向与当前对可解释人工智能及少样本学习的热切关注紧密相连。其多配置设计（如分布四格与中心单格组合）为探索空间关系与属性变换提供了精细控制，推动了从简单模式匹配到复杂逻辑演绎的认知模拟研究，对构建更接近人类智能的视觉推理系统具有深远意义。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
关于我们
遇见数据集——让每个数据集都被发现，让每一次遇见都有价值。
数发科官网www.sfktec.com.cn
联系我们
youjian
selectdataset@iotsh.com.cn
商业合作
数据驱动未来，携手共赢发展
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作