AIML-TUDA/v-lol-trains
收藏数据集卡片
数据集描述
数据集概述
V-LoL 是一个专门设计用于评估机器学习模型视觉逻辑学习能力的诊断数据集。它通过提供复杂的视觉列车 2D 图像，其中分类基于基于规则的逻辑，实现了视觉和逻辑挑战的无缝集成。V-LoL 的基本思想是将经典符号 AI 基准的显式逻辑学习任务集成到视觉复杂的场景中，创造出保留显式逻辑挑战和多功能性的独特视觉输入。通过这样做，V-LoL 弥合了符号 AI 挑战与当代深度学习数据集之间的差距，提供了各种视觉逻辑学习任务，这些任务对从符号到神经和神经符号 AI 的广泛 AI 研究领域的 AI 模型构成挑战。此外，我们提供了一个灵活的数据集生成器，使研究人员能够轻松交换或修改逻辑规则，从而创建包含新颖逻辑学习挑战的新数据集。通过将视觉输入与逻辑推理相结合，该数据集作为评估机器学习模型在视觉上下文中学习和应用逻辑推理能力的综合基准。
支持的任务和排行榜
我们提供了一系列多样化的数据集，这些数据集针对各种推理能力提出了具有挑战性的 AI 任务。以下是可用的 V-LoL 挑战及其相应的数据集拆分的概述：
| V-LoL 挑战 | 训练集 | 验证集 | 训练样本数量 | 验证样本数量 |
|---|---|---|---|---|
| V-LoL-Trains-TheoryX | V-LoL-Trains-TheoryX | V-LoL-Trains-TheoryX | 10000 | 2000 |
| V-LoL-Trains-Numerical | V-LoL-Trains-Numerical | V-LoL-Trains-Numerical | 10000 | 2000 |
| V-LoL-Trains-Complex | V-LoL-Trains-Complex | V-LoL-Trains-Complex | 10000 | 2000 |
| V-LoL-Blocks-TheoryX | V-LoL-Blocks-TheoryX | V-LoL-Blocks-TheoryX | 10000 | 2000 |
| V-LoL-Blocks-Numerical | V-LoL-Blocks-Numerical | V-LoL-Blocks-Numerical | 10000 | 2000 |
| V-LoL-Blocks-Complex | V-LoL-Blocks-Complex | V-LoL-Blocks-Complex | 10000 | 2000 |
| V-LoL-Trains-TheoryX-len7 | V-LoL-Trains-TheoryX | V-LoL-Trains-TheoryX-len7 | 12000 | 2000 |
| V-LoL-Trains-Numerical-len7 | V-LoL-Trains-Numerical | V-LoL-Trains-Numerical-len7 | 12000 | 2000 |
| V-LoL-Trains-Complex-len7 | V-LoL-Trains-Complex | V-LoL-Trains-Complex-len7 | 12000 | 2000 |
| V-LoL-Random-Trains-TheoryX | V-LoL-Trains-TheoryX | V-LoL-Random-Trains-TheoryX | 12000 | 12000 |
| V-LoL-Random-Blocks-TheoryX | V-LoL-Blocks-TheoryX | V-LoL-Random-Blocks-TheoryX | 12000 | 12000 |
语言
英语
数据集结构
数据实例
json { "image": "<PIL.PngImagePlugin.PngImageFile image mode=RGBA size=480x270 at 0x1351D0EE0>", "label": 1 }
数据字段
数据实例包含以下字段：
image: 包含图像的 PIL.Image.Image 对象。label: 一个整数分类标签。
类别标签映射：
| ID | 类别 |
|---|---|
| 0 | Westbound |
| 1 | Eastbound |
数据拆分
请参见任务。
数据集创建
数据集理由
尽管视觉 AI 的最新发展取得了成功，但仍存在不同的缺点；从缺少精确的逻辑推理，到抽象的泛化能力，再到理解复杂和嘈杂的场景。不幸的是，现有的基准测试并未设计用于捕捉这些方面的更多内容。深度学习数据集侧重于视觉复杂的数据，但视觉推理任务简单，而归纳逻辑数据集涉及复杂的逻辑学习任务，但缺乏视觉组件。为了解决这个问题，我们提出了视觉逻辑学习数据集 V-LoL，它无缝地结合了视觉和逻辑挑战。值得注意的是，我们引入了 V-LoL 的第一个实例 V-LoL-Train，这是符号 AI 中经典基准 Michalski 列车问题的视觉再现。通过在多功能框架内结合复杂的视觉场景和灵活的逻辑推理任务，V-LoL-Train 提供了一个平台，用于调查广泛的视觉逻辑学习挑战。为了创建新的 V-LoL 挑战，我们在 GitHub 仓库 中提供了全面的指南和资源。
源数据
初始数据收集和规范化
各个数据集是使用 V-LoL-Train 生成器生成的。请参见 GitHub 仓库。
源语言生产者
请参见 GitHub 仓库。
注释
注释过程
图像生成分为两个步骤：首先采样有效的列车符号表示，然后在 3D 场景中进行可视化。
注释者
注释是使用 Python、Prolog 和 Blender 管道自动生成的。请参见 GitHub 仓库。
个人和敏感信息
数据集不包含个人或敏感信息。
使用数据集的考虑因素
数据集的社会影响
数据集没有社会影响。
偏见讨论
请参见我们的论文。
其他已知限制
请参见我们的论文。
附加信息
数据集策展人
Lukas Helff
许可信息
MIT 许可证
引用信息
plaintext @misc{helff2023vlol, title={V-LoL: A Diagnostic Dataset for Visual Logical Learning}, author={Lukas Helff and Wolfgang Stammer and Hikaru Shindo and Devendra Singh Dhami and Kristian Kersting}, journal={Dataset available from https://sites.google.com/view/v-lol}, year={2023}, eprint={2306.07743}, archivePrefix={arXiv}, primaryClass={cs.AI} }
贡献
Lukas Helff, Wolfgang Stammer, Hikaru Shindo, Devendra Singh Dhami, Kristian Kersting
