AGI-ARC

AGI-ARC是一个用于人工通用智能的抽象和推理数据集，旨在作为通用人工智能基准、程序合成基准或心理智能测试。它适用于人类和旨在模拟人类般通用流体智能的人工智能系统。

AGI-ARC is an abstract and reasoning dataset for artificial general intelligence (AGI). It is designed to serve as a benchmark for general artificial intelligence and program synthesis, or as a psychological intelligence test. It is suitable for both humans and artificial intelligence systems designed to emulate human-like general fluid intelligence.

原始信息汇总

人工通用智能抽象与推理语料库（AGI-ARC）

数据集描述

AGI-ARC 数据集包含用于人工通用智能的任务数据，以及一个基于浏览器的界面，供人类手动尝试解决这些任务。

任务文件格式

数据集分为两个子目录：

• data/training：包含训练任务文件（400个任务）。用于算法原型设计或训练算法获取与ARC相关的认知先验。
• data/evaluation：包含评估任务文件（400个任务）。用于最终算法的评估。确保公平评估结果，不要将评估集的信息泄露给算法。

任务文件以JSON格式存储，每个任务文件包含一个字典，包含两个字段：

• "train"：演示输入/输出对。通常包含3对。
• "test"：测试输入/输出对。通常包含1对。

每个“对”是一个字典，包含两个字段：

• "input"：输入“网格”。
• "output"：输出“网格”。

“网格”是一个矩形矩阵（列表的列表），包含0到9之间的整数。最小网格尺寸为1x1，最大为30x30。

测试界面使用

测试界面位于apps/testing_interface.html。打开该文件并在浏览器中运行（推荐使用Chrome）。界面会提示选择一个任务JSON文件。

加载任务后，进入测试空间。左侧显示输入/输出对，中间显示当前测试输入网格，右侧显示用于构建相应输出网格的控件。

网格控件

• 调整大小：输入网格尺寸（例如“10x20”或“4x4”）并点击“调整大小”。这会保留现有网格内容（在左上角）。
• 从输入复制：将输入网格复制到输出网格。适用于输出包含输入修改的任务。
• 重置网格：用0填充网格。

符号控件

• 编辑：从颜色选择栏中选择颜色（符号），然后点击单元格设置其颜色。
• 选择：点击并拖动输出网格或输入网格以选择单元格。
  • 选择输出网格上的单元格后，可以从颜色选择栏中选择颜色以设置所选单元格的颜色。适用于绘制实心矩形或线条。
  • 选择输入网格或输出网格上的单元格后，可以按C复制其内容。复制后，可以选择输出网格上的单元格并按“V”粘贴复制的内容。应选择要粘贴区域的左上角单元格。
• 填充：点击输出网格上的单元格以将所有连接的单元格填充为选定颜色。“连接的单元格”是颜色相同的相邻单元格。

答案验证

当输出网格准备就绪时，点击绿色的“提交！”按钮检查答案。不强制执行3次尝试规则。

获得当前测试输入网格的正确答案后，可以使用“下一个测试输入”按钮切换到任务的下一个测试输入网格（如果有）。

完成任务后，使用“加载任务”按钮打开新任务。

搜集汇总

数据集介绍

构建方式

AGI-ARC数据集的构建基于对抽象推理任务的系统化设计，旨在评估人工智能系统的通用智能水平。该数据集包含800个任务，分为训练集和评估集各400个任务。每个任务以JSON格式存储，包含训练和测试输入输出对。训练集用于算法开发和训练，而评估集则用于最终算法的性能评估。任务设计强调对新任务的首次正确解决能力，要求测试者在三次尝试内生成与预期完全匹配的输出网格。

特点

AGI-ARC数据集的显著特点在于其多维度的挑战性和广泛的应用前景。首先，任务涵盖了从简单到复杂的多种抽象推理问题，能够全面评估AI系统的认知能力。其次，数据集的结构设计确保了公平的评估环境，防止信息泄露。此外，任务的多样性和复杂性使其不仅适用于AI系统的性能测试，也可作为人类智力测试的参考。

使用方法

使用AGI-ARC数据集时，开发者可通过加载训练集进行算法原型设计和模型训练，利用评估集进行最终算法的性能验证。数据集提供了一个基于浏览器的测试接口，用户可以手动尝试解决任务，体验任务的复杂性和挑战性。通过该接口，用户可以选择任务文件，使用多种工具如网格调整、内容复制和颜色填充等，逐步构建输出网格并提交答案进行验证。

背景与挑战

背景概述

AGI-ARC（Abstraction and Reasoning Corpus for Artificial General Intelligence）数据集由研究人员和机构创建，旨在评估和提升人工智能系统在抽象推理和问题解决方面的能力。该数据集的核心研究问题是如何衡量和提升人工智能的通用智能水平，使其能够像人类一样进行灵活的推理和问题解决。通过提供一系列复杂的任务和挑战，AGI-ARC不仅为人工智能研究提供了新的基准，还为心理测量学领域的智能测试提供了参考。自创建以来，该数据集在人工智能和认知科学领域产生了深远的影响，推动了通用人工智能的发展。

当前挑战

AGI-ARC数据集在构建和应用过程中面临多项挑战。首先，设计具有广泛适用性的抽象推理任务需要深入理解人类认知过程，这要求研究人员具备跨学科的知识和技能。其次，确保任务的多样性和难度适中，以有效区分不同水平的智能系统，是一个复杂且耗时的过程。此外，数据集的评估标准严格，要求解决方案必须完全匹配预期输出，这对算法的精确性和鲁棒性提出了高要求。最后，如何防止评估过程中的信息泄露，确保算法的公平性和客观性，也是一项重要的挑战。

常用场景

经典使用场景

AGI-ARC数据集的经典使用场景主要集中在评估和提升人工智能系统的抽象推理能力。通过提供一系列复杂的输入输出对，该数据集促使研究者和开发者设计算法，以模拟人类在面对新问题时的灵活思维和解决能力。这种场景不仅适用于通用人工智能（AGI）的基准测试，还可作为程序合成的基准，或作为心理测量智能测试，全面评估智能系统的多维度能力。

实际应用

在实际应用中，AGI-ARC数据集被广泛用于开发和测试能够处理复杂、非结构化问题的智能系统。例如，在教育领域，该数据集可以用于设计智能辅导系统，帮助学生提升逻辑思维和问题解决能力。在工业自动化中，它可以用于训练机器人执行复杂的任务规划和决策。此外，在医疗诊断和金融分析等领域，AGI-ARC也能为开发更为智能和灵活的决策支持系统提供有力支持。

衍生相关工作

AGI-ARC数据集的发布和应用催生了大量相关研究工作。例如，基于该数据集的算法竞赛和挑战赛，推动了多种新型推理算法的开发和优化。同时，许多研究者利用AGI-ARC进行跨学科研究，探索人类认知与人工智能之间的联系，以及如何通过机器学习技术提升人工智能的通用智能水平。此外，该数据集还激发了关于智能评估标准和方法论的深入讨论，促进了人工智能评估体系的完善和发展。