LARC

LARC数据集是从一个沟通游戏中精心挑选出来的，其中一个参与者（描述者）解决了一个ARC任务，并向另一个参与者（构建者）描述了解决方案，后者必须仅使用该描述在新输入上解决任务。成功的描述在某种意义上是语言完整的，即它完全捕捉了底层ARC任务，而无需原始的输入-输出示例。

The LARC dataset is meticulously curated from a communication game where one participant (the describer) solves an ARC task and describes the solution to another participant (the builder), who must then solve the task on new inputs using only this description. A successful description is linguistically complete in the sense that it fully captures the underlying ARC task without the need for the original input-output examples.

原始信息汇总

LARC数据集概述

数据集描述

LARC（Language-complete Abstraction and Reasoning Corpus）数据集源自一个沟通游戏，其中描述者解决ARC任务并向构建者描述解决方案，构建者必须仅使用描述来解决新输入的任务。成功的描述被认为是“语言完整的”，即在没有原始输入-输出示例的情况下完全捕捉了基础ARC任务。

数据集内容

• dataset：包含语言完整的ARC任务和成功的自然程序短语注释。
• explorer：包含探索器代码，允许轻松浏览注释任务。
• collection：包含用于策划数据集的源代码。
• bandit：包含用于收集的强盗算法的环境和公式。

数据集目标

数据集的目标在于研究自然程序——人类之间交流如何解决任务的指令，类似于计算机程序，这些指令可以可靠地“执行”以产生预期的输出。

引用信息

@article{acquaviva2021communicating, title={Communicating Natural Programs to Humans and Machines}, author={Acquaviva, Samuel and Pu, Yewen and Kryven, Marta and Wong, Catherine and Ecanow, Gabrielle E and Nye, Maxwell and Sechopoulos, Theodoros and Tessler, Michael Henry and Tenenbaum, Joshua B}, journal={arXiv preprint arXiv:2106.07824}, year={2021} }

许可证

• 数据集：Creative Commons Attribution 4.0 International License
• 支持代码：MIT License

搜集汇总

数据集介绍

构建方式

LARC数据集的构建源于一种通信游戏，其中一名参与者（描述者）解决一个ARC任务，并将其解决方案描述给另一名参与者（构建者）。构建者仅依据描述在新的输入上解决任务。成功的描述被认为是“语言完备”的，因为它们在没有原始输入输出示例的情况下完全捕捉了底层ARC任务。这一过程确保了数据集的高质量和实用性。

特点

LARC数据集的特点在于其语言完备性，即通过自然语言描述完全捕捉了ARC任务的复杂性。数据集包含了语言完备的ARC任务和成功的自然程序短语注释，使得研究者能够深入理解人类如何通过自然语言传达复杂任务的解决方案。此外，数据集还提供了探索工具和源代码，便于用户浏览和进一步研究。

使用方法

LARC数据集的使用方法包括通过提供的探索工具浏览注释任务，利用源代码进行数据集的进一步研究和扩展。研究者可以通过分析语言完备的ARC任务和自然程序短语注释，探索自然语言在程序合成中的应用。此外，数据集还支持语言引导的程序合成代码，为开发智能系统提供了丰富的资源。

背景与挑战

背景概述

LARC（Language-complete Abstraction and Reasoning Corpus）数据集由Samuel Acquaviva等人于2021年提出，旨在研究如何通过自然语言指令实现人类水平的智能系统性能。该数据集基于抽象与推理任务（ARC），通过一种通信游戏的形式构建，其中描述者（describer）通过自然语言描述解决ARC任务的方法，而构建者（builder）则仅依赖这些描述来解决新的输入任务。LARC的核心研究问题在于探索自然程序（natural programs）如何被人类和机器理解和执行，从而推动语言引导的程序合成领域的发展。该数据集在NeurIPS 2022上作为基准数据集发布，对人工智能领域的语言理解和程序合成研究具有重要影响。

当前挑战

LARC数据集面临的挑战主要体现在两个方面。首先，在领域问题层面，如何通过自然语言描述完整捕捉复杂的抽象与推理任务（ARC）的逻辑，并确保这些描述能够被机器准确执行，是一个极具挑战性的问题。这要求描述不仅具备高度的精确性，还需具备足够的泛化能力。其次，在数据集构建过程中，如何设计有效的通信游戏机制，确保描述者与构建者之间的交互能够生成高质量的自然程序描述，同时避免信息丢失或误解，也是一个关键挑战。此外，如何评估和验证这些自然程序描述的有效性，尤其是在不同任务和上下文中的适用性，进一步增加了数据集构建的复杂性。

常用场景

经典使用场景

LARC数据集在人工智能领域中被广泛用于研究语言引导的程序合成问题。通过模拟人类在解决抽象推理任务时的自然语言描述，该数据集为研究者提供了一个独特的视角，以探索如何通过自然语言指令来引导机器完成复杂的任务。这种使用场景特别适用于那些需要高抽象层次推理的领域，如自动化编程和智能辅助系统。

衍生相关工作

LARC数据集衍生了一系列经典的研究工作，特别是在语言引导的程序合成领域。例如，基于LARC的语言引导程序合成代码库为研究者提供了实验平台，进一步推动了该领域的发展。此外，GPT-4在LARC上的程序归纳实验结果也为大语言模型在抽象推理任务中的应用提供了新的研究方向。这些工作不仅扩展了LARC的应用范围，还为未来的研究奠定了坚实的基础。

数据集最近研究

最新研究方向

在人工智能领域，LARC数据集为语言引导的程序合成提供了独特的研究视角。该数据集通过自然语言描述与抽象推理任务（ARC）的结合，探索了如何通过人类语言指令实现复杂任务的自动化解决。近年来，研究者们利用LARC数据集，深入研究了语言与程序之间的映射关系，尤其是在无需原始输入输出示例的情况下，如何通过自然语言描述完整捕捉任务的核心逻辑。这一研究方向不仅推动了语言引导的程序合成技术的发展，还为构建能够理解并执行人类指令的智能系统提供了重要参考。此外，LARC数据集的应用还延伸至多模态学习领域，例如结合GPT-4等大型语言模型，探索其在视觉任务中的程序归纳能力，进一步拓展了其在通用人工智能研究中的潜力。