lucasmccabe/logiqa

---
task_categories:
- question-answering
language:
- en
pretty_name: LogiQA
size_categories:
- 1K<n<10K
paperswithcode_id: logiqa
dataset_info:
features:
- name: context
dtype: string
- name: query
dtype: string
- name: options
sequence:
dtype: string
- name: correct_option
dtype: string
splits:
- name: train
num_examples: 7376
- name: validation
num_examples: 651
- name: test
num_examples: 651
---
# Dataset Card for LogiQA

## Dataset Description

- **Homepage:**
- **Repository:**
- **Paper:**
- **Leaderboard:**
- **Point of Contact:**

### Dataset Summary

LogiQA is constructed from the logical comprehension problems from publically available questions of the National Civil Servants Examination of China, which are designed to test the civil servant candidates’ critical thinking and problem solving. This dataset includes the English versions only; the Chinese versions are available via the homepage/original source.

## Dataset Structure

### Data Instances

An example from `train` looks as follows:
```
{'context': 'Continuous exposure to indoor fluorescent lights is beneficial to the health of hamsters with heart disease. One group of hamsters exposed to continuous exposure to fluorescent lights has an average lifespan that is 2.5% longer than another one of the same species but living in a black wall.',
'query': 'Which of the following questions was the initial motivation for conducting the above experiment?',
'options': ['Can hospital light therapy be proved to promote patient recovery?',
'Which one lives longer, the hamster living under the light or the hamster living in the dark?',
'What kind of illness does the hamster have?',
'Do some hamsters need a period of darkness?'],
'correct_option': 0}
```

### Data Fields

- `context`: a `string` feature.
- `query`: a `string` feature.
- `answers`: a `list` feature containing `string` features.
- `correct_option`: a `string` feature.

### Data Splits

|train|validation|test|
|----:|---------:|---:|
| 7376| 651| 651|

## Additional Information

### Dataset Curators

The original LogiQA was produced by Jian Liu, Leyang Cui , Hanmeng Liu, Dandan Huang, Yile Wang, and Yue Zhang.

### Licensing Information

[More Information Needed]

### Citation Information

```
@article{liu2020logiqa,
title={Logiqa: A challenge dataset for machine reading comprehension with logical reasoning},
author={Liu, Jian and Cui, Leyang and Liu, Hanmeng and Huang, Dandan and Wang, Yile and Zhang, Yue},
journal={arXiv preprint arXiv:2007.08124},
year={2020}
}
```

### Contributions

[@lucasmccabe](https://github.com/lucasmccabe) added this dataset.

---
task_categories:
- 问答（question-answering）
language:
- 英语（en）
pretty_name: LogiQA
size_categories:
- 1K<n<10K
paperswithcode_id: logiqa
dataset_info:
features:
- name: context
dtype: string
- name: query
dtype: string
- name: options
sequence:
dtype: string
- name: correct_option
dtype: string
splits:
- name: train
num_examples: 7376
- name: validation
num_examples: 651
- name: test
num_examples: 651
---
# LogiQA数据集卡片

## 数据集描述

- **主页:**
- **代码仓库:**
- **论文:**
- **排行榜:**
- **联系人:**

### 数据集概述

LogiQA数据集取材自中国国家公务员考试公开的逻辑理解试题，这类试题旨在测评应试者的批判性思维与问题解决能力。本数据集仅包含英文版本；中文版本可通过主页/原始来源获取。

## 数据集结构

### 数据实例

以下为`train`划分中的一个示例：

{'context': '持续暴露于室内荧光灯下，对患有心脏病的仓鼠健康有益。一组持续暴露于荧光灯环境中的仓鼠，平均寿命比另一组同品种但生活在黑暗环境中的仓鼠长2.5%。',
'query': '以下哪一项是开展上述实验的初始动机？',
'options': ['医院的灯光疗法能否被证明可促进患者康复？',
'暴露于灯光下的仓鼠与生活在黑暗中的仓鼠，哪一个寿命更长？',
'这类仓鼠患有何种疾病？',
'部分仓鼠是否需要一段黑暗期？'],
'correct_option': 0}

### 数据字段

- `context`: 字符串类型特征
- `query`: 字符串类型特征
- `answers`: 包含字符串元素的列表型特征
- `correct_option`: 字符串类型特征

### 数据划分

| 训练集（train） | 验证集（validation） | 测试集（test） |
|----------------:|-------------------:|--------------:|
| 7376 | 651 | 651 |

## 补充信息

### 数据集构建者

原始LogiQA数据集由刘健、崔乐洋、刘汉萌、黄丹丹、王依乐与张岳共同构建。

### 授权信息

[需补充更多信息]

### 引用信息

@article{liu2020logiqa,
title={Logiqa: A challenge dataset for machine reading comprehension with logical reasoning},
author={Liu, Jian and Cui, Leyang and Liu, Hanmeng and Huang, Dandan and Wang, Yile and Zhang, Yue},
journal={arXiv preprint arXiv:2007.08124},
year={2020}
}

### 贡献说明

[@lucasmccabe](https://github.com/lucasmccabe) 为本数据集的上传贡献了工作。

原始信息汇总

数据集概述

基本信息

• 数据集名称: LogiQA
• 任务类别: 问答（question-answering）
• 语言: 英语（en）
• 数据集大小: 1K<n<10K
• Papers with Code ID: logiqa

数据集结构

数据字段

• context: 字符串类型
• query: 字符串类型
• options: 字符串序列
• correct_option: 字符串类型

数据分割

• 训练集: 7376个样本
• 验证集: 651个样本
• 测试集: 651个样本

数据集来源

LogiQA是从中国国家公务员考试的逻辑理解问题中构建的，旨在测试公务员候选人的批判性思维和问题解决能力。该数据集仅包含英文版本。

搜集汇总

数据集介绍

构建方式

LogiQA数据集源自中国国家公务员考试中公开的逻辑理解题目，这些题目旨在评估应试者的批判性思维与问题解决能力。该数据集由Jian Liu、Leyang Cui等学者构建，选取了英文版本的题目，而中文版本则可通过原始来源获取。数据集的构建过程涉及从大量考试题目中筛选出逻辑推理相关的问答对，确保每个样本包含上下文、问题、选项及正确答案。最终数据集划分为训练集、验证集和测试集，分别包含7376、651和651个样本，为机器阅读理解与逻辑推理研究提供了标准化的评估基准。

特点

LogiQA数据集的核心特点在于其专注于逻辑推理能力，样本来源于真实的公务员考试，具有高度的领域权威性和挑战性。每个样本包含丰富的上下文信息、明确的问题、多个选项以及唯一的正确答案，结构清晰且易于处理。数据集的规模适中，训练集样本数超过七千，验证集和测试集各六百余，适合用于模型训练与性能评估。此外，数据集仅提供英文版本，降低了多语言处理的复杂性，同时保持了逻辑推理任务的纯粹性，使其成为评估机器学习模型逻辑理解能力的重要资源。

使用方法

使用LogiQA数据集时，可直接通过HuggingFace的datasets库加载，无需额外预处理。数据集支持常见的机器学习框架，如PyTorch和TensorFlow，用户可根据任务需求将样本中的context、query、options和correct_option字段映射为模型输入输出。建议将训练集用于模型训练，验证集用于超参数调优，测试集用于最终性能评估。由于任务是多项选择问答，模型需从options中选择与correct_option匹配的索引，可结合交叉熵损失函数进行优化。此外，研究者可参考原始论文中的基线方法，以复现或改进逻辑推理性能。

背景与挑战

背景概述

LogiQA数据集由Jian Liu、Leyang Cui、Hanmeng Liu、Dandan Huang、Yile Wang和Yue Zhang于2020年创建，旨在推动机器阅读理解中的逻辑推理能力研究。该数据集源自中国国家公务员考试中公开的逻辑理解题目，这些题目专门用于评估应试者的批判性思维与问题解决能力。通过将中文原题翻译为英文版本，LogiQA为自然语言处理领域提供了一个独特的基准，填补了现有数据集在复杂逻辑推理任务上的空白。其影响力体现在促使研究者关注模型超越表面文本匹配、深入理解因果、类比及演绎等逻辑关系的能力，成为评估大型语言模型推理性能的关键资源之一。

当前挑战

LogiQA所解决的领域问题在于机器阅读理解中逻辑推理的瓶颈：现有模型常在需要多步推理或常识整合的任务中失败，而该数据集通过设计包含否定、条件、因果等逻辑结构的题目，挑战模型对隐含关系的提取能力。在构建过程中，研究人员面临的主要挑战包括：确保题目翻译后仍保留原意的逻辑严谨性、平衡不同推理类型的题目分布以避免偏差，以及从海量考试题库中筛选出适合学术评估的高质量样本。此外，由于题目涉及复杂语境，标注正确答案需依赖专家共识，增加了数据收集的难度与成本。

常用场景

经典使用场景

LogiQA数据集广泛用于机器阅读理解与逻辑推理能力的评估，其经典场景在于要求模型在给定上下文和查询的基础上，从多个选项中选出正确答案。该数据集源自中国国家公务员考试的逻辑理解题目，内容涵盖因果推断、条件推理、类比分析等复杂逻辑关系，旨在测试模型的深层语义理解与演绎推理能力。研究者常将其作为基准，衡量模型在自然语言处理中超越浅层模式匹配、实现真正逻辑推理的进展。

实际应用

在实际应用中，LogiQA所代表的逻辑推理能力对智能教育、法律辅助和智能客服等领域具有重要价值。例如，在自动化考试系统中，模型需像考生一样分析题目中的逻辑结构并给出准确答案；在法律文本分析中，逻辑推理有助于判断条款间的矛盾或因果关系；在复杂问答系统中，LogiQA的范式可迁移至需要多步推理的对话场景，提升系统对用户隐含意图的捕捉能力。这些应用均受益于LogiQA对逻辑思维评估的严格标准。

衍生相关工作

LogiQA衍生了一系列经典工作，包括基于对比学习的逻辑推理增强模型、图神经网络用于关系推理的方法，以及多任务学习框架融合逻辑规则的方法。例如，研究者提出将逻辑表达式与文本表示结合，通过显式推理路径提升准确率；同时，LogiQA也被用作评估大语言模型推理能力的核心基准，催生了如Chain-of-Thought提示技术和自洽性解码策略等创新。这些工作不仅深化了对逻辑推理机制的理解，也推动了NLP领域向更智能的认知系统演进。