cmarkea/table-vqa

---
language:
- fr
- en
license: apache-2.0
size_categories:
- 10K<n<100K
task_categories:
- text-generation
- text-to-image
- image-to-text
- table-question-answering
- visual-question-answering
dataset_info:
features:
- name: id
dtype: string
- name: paper_id
dtype: string
- name: latex
dtype: string
- name: newcommands
sequence: string
- name: image
dtype: image
- name: model
dtype: string
- name: qa
struct:
- name: en
list:
- name: answer
dtype: string
- name: question
dtype: string
- name: fr
list:
- name: answer
dtype: string
- name: question
dtype: string
splits:
- name: train
num_bytes: 1277095951.0
num_examples: 16415
- name: test
num_bytes: 30261292.0
num_examples: 395
download_size: 3634328121
dataset_size: 1307357243.0
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
tags:
- arXiv
- multimodal
- document-type objects
- table
---

## Dataset description
The table-vqa Dataset integrates images of tables from the dataset [AFTdb](https://huggingface.co/datasets/cmarkea/aftdb) (Arxiv Figure Table Database) curated by cmarkea.

This dataset consists of pairs of table images and corresponding LaTeX source code, with each image linked to an average of ten questions and answers. Half of the Q&A pairs are in English and the other half in French. These questions and answers were generated using Gemini 1.5 Pro and Claude 3.5 sonnet, making the dataset well-suited for multimodal tasks involving image-text pairing and multilingual question answering.

## Loading the dataset
To load the dataset, first install the library `datasets` with:
```bash
pip install datasets
```

Then, use the following code:
```python
from datasets import load_dataset
ds = load_dataset("cmarkea/table-vqa")
```

## Data sample
A sample of the data is structured as follows:
```
{
'id': '786cc06c71854b088ca098fdf2cf20fa',
'latex': '\\begin{tabular}{|r|r|r|r|}\n\\hline\n$\\sqrt{s}$ (GeV) & $\\phi$ (rad) & $\\theta_{C}$ & $\\theta_{AMH}$ \\\\ \\hline\n250 & $0.444 \\pm 0.070$ & $0.0497 \\pm 0.0051$ & $0.36 \\pm 0.10$ \\\\ \\hline\n\\end{tabular}',
'newcommands': [
'\\newcommand{\\toprule}{\\hline}',
'\\newcommand{\\midrule}{\\hline}',
'\\newcommand{\\bottomrule}{\\hline}'
],
'image': <PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=735x70 at 0x7F2420F56550>,
'model': 'claude3.5-sonnet',
'qa': {
'en': [
{
'answer': '250 GeV',
'question': 'What is the center-of-mass energy in GeV for the data presented in the table?'
},
{
'answer': '0.444 ± 0.070 rad',
'question': 'What is the value of φ (phi) in radians according to the table?'
},
{
'answer': '4 significant figures',
'question': 'How many significant figures are reported for the θC (theta C) value?'
},
{
'answer': 'θAMH (theta AMH) with a relative uncertainty of about 28%',
'question': 'Which parameter has the largest relative uncertainty in the table?'
},
{
'answer': '0.4097 (0.0497 + 0.36)',
'question': 'What is the sum of the central values of θC and θAMH?'
}
],
'fr': [
{
'answer': 'GeV (Giga-électronvolt)',
'question': 'Quelle est l'unité de mesure utilisée pour √s dans le tableau?'
},
{
'answer': '0,36 ± 0,10',
'question': 'Quelle est la valeur de θAMH (theta AMH) indiquée dans le tableau?'
},
{
'answer': '4 paramètres',
'question': 'Combien de paramètres sont présentés dans ce tableau?'
},
{
'answer': '± 0,070 rad',
'question': 'Quelle est la précision de la mesure de φ (phi) en radians?'
},
{
'answer': 'θC (theta C) avec une incertitude de ± 0,0051',
'question': 'Quel paramètre a la plus petite incertitude absolue dans le tableau?'
}
]
}
}
```

## Statistical Description

### Repartition by Languages (english and french)

| Split | Language | # images | # Q/A pairs | # Words |
|--|:--------------------:|:----------:|:-----------:|:---------:|
| *train* |
| | en | 16,415 | 82,342 | 1,679,891 |
| | fr | 16,415 | 82,154 | 1,939,728 |
| | Total | 16,415 | 164,496 | 3,619,619 |
| *test* |
| | en | 395 | 1,975 | 40,882 |
| | fr | 395 | 1,975 | 47,297 |
| | Total | 395 | 4,030 | 76,181 |

### Repartition by Model Used for the Generation

| Split | Model | # images | # en Q/A pairs | # fr Q/A pairs | # total Q/A pairs |
|-|----------------:|:----------:|:--------------:|:--------------:|:-----------------:|
| *train* |
| | Claude | 8,247 | 41,235 | 41,235 | 82,470 |
| | Gemini | 8,168 | 41,107 | 40,919 | 82,026 |
| *test* |
| | Claude | 187 | 935 | 935 | 1,870 |
| | Gemini | 208 | 1,040 | 1,040 | 2,080 |

## Field Descriptions
- **id:** Unique identifier for each observation.
- **image:** Pillow image of the table.
- **latex:** LaTeX source code of the table.
- **model:** model used to generate the question-answers pairs (`'claude3.5-sonnet'` or `'gemini-1.5-pro'`)
- **paper_id:** Unique arXiv identifier for each article (the article from which the table was taken).
- **newcommands:** List containing the LaTeX `newcommands` used in the article.
- **qa:** Dictionary containing the pairs of questions and answers in English and French.

Citation
--------

```bibtex
@online{AgDeTQA,
AUTHOR = {Tom Agonnoude, Cyrile Delestre},
URL = {https://huggingface.co/datasets/cmarkea/table-vqa},
YEAR = {2024},
KEYWORDS = {NLP ; Multimodal}
}
```

语言：
- 法语
- 英语
许可协议：Apache 2.0
规模类别：
- 10K<n<100K
任务类别：
- 文本生成
- 文本到图像
- 图像到文本
- 表格问答
- 视觉问答
数据集信息：
特征：
- 名称：id
数据类型：字符串
- 名称：paper_id
数据类型：字符串
- 名称：latex
数据类型：字符串
- 名称：newcommands
数据类型：字符串序列
- 名称：image
数据类型：图像
- 名称：model
数据类型：字符串
- 名称：qa
结构体：
- 名称：en
列表：
- 名称：answer
数据类型：字符串
- 名称：question
数据类型：字符串
- 名称：fr
列表：
- 名称：answer
数据类型：字符串
- 名称：question
数据类型：字符串
数据划分：
- 名称：train
字节数：1277095951.0
样本数：16415
- 名称：test
字节数：30261292.0
样本数：395
下载大小：3634328121
数据集总大小：1307357243.0
配置项：
- 配置名称：default
数据文件：
- 划分：train
路径：data/train-*
- 划分：test
路径：data/test-*
标签：
- arXiv
- 多模态（multimodal）
- 文档类对象
- 表格

## 数据集说明
**table-vqa 数据集**整合了由 cmarkea 整理的 [AFTdb](https://huggingface.co/datasets/cmarkea/aftdb)（ArXiv 图表表格数据库）数据集内的表格图像。
本数据集由表格图像与对应的LaTeX源代码配对组成，每张图像平均对应10组问答对。其中半数问答对为英文，半数为法语。所有问答对均由Gemini 1.5 Pro与Claude 3.5 Sonnet生成，使得本数据集非常适配图像-文本配对、多语言问答等多模态（multimodal）任务。

## 数据集加载
如需加载本数据集，请先通过以下命令安装`datasets`库：
bash
pip install datasets

随后使用如下代码完成加载：
python
from datasets import load_dataset
ds = load_dataset("cmarkea/table-vqa")

## 数据样例
本数据集的一条数据样例结构如下：

{
'id': '786cc06c71854b088ca098fdf2cf20fa',
'latex': '\begin{tabular}{|r|r|r|r|}
\hline
$\sqrt{s}$ (GeV) & $\phi$ (rad) & $\theta_{C}$ & $\theta_{AMH}$ \ \hline
250 & $0.444 \pm 0.070$ & $0.0497 \pm 0.0051$ & $0.36 \pm 0.10$ \ \hline
\end{tabular}',
'newcommands': [
'\newcommand{\toprule}{\hline}',
'\newcommand{\midrule}{\hline}',
'\newcommand{\bottomrule}{\hline}'
],
'image': <PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=735x70 at 0x7F2420F56550>,
'model': 'claude3.5-sonnet',
'qa': {
'en': [
{
'answer': '250 GeV',
'question': 'What is the center-of-mass energy in GeV for the data presented in the table?'
},
{
'answer': '0.444 ± 0.070 rad',
'question': 'What is the value of φ (phi) in radians according to the table?'
},
{
'answer': '4 significant figures',
'question': 'How many significant figures are reported for the θC (theta C) value?'
},
{
'answer': 'θAMH (theta AMH) with a relative uncertainty of about 28%',
'question': 'Which parameter has the largest relative uncertainty in the table?'
},
{
'answer': '0.4097 (0.0497 + 0.36)',
'question': 'What is the sum of the central values of θC and θAMH?'
}
],
'fr': [
{
'answer': 'GeV (Giga-électronvolt)',
'question': 'Quelle est l'unité de mesure utilisée pour √s dans le tableau?'
},
{
'answer': '0,36 ± 0,10',
'question': 'Quelle est la valeur de θAMH (theta AMH) indiquée dans le tableau?'
},
{
'answer': '4 paramètres',
'question': 'Combien de paramètres sont présentés dans ce tableau?'
},
{
'answer': '± 0,070 rad',
'question': 'Quelle est la précision de la mesure de φ (phi) en radians?'
},
{
'answer': 'θC (theta C) avec une incertitude de ± 0,0051',
'question': 'Quel paramètre a la plus petite incertitude absolue dans le tableau?'
}
]
}
}

## 统计说明
### 语言分布
| 数据划分 | 语言 | 图像数量 | 问答对数量 | 单词总数 |
|:-------:|:--------:|:--------:|:----------:|:--------:|
| *训练集* | | | | |
| | 英语 | 16,415 | 82,342 | 1,679,891|
| | 法语 | 16,415 | 82,154 | 1,939,728|
| | 总计 | 16,415 | 164,496 | 3,619,619|
| *测试集* | | | | |
| | 英语 | 395 | 1,975 | 40,882 |
| | 法语 | 395 | 1,975 | 47,297 |
| | 总计 | 395 | 4,030 | 76,181 |

### 生成模型分布
| 数据划分 | 模型 | 图像数量 | 英文问答对数量 | 法文问答对数量 | 总问答对数量 |
|:-------:|:--------:|:--------:|:--------------:|:--------------:|:------------:|
| *训练集* | | | | | |
| | Claude | 8,247 | 41,235 | 41,235 | 82,470 |
| | Gemini | 8,168 | 41,107 | 40,919 | 82,026 |
| *测试集* | | | | | |
| | Claude | 187 | 935 | 935 | 1,870 |
| | Gemini | 208 | 1,040 | 1,040 | 2,080 |

## 字段说明
- **id**：每条数据的唯一标识符。
- **image**：表格的Pillow图像。
- **latex**：表格的LaTeX源代码。
- **model**：用于生成问答对的模型，可选值为`'claude3.5-sonnet'`或`'gemini-1.5-pro'`。
- **paper_id**：表格所属论文的唯一arXiv标识符。
- **newcommands**：论文中使用的LaTeX自定义命令列表。
- **qa**：包含英文与法语问答对的字典。

## 引用格式
bibtex
@online{AgDeTQA,
AUTHOR = {Tom Agonnoude, Cyrile Delestre},
URL = {https://huggingface.co/datasets/cmarkea/table-vqa},
YEAR = {2024},
KEYWORDS = {NLP ; Multimodal}
}

其中关键词为：自然语言处理（Natural Language Processing，NLP）、多模态（multimodal）。