lmms-lab/NLVR2

---
dataset_info:
features:
- name: question_id
dtype: string
- name: question
dtype: string
- name: left_image
dtype: image
- name: right_image
dtype: image
- name: answer
dtype: string
- name: writer
dtype: string
- name: synset
dtype: string
- name: query
dtype: string
- name: identifier
dtype: string
- name: extra_validations
dtype: string
- name: left_url
dtype: string
- name: right_url
dtype: string
splits:
- name: balanced_dev
num_bytes: 488008399.0
num_examples: 2300
- name: balanced_test_public
num_bytes: 507142965.656
num_examples: 2316
- name: balanced_test_unseen
num_bytes: 409992570.832
num_examples: 2124
- name: unbalanced_dev
num_bytes: 762577280.968
num_examples: 3562
- name: unbalanced_test_unseen
num_bytes: 804486738.08
num_examples: 3668
- name: unbalanced_test_public
num_bytes: 731416041.32
num_examples: 3536
download_size: 1879819700
dataset_size: 3703623995.856
configs:
- config_name: default
data_files:
- split: balanced_dev
path: data/balanced_dev-*
- split: balanced_test_public
path: data/balanced_test_public-*
- split: balanced_test_unseen
path: data/balanced_test_unseen-*
- split: unbalanced_dev
path: data/unbalanced_dev-*
- split: unbalanced_test_unseen
path: data/unbalanced_test_unseen-*
- split: unbalanced_test_public
path: data/unbalanced_test_public-*
---
# Dataset Card for "nlvr2"

<p align="center" width="100%">
<img src="https://i.postimg.cc/g0QRgMVv/WX20240228-113337-2x.png" width="100%" height="80%">
</p>

# Large-scale Multi-modality Models Evaluation Suite

> Accelerating the development of large-scale multi-modality models (LMMs) with `lmms-eval`

🏠 [Homepage](https://lmms-lab.github.io/) | 📚 [Documentation](docs/README.md) | 🤗 [Huggingface Datasets](https://huggingface.co/lmms-lab)

# This Dataset

This is a formatted version of [NLVR2](https://lil.nlp.cornell.edu/nlvr/). It is used in our `lmms-eval` pipeline to allow for one-click evaluations of large multi-modality models.

```
@inproceedings{suhr2017corpus,
title={A corpus of natural language for visual reasoning},
author={Suhr, Alane and Lewis, Mike and Yeh, James and Artzi, Yoav},
booktitle={Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)},
pages={217--223},
year={2017}
}
```

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息：
特征：
- 名称：question_id（问题ID），数据类型：字符串
- 名称：question（问题），数据类型：字符串
- 名称：left_image（左图像），数据类型：图像
- 名称：right_image（右图像），数据类型：图像
- 名称：answer（答案），数据类型：字符串
- 名称：writer（编写者），数据类型：字符串
- 名称：synset（同义词集），数据类型：字符串
- 名称：query（查询项），数据类型：字符串
- 名称：identifier（标识符），数据类型：字符串
- 名称：extra_validations（额外验证项），数据类型：字符串
- 名称：left_url（左图像URL），数据类型：字符串
- 名称：right_url（右图像URL），数据类型：字符串
划分集：
- 名称：balanced_dev（均衡开发集），数据字节数：488008399.0，样本量：2300
- 名称：balanced_test_public（公开均衡测试集），数据字节数：507142965.656，样本量：2316
- 名称：balanced_test_unseen（未见类均衡测试集），数据字节数：409992570.832，样本量：2124
- 名称：unbalanced_dev（非均衡开发集），数据字节数：762577280.968，样本量：3562
- 名称：unbalanced_test_unseen（未见类非均衡测试集），数据字节数：804486738.08，样本量：3668
- 名称：unbalanced_test_public（公开非均衡测试集），数据字节数：731416041.32，样本量：3536
下载大小：1879819700
数据集总大小：3703623995.856
配置：
- 配置名称：default（默认配置），数据文件：
- 划分集：balanced_dev（均衡开发集），路径：data/balanced_dev-*
- 划分集：balanced_test_public（公开均衡测试集），路径：data/balanced_test_public-*
- 划分集：balanced_test_unseen（未见类均衡测试集），路径：data/balanced_test_unseen-*
- 划分集：unbalanced_dev（非均衡开发集），路径：data/unbalanced_dev-*
- 划分集：unbalanced_test_unseen（未见类非均衡测试集），路径：data/unbalanced_test_unseen-*
- 划分集：unbalanced_test_public（公开非均衡测试集），路径：data/unbalanced_test_public-*
---
# "NLVR2"数据集卡片
<p align="center" width="100%">
<img src="https://i.postimg.cc/g0QRgMVv/WX20240228-113337-2x.png" width="100%" height="80%">
</p>

# 大规模多模态模型评测套件
> 借助`lmms-eval`加速大规模多模态模型（Large-scale Multi-modality Models, LMMs）的研发。

🏠 [主页](https://lmms-lab.github.io/) | 📚 [文档](docs/README.md) | 🤗 [Huggingface数据集仓库](https://huggingface.co/lmms-lab)

# 本数据集
本数据集为[NLVR2](https://lil.nlp.cornell.edu/nlvr/)的格式化版本，被应用于我们的`lmms-eval`评测流程中，可实现大规模多模态模型的一键式评测。

@inproceedings{suhr2017corpus,
title={面向视觉推理的自然语言语料库},
author={Suhr, Alane and Lewis, Mike and Yeh, James and Artzi, Yoav},
booktitle={第55届国际计算语言学协会年会论文集（第2卷：短篇论文）},
pages={217--223},
year={2017}
}

[更多信息待补充](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集信息

特征

• question_id: 字符串类型
• question: 字符串类型
• left_image: 图像类型
• right_image: 图像类型
• answer: 字符串类型
• writer: 字符串类型
• synset: 字符串类型
• query: 字符串类型
• identifier: 字符串类型
• extra_validations: 字符串类型
• left_url: 字符串类型
• right_url: 字符串类型

数据分割

• balanced_dev:
  • 字节数: 488008399.0
  • 样本数: 2300
• balanced_test_public:
  • 字节数: 507142965.656
  • 样本数: 2316
• balanced_test_unseen:
  • 字节数: 409992570.832
  • 样本数: 2124
• unbalanced_dev:
  • 字节数: 762577280.968
  • 样本数: 3562
• unbalanced_test_unseen:
  • 字节数: 804486738.08
  • 样本数: 3668
• unbalanced_test_public:
  • 字节数: 731416041.32
  • 样本数: 3536

数据集大小

• 下载大小: 1879819700 字节
• 数据集大小: 3703623995.856 字节

配置

• config_name: default
  • 数据文件:
    • balanced_dev: data/balanced_dev-*
    • balanced_test_public: data/balanced_test_public-*
    • balanced_test_unseen: data/balanced_test_unseen-*
    • unbalanced_dev: data/unbalanced_dev-*
    • unbalanced_test_unseen: data/unbalanced_test_unseen-*
    • unbalanced_test_public: data/unbalanced_test_public-*