brl-xfact/blv_eye4b

---
dataset_info:
features:
- name: image
dtype: image
- name: request
dtype: string
- name: response
dtype: string
- name: overall_score
dtype: float64
- name: avg_score
dtype: float64
splits:
- name: test
num_bytes: 141712566.0
num_examples: 98
download_size: 22285968
dataset_size: 141712566.0
configs:
- config_name: default
data_files:
- split: test
path: data/test-*
---
## Eye4B Dataset

📃 Can LVLMs and Automatic Metrics Capture Underlying Preferences of Blind and Low-Vision Individuals for Navigational Aid? [](https://arxiv.org/abs/2502.14883)

😀 We are excited to release the Eye4B dataset, a human-validated image-request-LVLM response data annotated with BLV preference scores!
This evaluation dataset can be used to assess (1) LVLM responses and (2) automatic metrics from perspectives of BLV preference alignment.

## Bibtex

```bash
@misc{an2025lvlmsautomaticmetricscapture,
title={Can LVLMs and Automatic Metrics Capture Underlying Preferences of Blind and Low-Vision Individuals for Navigational Aid?},
author={Na Min An and Eunki Kim and Wan Ju Kang and Sangryul Kim and Hyunjung Shim and James Thorne},
year={2025},
eprint={2502.14883},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2502.14883},
}
```

数据集信息：
特征：
- 名称：图像（image），数据类型：图像（image）
- 名称：请求文本（request），数据类型：字符串（string）
- 名称：回复文本（response），数据类型：字符串（string）
- 名称：整体评分（overall_score），数据类型：双精度浮点数（float64）
- 名称：平均评分（avg_score），数据类型：双精度浮点数（float64）
数据集划分：
- 名称：测试集（test），占用字节数：141712566.0，样本数量：98
下载大小：22285968 字节
数据集总大小：141712566.0 字节
配置项：
- 配置名称：默认（default），数据文件：
- 划分：测试集（test），路径：data/test-*

# Eye4B 数据集
📃 《LVLMs与自动指标能否捕捉视障与低视力人群对导航辅助工具的潜在偏好？》[![arXiv]("https://img.shields.io/badge/arXiv-2502.14883-b31b1b.svg")]("https://arxiv.org/abs/2502.14883")
😀 我们很高兴发布Eye4B数据集——这是一项经过人工验证的图像-请求-大视觉语言模型（Large Vision Language Model，LVLM）回复数据集，标注了视障与低视力（Blind and Low-Vision，BLV）偏好评分！
本评估数据集可用于从两大维度开展评估：(1) 大视觉语言模型回复质量，(2) 自动评估指标与视障与低视力人群偏好的对齐程度。

## Bibtex
bash
@misc{an2025lvlmsautomaticmetricscapture,
title={Can LVLMs and Automatic Metrics Capture Underlying Preferences of Blind and Low-Vision Individuals for Navigational Aid?},
author={Na Min An and Eunki Kim and Wan Ju Kang and Sangryul Kim and Hyunjung Shim and James Thorne},
year={2025},
eprint={2502.14883},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2502.14883},
}