internlm/CapRL-Evaluation-Files

---
license: apache-2.0
task_categories:
- image-text-to-text
language:
- en
---
# CapRL Evaluation Files

This dataset contains the files used by the CapRL Prism evaluation scripts.

## Files

- `json_file/`: 12 Prism evaluation JSON files.
- `bench_image_folder.zip`: images used by the JSON files. After unzipping, it creates `bench_image_folder/`.

Each JSON stores image paths relative to the dataset root, for example:

```text
bench_image_folder/lmm_eval_chartqa/41699051005347.png
```

## Usage

```bash
huggingface-cli download internlm/CapRL-Evaluation-Files --repo-type dataset --local-dir CapRL-Evaluation-Files
cd CapRL-Evaluation-Files
unzip bench_image_folder.zip
```

Use files under `json_file/` as `--data-path` for `Prism_Evaluation/Eval_CapRL.py`, and pass the dataset root as `--image-root`.

Example:

```bash
python -m Eval_CapRL \
--data-path /path/to/CapRL-Evaluation-Files/json_file/lmm_eval_chartqa.json \
--image-root /path/to/CapRL-Evaluation-Files \
--tag chartqa \
...
```

`--image-root` should point to the directory that contains `bench_image_folder/`.

许可证：Apache-2.0
任务类别：
- 图像-文本到文本
语言：
- 英语

# CapRL 评估文件

本数据集包含CapRL Prism评估脚本所需的相关文件。

## 文件列表

- `json_file/`：包含12个Prism评估JSON文件。
- `bench_image_folder.zip`：JSON文件所使用的图像文件。解压后将生成`bench_image_folder/`目录。

每个JSON文件均存储相对于数据集根目录的图像路径，示例如下：

text
bench_image_folder/lmm_eval_chartqa/41699051005347.png

## 使用方法

bash
huggingface-cli download internlm/CapRL-Evaluation-Files --repo-type dataset --local-dir CapRL-Evaluation-Files
cd CapRL-Evaluation-Files
unzip bench_image_folder.zip

将`json_file/`目录下的文件作为`Prism_Evaluation/Eval_CapRL.py`的`--data-path`参数传入，并将数据集根目录作为`--image-root`参数传入。

示例如下：

bash
python -m Eval_CapRL
--data-path /path/to/CapRL-Evaluation-Files/json_file/lmm_eval_chartqa.json
--image-root /path/to/CapRL-Evaluation-Files
--tag chartqa
...

`--image-root`需指向包含`bench_image_folder/`的目录。