YANG-Cheng/tmp
收藏Hugging Face2024-06-15 更新2024-06-29 收录
下载链接：
https://hf-mirror.com/datasets/YANG-Cheng/tmp
下载链接
链接失效反馈官方服务：
资源简介：
ChartMimic数据集旨在评估大型多模态模型（LMMs）的视觉基础代码生成能力。该数据集包含1000个人工整理的（图表、指令、代码）三元组，这些图表来自不同科学领域的论文，涵盖了18种常规类型和4种高级类型，共191个子类别。数据集还提出了多层次的评估指标，以自动和全面地评估生成的代码和渲染的图表。与现有的代码生成基准不同，ChartMimic强调评估LMMs在视觉理解、代码生成和跨模态推理方面的综合能力。
The ChartMimic dataset aims to assess the visually-grounded code generation capabilities of large multimodal models (LMMs). It includes 1000 human-curated (figure, instruction, code) triplets, representing authentic chart use cases found in scientific papers across various domains. These charts span 18 regular types and 4 advanced types, diversifying into 191 subcategories. Furthermore, the dataset proposes multi-level evaluation metrics to provide an automatic and thorough assessment of the output code and the rendered charts. Unlike existing code generation benchmarks, ChartMimic emphasizes evaluating LMMs’ capacity to harmonize a blend of cognitive capabilities, encompassing visual understanding, code generation, and cross-modal reasoning.
提供机构：
YANG-Cheng
原始信息汇总
数据集概述
数据集名称
- ChartMimic
数据集描述
- 目标：评估大型多模态模型（LMMs）的视觉基础代码生成能力。
- 内容：包含1000个人工策划的（图表、指令、代码）三元组，涵盖科学论文中的真实图表用例，涉及多个领域（如物理学、计算机科学、经济学等）。
- 图表类型：涵盖18种常规类型和4种高级类型，分为191个子类别。
- 评估指标：提出多层次评估指标，自动全面评估输出代码和渲染图表。
数据统计
| 类型 | 数量 | 子类别数 | 代码长度（平均） | 代码长度（标准差） | 难度级别（简单/中等/困难） |
|---|---|---|---|---|---|
| Bar | 100 | 16 | 689.3 | 289.0 | 53/40/7 |
| Line | 80 | 8 | 805.7 | 272.2 | 74/6/0 |
| ErrorBar | 30 | 12 | 651.9 | 146.1 | 17/13/0 |
| Heatmap | 30 | 4 | 664.6 | 303.0 | 0/19/11 |
| Box | 25 | 6 | 659.9 | 248.9 | 15/10/0 |
| Scatters | 25 | 4 | 617.2 | 287.6 | 20/5/0 |
| Hist | 20 | 3 | 507.3 | 161.2 | 13/7/0 |
| Radar | 20 | 6 | 772.2 | 136.4 | 13/7/0 |
| 3D | 15 | 5 | 668.7 | 168.9 | 2/8/5 |
| Pie | 15 | 8 | 385.1 | 123.1 | 10/5/0 |
| ErrorPoint | 10 | 5 | 523.7 | 228.9 | 7/3/0 |
| Violin | 10 | 3 | 912.0 | 298.7 | 4/6/0 |
| Area | 5 | 2 | 832.8 | 177.5 | 4/1/0 |
| Contour | 5 | 3 | 352.8 | 136.7 | 0/0/5 |
| Density | 5 | 4 | 431.8 | 71.9 | 3/2/0 |
| Graph | 5 | 4 | 310.8 | 61.7 | 5/0/0 |
| Quiver | 5 | 4 | 845.0 | 607.0 | 0/2/3 |
| Treemap | 5 | 4 | 302.2 | 34.7 | 5/0/0 |
| Combination | 30 | 30 | 641.9 | 159.0 | 3/19/8 |
| HR | 25 | 25 | 689.9 | 301.5 | 1/4/20 |
| Muiltidiff | 25 | 25 | 788.1 | 331.0 | 0/12/13 |
| PIP | 10 | 10 | 958.9 | 285.9 | 0/0/10 |
| Total | 500 | 101+(90) | 682.9 | 285.1 | 249/169/82 |
数据字段
| 字段 | 描述 |
|---|---|
| Task | 任务类型，可以是"Direct Mimic"或"Customized Mimic"。 |
| ExampleID | 示例ID，由图表类型和数字组合而成（例如，bar_1）。 |
| Instruction | 当前测试示例的文本描述。 |
| InputFigure | 输入图像的文件名，默认为"ori_500/ExampleID.png"。 |
| InputFigureCode | 输入图像的Python代码文件路径，默认为"ori_500/ExampleID.py"。 |
| GroundTruthFigure | 真实图像的文件名，默认为"ori_500/ExampleID.png"或"edit_500/ExampleID.png"。 |
| GroundTruthFigureCode | 真实图像的Python代码文件路径，默认为"ori_500/ExampleID.py"或"edit_500/ExampleID.py"。 |
| Difficulty | 难度级别，可以是"easy"、"medium"或"hard"。 |
数据集下载
-
命令： shell wget https://huggingface.co/datasets/ChartMimic/ChartMimic/blob/main/dataset.zip
-
解压命令： shell cd ChartMimic mkdir dataset unzip dataset.zip
引用
bibtex @article{shi2024chartmimic, title={ChartMimic: Evaluating LMM’s Cross-Modal Reasoning Capability via Chart-to-Code Generation}, author={Chufan Shi and Cheng Yang and Yaxin Liu and Bo Shui and Junjie Wang and Mohan Jing and Linran Xu and Xinyu Zhu and Siheng Li and Yuxiang Zhang and Gongye Liu and Xiaomei Nie and Deng Cai and Yujiu Yang}, year={2024}, }
