yajuniverse/BlinkCode

BlinkCode是一个创新的基准测试，旨在评估多模态大语言模型（MLLMs）的编码能力，特别是那些具备视觉功能的代理。该基准测试包含1000个编码问题，分为9个不同的任务，旨在测试复杂推理、规划、工具使用和基于视觉信息的交互细化等能力。数据集的特征包括id、path、decoded_image、type、ocr_result、query、function_name、evaluation_function和reference_answer。数据集分为多个部分，如Webpage、Matplotlib、HumanEval_V等，每个部分都有相应的字节数和示例数。

原始信息汇总

数据集概述

基本信息

• 语言: 英语
• 许可证: MIT
• 数据集大小: 94,026,621.0 字节
• 下载大小: 93,259,232 字节
• 任务类别:
  • 图像到文本
  • 问答
  • 文本生成
• 标签:
  • 代码生成
  • 多模态
  • 视觉编程
  • 代理
  • 编码技能
  • 多模态问答

数据集结构

特征

• id: 整数类型
• path: 字符串类型
• decoded_image: 图像类型
• type: 字符串类型
• ocr_result: 字符串类型
• query: 字符串类型
• function_name: 字符串类型
• evaluation_function: 字符串类型
• reference_answer: 字符串类型

数据分割

• Webpage: 122 个样本, 8,062,895.0 字节
• Matplotlib: 110 个样本, 6,548,766.0 字节
• HumanEval_V: 120 个样本, 3,611,252.0 字节
• MBPP_V: 120 个样本, 2,485,117.0 字节
• GSM8K_V: 114 个样本, 5,077,670.0 字节
• MATH_V: 91 个样本, 15,046,826.0 字节
• SVG: 106 个样本, 384,696.0 字节
• TikZ: 100 个样本, 7,813,902.0 字节
• VP: 117 个样本, 44,995,497.0 字节

配置

• config_name: default
  • 数据文件:
    • Webpage: data/Webpage-*
    • Matplotlib: data/Matplotlib-*
    • HumanEval_V: data/HumanEval_V-*
    • MBPP_V: data/MBPP_V-*
    • GSM8K_V: data/GSM8K_V-*
    • MATH_V: data/MATH_V-*
    • SVG: data/SVG-*
    • TikZ: data/TikZ-*
    • VP: data/VP-*