sci-benchmark/self-contradictory

该数据集是ECCV24论文《Dissecting Dissonance: Benchmarking Large Multimodal Models Against Self-Contradictory Instructions》的官方数据集。数据集分为language-language和vision-language两大类，每类下又有多个子配置。每个配置包含不同的特征，如context、violation、question、img等。数据集的使用示例提供了Python代码，展示了如何加载和使用数据集。

原始信息汇总

数据集概述

语言-语言数据集

language-language-1

• 特征:
  • context: string
  • violation: string
  • question: string
• 分割:
  • small: 7138 bytes, 25 examples
  • medium: 73709 bytes, 250 examples
  • full: 831007 bytes, 2500 examples
• 下载大小: 438792 bytes
• 数据集大小: 911854 bytes

language-language-2

• 特征:
  • context: string
  • violation: string
  • question: string
• 分割:
  • small: 36214 bytes, 25 examples
  • medium: 389489 bytes, 250 examples
  • full: 3928775 bytes, 2500 examples
• 下载大小: 0 bytes
• 数据集大小: 4354478 bytes

language-language-3

• 特征:
  • instruction1: string
  • instruction2: string
  • context: string
• 分割:
  • small: 19597 bytes, 25 examples
  • medium: 198516 bytes, 250 examples
  • full: 1977170 bytes, 2500 examples
• 下载大小: 280272 bytes
• 数据集大小: 2195283 bytes

language-language-4

• 特征:
  • object: string
  • question: string
  • prompt: string
  • field: string
• 分割:
  • small: 13815 bytes, 25 examples
  • medium: 133962 bytes, 250 examples
  • full: 1362454 bytes, 2500 examples
• 下载大小: 616010 bytes
• 数据集大小: 1510231 bytes

视觉-语言数据集

vision-language-1

• 特征:
  • context: string
  • img: image
• 分割:
  • small: 727895.0 bytes, 15 examples
  • medium: 7327050.0 bytes, 150 examples
  • full: 80297026.48 bytes, 1590 examples
• 下载大小: 28095399 bytes
• 数据集大小: 88351971.48 bytes

vision-language-2

• 特征:
  • context1: string
  • context2: string
  • img: image
• 分割:
  • small: 1180429 bytes, 15 examples
  • medium: 12380274 bytes, 150 examples
  • full: 119183307.653 bytes, 1461 examples
• 下载大小: 123412830 bytes
• 数据集大小: 132744010.653 bytes

vision-language-3

• 特征:
  • context: string
  • img: image
• 分割:
  • small: 196243.0 bytes, 20 examples
  • medium: 1965597.0 bytes, 200 examples
  • full: 19361970.0 bytes, 2000 examples
• 下载大小: 18515602 bytes
• 数据集大小: 21523810.0 bytes

vision-language-4

• 特征:
  • label: int32
  • question: string
  • substitute_question: string
  • object: string
  • img: image
• 分割:
  • small: 36322679 bytes, 50 examples
  • medium: 224922807 bytes, 500 examples
  • full: 2142965441.58 bytes, 4949 examples
• 下载大小: 453840693 bytes
• 数据集大小: 2404210927.58 bytes