BUPT-Reasoning-Lab/THEMIS

--- configs: - config_name: default data_files: - split: train path: "metadata.jsonl" dataset_info: features: - name: file_name dtype: string - name: question_id dtype: string - name: fraud_type dtype: string - name: fraud_sub_types sequence: string - name: ground_truth sequence: string - name: mask_indices sequence: int32 - name: mask_caption dtype: string - name: mask_path dtype: string - name: figure_caption dtype: string - name: figure_related_sentences dtype: string - name: inconsistent_part dtype: string - name: tampered_sentences sequence: string - name: golden_sentences sequence: string - name: metadata struct: - name: all_images_paths sequence: string - name: tampered dtype: bool - name: paper_ids sequence: string - name: panel_ids sequence: string - name: figure_ids sequence: string - name: scenario dtype: string tags: - scientific-paper-fraud-detection - vision-fraud-reasoning - fraud-reasoning - mllm-benchmark pretty_name: THEMIS --- This repository contains the data of the paper [THEMIS: Towards Holistic Evaluation of MLLMs for Scientific Paper Fraud Forensics](https://openreview.net/forum?id=y3UkklvoW9)--- configs: - 配置名称（config_name）: default data_files: - 数据集拆分（split）: train path: "metadata.jsonl" dataset_info: features: - name: 文件名（file_name） dtype: 字符串（string） - name: 问题ID（question_id） dtype: 字符串（string） - name: 欺诈类型（fraud_type） dtype: 字符串（string） - name: 欺诈子类型（fraud_sub_types） sequence: 字符串（string）序列 - name: 真实标注（ground_truth） sequence: 字符串（string）序列 - name: 掩码索引（mask_indices） sequence: int32序列 - name: 掩码说明（mask_caption） dtype: 字符串（string） - name: 掩码路径（mask_path） dtype: 字符串（string） - name: 图片说明（figure_caption） dtype: 字符串（string） - name: 图片相关语句（figure_related_sentences） dtype: 字符串（string） - name: 不一致部分（inconsistent_part） dtype: 字符串（string） - name: 篡改语句（tampered_sentences） sequence: 字符串（string）序列 - name: 标准语句（golden_sentences） sequence: 字符串（string）序列 - name: 元数据（metadata） struct: - name: 所有图片路径（all_images_paths） sequence: 字符串（string）序列 - name: 已篡改（tampered） dtype: 布尔值（bool） - name: 论文ID（paper_ids） sequence: 字符串（string）序列 - name: 面板ID（panel_ids） sequence: 字符串（string）序列 - name: 图片ID（figure_ids） sequence: 字符串（string）序列 - name: 应用场景（scenario） dtype: 字符串（string） tags: - 学术论文欺诈检测（scientific-paper-fraud-detection） - 视觉欺诈推理（vision-fraud-reasoning） - 欺诈推理（fraud-reasoning） - 多模态大语言模型基准（mllm-benchmark） pretty_name: THEMIS 本仓库收录了论文《THEMIS：面向学术论文欺诈取证的多模态大语言模型（Multimodal Large Language Model，MLLM）全面评估》的相关数据集，论文链接为：https://openreview.net/forum?id=y3UkklvoW9