A benchmark for identifying chemical structures from images and generating correct IUPAC names with explicit evaluation rules.

The IUPAC Multimodal Naming Benchmark is a chemistry-focused benchmark for evaluating whether models can infer the correct chemical name directly from structure images.The task requires multimodal understanding of molecular diagrams and application of chemical naming rules to produce the correct IUPAC name. This benchmark is designed for structured evaluation and includes explicit handling rules for stereochemistry, synonyms, aromatic compounds, tautomeric forms, and ionic compounds. Task Given an image of a chemical structure, the goal is to predict the correct chemical name.This benchmark is intended for: multimodal LLM evaluation chemistry reasoning benchmarks image-to-text scientific understanding exact-match and structured evaluation pipelines Evaluation Policy Each example contains: a canonical expected name optional accepted synonyms a stereochemistry requirement flag metadata notes for special cases Naming rules Stereochemistry is required when explicitly shown in the image. Common names are not accepted unless explicitly listed in the accepted synonym list. Tautomeric alternatives are not accepted unless they match the depicted structure or are explicitly allowed. Salts and ionic compounds must be named as depicted, including relevant counterions. Aromatic compounds follow a predefined canonical naming policy, with optional curated aliases. Dataset Fields Typical fields include: id image_path expected_name accepted_names stereochemistry_required common_names_accepted notes Example Use Cases evaluate multimodal chemistry models compare exact-match naming performance test structured reasoning pipelines benchmark scientific image understanding systems No国际纯粹与应用化学联合会（IUPAC）多模态命名基准是一款聚焦化学领域的基准测试集，用于评估模型能否直接从化学结构图像中推断出正确的化学名称。该任务要求模型对分子结构图实现多模态理解，并应用化学命名规则生成符合规范的IUPAC名称。本基准专为结构化评估设计，针对立体化学、同义词、芳香族化合物、互变异构体形式以及离子化合物均设置了明确的处理规则。 任务 给定一张化学结构图像，核心目标为预测其正确的化学名称。本基准适用于以下场景： - 多模态大语言模型（LLM）评估 - 化学推理基准测试 - 图像到文本的科学理解任务 - 精确匹配与结构化评估流程 评估规则 每个测试样本包含以下内容： - 标准预期名称 - 可选的公认同义词列表 - 立体化学要求标记 - 特殊情况元数据注释 命名规则 1. 若图像中明确标注了立体化学信息，则必须严格遵循该立体化学规则进行命名。 2. 除非明确列入公认同义词列表，否则不得使用通用俗名。 3. 除非与图像描绘的结构完全匹配或经明确允许，否则不得使用互变异构体替代名称。 4. 盐类与离子化合物必须按照图像中的结构进行命名，包括相关的抗衡离子。 5. 芳香族化合物遵循预定义的标准命名规范，仅可使用经过整理的可选别名。 数据集字段 典型字段包括： - 样本编号（id） - 图像路径（image_path） - 预期名称（expected_name） - 公认名称列表（accepted_names） - 立体化学要求标识（stereochemistry_required） - 通用名称允许标识（common_names_accepted） - 注释信息（notes） 应用场景示例 - 评估多模态化学模型 - 对比精确匹配命名性能 - 测试结构化推理流程 - 为科学图像理解系统提供基准测试 无