uw-math-ai/MELD-dataset
收藏资源简介：
MELD（数学语言多样性下的等价性）是一个小型、手动策划的评估基准数据集，用于测试数学感知文本嵌入模型是否能够识别描述相同数学事实但使用不同数学子领域（如向量空间与模块理论）词汇、符号和惯例的语句之间的等价性。数据集包含270个正面对，每个正面对由两个等价的数学语句组成，涵盖9个数学领域（代数、概率、基础数学、代数几何、代数拓扑、谱图论、离散数学、表示论和代数组合数学）和18种表述框架。此外，数据集还提供541个干扰项（硬负样本），这些干扰项是表面词汇相似但数学错误的语句，用于增加评估的对抗性。数据集结构包括两个JSON文件：adversarial_theorem_pairs_2.json（包含正面对和干扰项字典）和distractors_all.json（仅干扰项）。数据集设计强调对抗性：正面对在表面词汇上差异大，而干扰项与正确语句表面相似，以迫使模型依赖深层语义而非词汇重叠。该数据集仅用于评估（如配对相似性、检索或三元组评估），不适用于训练，所有语句为英语和LaTeX格式，基于Apache-2.0许可证发布。
MELD (Mathematical Equivalence under Linguistic Diversity) is a small, hand-curated evaluation benchmark for math-aware text embedding models. It tests the capability of recognizing that two statements describing the same mathematical fact are equivalent even when written in the vocabulary, notation, and conventions of different mathematical subfields (e.g., vector spaces vs. module theory). The dataset consists of 270 positive pairs, each containing two equivalent mathematical statements, spanning 9 domains (algebra, probability, foundations, algebraic_geometry, algebraic_topology, spectral_graph_theory, discrete_math, representation_theory, algebraic_combinatorics) and 18 distinct framings. Additionally, it includes a pool of 541 distractor statements (hard negatives) that are superficially similar but mathematically incorrect, designed to create an adversarial evaluation setting. The dataset is structured as two JSON files: adversarial_theorem_pairs_2.json (containing positive pairs and a distractor dictionary) and distractors_all.json (distractors only). It is adversarial by design: positive pairs share underlying meaning but differ in surface tokens, while distractors are lexically close to true statements. MELD is intended for evaluation only (e.g., paired similarity, retrieval, or triplet evaluation), not for training, with all statements in English and LaTeX format, and is released under the Apache-2.0 license.
数据集概述
数据集名称：MELD — Mathematical Equivalence under Linguistic Diversity
发布者：University of Washington Math AI Lab (uw-math-ai)
许可证：Apache-2.0
语言：英语（含 LaTeX 数学公式）
数据集大小：总文件大小 343 kB
数据规模：样本数 < 1K
任务类型
- 句子相似度 (Sentence Similarity)
- 特征提取 (Feature Extraction)
- 文本检索 (Text Retrieval)
标签
mathematics mathlib theorem-embedding retrieval contrastive-learning hard-negatives
数据集结构
MELD 是一个手动的、对抗性的评估基准，用于测试数学感知文本嵌入模型。其核心目标是检验模型能否识别出在不同数学子领域的词汇、符号和惯例下，描述同一数学事实的两个语句是等价的。
数据集包含两个 JSON 文件：
-
adversarial_theorem_pairs_2.json- 包含 270 个正向对 (positive pairs)。
- 每个正向对包含两个语句（
entry_1和entry_2），它们使用不同数学子领域的表述方式（framing）描述同一个数学概念（topic）。 - 同时内嵌了一个与
distractors_all.json相同的干扰项字典。 - 示例条目字段：
id：唯一ID (1-270)domain：源领域（共9个）topic：共享的概念主题entry_1：{ "framing": str, "statement": str }entry_2：{ "framing": str, "statement": str }
-
distractors_all.json- 一个 JSON 对象，将每个表述框架 (framing) 映射到一个干扰项语句列表（硬负例）。
- 干扰项是在词汇上接近真实语句但存在数学错误的描述（如符号翻转、量词减弱等）。
统计信息
| 指标 | 数值 |
|---|---|
| 正向对总数 | 270 |
| 领域数 (Domains) | 9 |
| 不同表述框架数 (Framings) | 18 |
| 每个领域的正向对 | 30 |
| 干扰项语句总数 | 541 |
9个领域：algebra probability foundations algebraic_geometry algebraic_topology spectral_graph_theory discrete_math representation_theory algebraic_combinatorics
18个表述框架：vector spaces module theory probability measure theory set theory category theory geometry commutative algebra topology algebra graph theory linear algebra discrete math complex analysis representation theory Fourier analysis symmetric functions tableaux
评估协议建议
- 配对相似性 / AUC：嵌入正向对中的两个语句，判断其相似度得分是否高于（一条语句，干扰项）组合。
- 检索：将正向对中的一个语句作为查询，从所有正例语句和干扰项池中召回匹配的另一个语句，报告 Recall@k 或 MRR。
- 对比 / 三元组评估：使用（正例1，正例2，干扰项）三元组来衡量正负例之间的间隔。
限制与预期用途
- 仅限评估：数据集很小（270对），适用于诊断性基准测试，不适用模型训练。
- 语言与格式：语句为自然语言数学描述并包含 LaTeX，不含 Lean 或其它形式化表示。
- 对抗性构造：旨在测试特定的失败模式，并非真实世界中定理文本的代表性样本。
- 数据冗余：干扰项字典在
adversarial_theorem_pairs_2.json文件和distractors_all.json文件中重复出现。
