ddrg/math_formulas

该数据集包含基于AMPS Khan数据集和ARQMath数据集V1.3的数学公式。通过应用随机化的LaTeX打印，生成了更多等效版本的公式，这些公式适用于MLM（掩码语言模型）任务。例如，对于公式`(a+b)^2 = a^2 + 2ab + b^2`，可以进行掩码处理（如`(a+[MASK])^2 = a^2 + [MASK]ab + b[MASK]2`），掩码标记可以通过上下文推断出来，而对于公式`f(x) = 3x+1`，掩码处理（如`[MASK](x) = 3x[MASK]1`）则会导致掩码标记不明确。

This dataset contains mathematical formulas sourced from the AMPS Khan dataset and the ARQMath dataset V1.3. By applying randomized LaTeX typesetting, additional equivalent versions of these formulas are generated, which are tailored for Masked Language Model (MLM) tasks. For example, for the formula `(a+b)^2 = a^2 + 2ab + b^2`, masking operations can be performed (e.g., `(a+[MASK])^2 = a^2 + [MASK]ab + b[MASK]2`), where the masked tokens can be inferred based on the surrounding context. In contrast, for the formula `f(x) = 3x+1`, applying such masking (e.g., `[MASK](x) = 3x[MASK]1`) will result in ambiguous masked tokens.

原始信息汇总

数据集概述

数据集信息

• 特征:
  • id: 数据类型为 int64
  • text: 数据类型为 string

数据分割

• 训练集:
  • 字节数: 225647910.0
  • 样本数: 2886810
• 测试集:
  • 字节数: 23848817.0
  • 样本数: 311298

数据集大小

• 下载大小: 131762427
• 数据集大小: 249496727.0