him1411/problemathic
收藏Hugging Face2024-06-27 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/him1411/problemathic
下载链接
链接失效反馈官方服务：
资源简介：
ProbleMathic数据集是在研究论文《Investigating the Robustness of LLMs on Math Word Problems》中引入的。该数据集包含从现有数据集中精选的数学文字问题（MWPs），并根据解决方案的复杂性进行划分。数据集分为简单和复杂的问题集。简单问题集包含仅需单一数学操作即可完全解决的问题，而复杂问题集则需要多步推理和多个数学操作才能获得最终答案。此外，ProbleMathic还包括简单和复杂问题集中所有问题的对抗性变体。这些对抗性变体包含无关的数值信息，但保持原问题的完整性，即它们的解决方案和最终答案与非对抗性变体相同。这些样本用于评估模型在添加噪声情况下的推理能力的鲁棒性。
The ProbleMathic Dataset is designed to evaluate the robustness of Large Language Models (LLMs) on Math Word Problems (MWPs). The dataset is categorized into Simple and Complex problems based on the solution complexity. Simple problems require a single mathematical operation, while Complex problems involve multi-step reasoning and multiple operations. Additionally, the dataset includes adversarial variants of these problems, which contain irrelevant numerical information but maintain the same solution and final answer as their non-adversarial counterparts. This is intended to test the models ability to handle noise. The dataset is split into different configurations for training and testing, each with its own CSV files.
提供机构：
him1411
原始信息汇总
数据集概述
本数据集包含多个配置，每个配置对应不同的数据文件，具体如下：
配置一：Simple Adversarial
- 训练数据：
simple_adversarial_train.csv - 测试数据：
simple_adversarial_test.csv
配置二：Simple Non Adversarial
- 训练数据：
simple_non_adversarial_train.csv - 测试数据：
simple_non_adversarial_test.csv
配置三：Complex Adversarial
- 训练数据：
complex_adversarial_train.csv - 测试数据：
complex_adversarial_test.csv
配置四：Complex Non Adversarial
- 训练数据：
complex_non_adversarial_train.csv - 测试数据：
complex_non_adversarial_test.csv
配置五：GSM-8k-Adv
- 测试数据：
gsm-8k-adv.csv
数据集大小
- 数据量级：1K<n<10K
许可证
- 许可证类型：MIT
