inkoziev/arithmetic

该数据集包含用于训练对话系统的俄语算术问题样本。问题类型包括简单的算术运算、寻找二次方程的根、以及需要理解上下文的问题。数据集中的每个样本都包含一系列相关的对话，形成算术任务的链条，其中新任务的条件需要分析至少前一个对话。此外，数据集的回答不仅包含数字，还包含相关的文本描述。数据集还提供了模型训练后的性能指标，并提到了数据集的生成方法和用途。

---
语言：
- 俄语（ru）
语言创建者：
- 机器生成（machine-generated）
许可证：
- CC BY-NC-4.0
多语言属性：
- 单语言（monolingual）
展示名称：算术（arithmetic）
源数据集：无
标签：无
任务类别：
- 问答（question-answering）
任务子类型：
- 封闭域问答（closed-domain-qa）
---

# 面向对话系统（dialog system）的算术任务数据集

本数据集包含各类简易数学任务样本，示例格式如下：

- 费奥多尔的手电筒使用2节电池，列昂的手电筒使用6节电池。费奥多尔和列昂的手电筒总共需要多少节电池？
- 2+6=8，共需要8节电池。
- 现在将结果加上469，得到多少？
- 8加469等于477
- 除以53，得到多少？
- 9

数据集主体为算术运算类任务，同时包含少量求解一元二次方程（quadratic equation）根的任务：

- 求解一元二次方程a·x² + b·x + c = 0的实根，其中a=45、b=225、c=-270
- 该方程有两个实根：-6和1

此外，数据集还包含一个可扩展的、附带完整解题步骤的任务集合：

- 沼泽森林中栖息着8只土拨鼠。猎人每9天会吃掉1只土拨鼠。12天后还剩下多少只土拨鼠？
- 12天内猎人只会吃掉1只土拨鼠，因此剩余土拨鼠数量为8-1=7只。

部分任务的设计目的是让模型不仅关注数字本身，更要理解数字所处的上下文语境：

- 维卡带了5个橘子到学校。朋友们请求她分享橘子，她分给了朋友们3个。维卡分给了朋友们多少个橘子？
- 3

部分任务中的数字与问题核心并无关联，以此进一步强化模型对上下文语境的依赖：

- 中学77号的老师将8和7相乘，得到了5084。他的计算正确吗？
- 中学77号的老师计算错误，因为8×7=56，而非5084

## 数据格式

每个样本包含一组无"- "前缀的关联对话语句，构成一套算术任务链，其中新任务的求解需要至少基于前一句对话的内容进行分析。

## 回答的词汇多样性

多数任务的回答并非仅包含数字，还会附带相关说明文本：

- 2+2等于多少？
- 2+2等于4

## 生成模型评测指标

在90%的数据集上进行微调（1个训练轮次，学习率1e-5）后，在测试集上得到如下评测指标：

模型名称 数值答案与标准答案的平均偏差 正确答案占比
sberbank-ai/rugpt3small_based_on_gpt2 8.03e+02% 0.057
sberbank-ai/rugpt3medium_based_on_gpt2 2.89e+02% 0.085
sberbank-ai/rugpt3large_based_on_gpt2 1.58e+02% 0.131
facebook/xglm-2.9B 8.13e+02% 0.224

## 样本生成引擎

数据集构建时使用了该GitHub仓库中的模板生成引擎：[https://github.com/Koziev/math](https://github.com/Koziev/math)。

## 数据集使用

本数据集可用于训练[聊天机器人（chatbot）](https://github.com/Koziev/chatbot)。

原始信息汇总

数据集概述

基本信息

• 语言: 俄语 (ru)
• 语言创建者: 机器生成
• 许可证: CC-BY-NC-4.0
• 多语言性: 单语种
• 名称: Арифметические задачи для диалоговой системы

内容描述

• 任务类别: 问答
• 任务ID: 封闭领域问答
• 数据集内容:
  • 包含简单的数学问题，涉及基本的算术运算。
  • 部分问题涉及求解二次方程的实根。
  • 包含逐步解答的问题，强调解题过程。
  • 设计有挑战性的问题，要求模型不仅关注数字，还需理解上下文。

数据格式

• 每个样本包含一系列相关的对话，形成一系列算术任务链，新任务的条件需要至少分析前一个对话。

答案表达多样性

• 许多问题的答案不仅包含数字，还包含相关的文本描述。

模型性能指标

• 在微调后（1个周期，学习率1e-5），不同模型的性能指标如下：
  • 模型: sberbank-ai/rugpt3small_based_on_gpt2
    • 平均数偏差: 8.03e+02%
    • 正确答案比例: 0.057
  • 模型: sberbank-ai/rugpt3medium_based_on_gpt2
    • 平均数偏差: 2.89e+02%
    • 正确答案比例: 0.085
  • 模型: sberbank-ai/rugpt3large_based_on_gpt2
    • 平均数偏差: 1.58e+02%
    • 正确答案比例: 0.131
  • 模型: facebook/xglm-2.9B
    • 平均数偏差: 8.13e+02%
    • 正确答案比例: 0.224

数据集生成

• 使用自定义的模板生成引擎生成数据集，源码位于此GitHub仓库。

数据集用途

• 用于训练聊天机器人，具体项目为此GitHub项目。