WT-solutions/BG-GSM-Synthetic

---
license: mit
task_categories:
- text2text-generation
language:
- bg
tags:
- math
- evaluation
size_categories:
- n<1K
---

# Overview

This dataset aims to create a bulgarian version of the [GSM-Symbolic dataset](https://arxiv.org/abs/2410.05229)

Code to generate samples is available at our [Github](https://github.com/NikolayBlagoev/Synthetic-GSM)

## BG-GSM-Symbolic
Synthetic Dataset Generation for Large Language Model evaluation. The dataset is generated in the style of GSM-8k, thus it contains relatively easy mathematical questions that a bright grade school student should be able to answer. This project is intended for automatic evaluation of LLMs, which have already been trained on similar math questions.

Our approach generates synthetic samples similar to [GSM Symbolic](https://arxiv.org/html/2410.05229v1). We make use of templates where nouns, adjectives, verbs, and numbers are filled randomly to create a coherent question and answer pair. Thus, data should be completely new to the model at evaluation time.

For example, the question-answer pair in the template:
```JSON
"question": "{n1,noun} има формата на правоъгълник с размери {x1,int} м на {x2,int} м. {x3,int,inv-str} е покрита с {n2,noun--cover,n1}, а останалата част - с {n3,noun--cover,n1}. Каква част е покрита с {n3}?",

"answer": "{n1} има площ дължина * широчина ({x1} * {x2} =<<{x1}*x2>>= {area}).\nПлощта на частта покрита с {n2} e {area} / {x3} =<<{area}/{x3}>>= {x4} квадратни метри.\nОстаналата част, покрита с {n3}, е {area} - {x4}=<<{area}-{x4}>>={x5} кв.м.\n### {x5}"
```

Might produce:

```JSON
"question": "Улица има формата на правоъгълник с размери 12 м на 18 м. Една четвърт е покрита с ябълки, а останалата част - с череши. Каква част е покрита с череши?",

"answer": "Улица има площ дължина * широчина (12 * 18 =<<12*x2>>= 216).\nПлощта на частта покрита с ябълки e 216 / 4 =<<216/4>>= 54.0 квадратни метри.\nОстаналата част, покрита с череши, е 216 - 54.0=<<216-54.0>>=162.0 кв.М\n### 162.0"
```