---
license: apache-2.0
task_categories:
- feature-extraction
language:
- ru
size_categories:
- 100K<n<1M
---
# RuWANLI
RuWaNLI (Russian-Worker-AI Collaboration for NLI) is a natural language inference dataset inspired by [Liu et al. (2022)](https://arxiv.org/pdf/2201.05955).
We replicated the WaNLI generation pipeline, but for Russian with some changes in labeling process.
See [Dataset Structure](#dataset-structure) for details about the dataset itself and [Dataset Creation](#dataset-creation) for details about the collection process.
## Supported Tasks and Leaderboards
> The dataset can be used to train natural language inference models which determine whether a premise entails (i.e., implies the truth of) a hypothesis, both expressed in natural language. Success on this task is typically measured by achieving a high accuracy.
As we add an additional step, the dataset can be used for sentence encoder training, using contradictions as hard negatives.
## Dataset Structure
Each data instance has the following fields:
- `premise`: a piece of text.
- `hypothesis`: a piece of text that may be true, false, or whose truth conditions may not be known when compared to the premise.
- `label`: either `entailment`, `contradiction`, or `neutral`.
For example:
```json
{
"premise": "Мальчик бежит в детскую игровую комнату с разноцветными шарами.",
"hypothesis": "Мальчик идет спать в свою кровать.",
"label": "contradiction"
}
```
The dataset is split into train/val/test with a ratio of 100000/2360/5000.
The distribution over classes is follow:
<img src="images/pie.jpg" width="50%">
## Dataset Creation
At first, we combine the translated ANLI, SNLI and MNLI datasets into ALLNLI.
Following [Liu et al. (2022)](https://arxiv.org/pdf/2201.05955), we use dataset cartography to identify challenging data samples. We train a classification model based on the backbone of [deepvk/roberta-base](https://huggingface.co/deepvk/roberta-base) for creating data maps. The resulting data map is shown below. Compared to the original paper, we have acquired less a structured figure with less ambiguous examples.
<img src="images/confidence-variability.jpg">
Then, we leverage ChatGPT (`gpt-3.5-turbo`) to generate new examples that are likely to have the same pattern. Afterward, we validate the generated examples using human review, where crowd workers assign a label or revise for quality.
As we want to use RuWANLI for sentence encoder training, we add an extra step to generate missing entailments and contradictions for text/entailment/contradiction triplets using ChatGPT (`gpt-4-turbo`).
### Prompts
#### Prompt for initial generation:
```json
<instruction> Примеры:
<example 1 first sentence>
<label>: <example 1 second sentence>
<example 2 first sentence>
<label>: <example 2 second sentence>
<example 3 first sentence>
<label>: <example 3 second sentence>
<example 4 first sentence>
<label>: <example 4 second sentence>
<example 5 first sentence>
<label>: <example 5 second sentence>
```
Possible values for instructions:
- **contradiction**: Написать 5 пар предложений, которые противоречат друг другу, как и предыдущие примеры.
- **entailment**: Написать 5 пар предложений, как и предыдущие примеры. Второе предложение должно логически следовать из первого.
- **neutral**: Написать 5 пар предложений, которые имеют такую же взаимосвязь, как и предыдущие примеры
#### Prompt for contradiction generation:
```
Я хочу, чтобы ты действовал в качестве генератора данных для NLI датасета. Я буду передавать тебе предложение, которое я назову Q. Для Q ты должен будешь сгенерировать C: противоречие (contradicton). C не должно просто быть отрицанием Q, используй более сложные связи. Все сгенерированные тексты должны быть на русском языке. В качестве ответа верни json с такой структурой: {"query": <текст Q>, "contradiction": <текст C>}.
Примеры пар (Q, C):
1. {
"query": "Области, обслуживаемые дорогами, были застроены и, как правило, переполнены в разгар лета.",
"contradiction": "Застроенные районы наиболее переполнены в мягкие зимние месяцы."
};
2. {
"query": "За человеком, привязанным к веревкам, наблюдает толпа.",
"contradiction": "Человек не привязан к верёвкам."
};
3. {
"query": "Мужчина стоит, читает газету и курит сигару.",
"contradiction": "Мужчина сидит на скамейке."};
Текст Q:
```
#### Prompt for entailment generation:
```
Я хочу, чтобы ты действовал в качестве генератора данных для NLI датасета. Я буду передавать тебе текст, который я назову Q. Для Q ты должен будешь сгенерировать E: логическое следствие (entailment). E не должно просто быть перефразированным текстом Q, используй более сложные связи. Все сгенерированные тексты должны быть на русском языке. В качестве ответа верни json с такой структурой: {"query": <текст Q>, "entailment": <текст E>}.
Примеры пар (Q, E):
1.
{
"query": "Я плачу сто двадцать один доллар в месяц у меня есть еще один год, чтобы заплатить за мой дом.",
"entailment": "Я плачу чуть больше 120 долларов в месяц."
};
2.
{
"query": "Прогресс Японии к парламентской демократии был остановлен в 1930-х годах растущим национализмом, навязанным правительству генералами и адмиралами.",
"entailment": "Рост национализма остановил продвижение Японии к парламентской демократии."
};
3. {
"query": "Если мы решим остаться, многие люди умрут, но мы надеемся, что сможем укусить бандитов на их пути.",
"entailment": "Мы не можем остаться, потому что в противном случае погибнет много мирных жителей."
}.
Текст Q:
```
### Annotation Process
A total of 119 people participated in the annotation process. Each of the 74,258 texts received a rating between 3 and 5 annotators. In addition to one of the three classes, annotators could label the data as a “bad example”. This label serves as a signal for potentially excluding this data from the final version of the dataset. The exclusion occurs if the majority of annotators vote for the poor quality of a specific example.
Despite the model's goal to generate text according to specific classes, additional verification by annotators revealed that only about half of the examples matched the ratings between the model and humans. A major challenge in data preparation was the absence of trusted annotators (“gold labels”), which complicated the filtering of results. To address this, a methodology was developed based on annotators' agreement with the majority. It was determined that removing 16 annotators was optimal, as further removal led to significant data loss. At this point, the Fleiss' kappa index was 0.65 (0.56 without data removal), and the data loss was -5.27%.
<img src="images/kappa.jpg">
### Limitations
For more than half of the metrics, the quality on the test sample increased, but we were unable to achieve the same level of generalization as in the original WANLI study. The issue may be that we are creating synthetic data based on translations rather than original texts. In the table below, values that increased with the substitution of part of the original dataset with RuWANLI are highlighted green. Values not considered in the average calculation are highlighted gray.
<img src="images/results.jpg"/>
### Personal and Sensitive Information
The dataset does not contain any personal information about the authors or the crowd workers.
## Citations
```
@misc{deepvk2024ru_wanli,
title={RuWANLI},
author={Malashenko, Boris and Zemerov, Anton and Spirin, Egor},
url={https://huggingface.co/datasets/deepvk/ru-WANLI},
publisher={Hugging Face}
year={2024},
}
```
