Auttar/KinopoiskReviewsSummarization

--- language: - ru license: mit configs: - config_name: default data_files: - split: train path: data/train-* - split: validation path: data/validation-* - split: test path: data/test-* dataset_info: features: - name: review dtype: string - name: summary dtype: string splits: - name: train num_bytes: 73275740 num_examples: 16360 - name: validation num_bytes: 9124076 num_examples: 2045 - name: test num_bytes: 9047079 num_examples: 2045 download_size: 47979805 dataset_size: 91446895 --- # Kinopoisk Reviews Summarization Dataset ## Описание Датасет для обучения моделей суммаризации отзывов на русском языке. Содержит отзывы о фильмах с сайта Kinopoisk и сгенерированные краткие резюме. ## Структура - `train.json`: 80% данных (обучение) - `validation.json`: 10% данных (валидация) - `test.json`: 10% данных (тестирование) ## Формат данных Каждый пример содержит: - `review`: Полный текст отзыва (строка) - `summary`: Краткое резюме отзыва (строка) ## Источники 1. **Исходные данные**: Отзывы с Kinopoisk (Glepka) 2. **Сгенерированные резюме**: Созданы с использованием дистилляции знаний от LLM 3. **Обработка**: Дополнены собственными примерами для балансировки ## Пример использования ```python from datasets import load_dataset dataset = load_dataset("Auttar/KinopoiskReviewsSummarization") for example in dataset["train"].select(range(3)): print(f"Отзыв: {example['review'][:100]}...") print(f"Резюме: {example['summary']}\n")