yasalma/tt-books-cyrillic

--- license: mit language: - tt tags: - tt - tatar - books - monocorpus pretty_name: Collection of books in Tatar language in Cyrillic script --- # Tatar Books Collection (Cyrillic) 📚 This dataset, hosted by [Yasalma](https://huggingface.co/neurotatarlar), is a curated collection of 497 Tatar books in Parquet format. The texts are in Cyrillic script, making this dataset ideal for linguistic research, language modeling, and other NLP applications in the Tatar language. ## Dataset Details - **Language**: Tatar (Cyrillic script) - **Format**: Two Parquet files - Original text - Markdown-formatted text - **Columns**: - train-00000-of-00001.parquet: - `file_name`: The original name of each book’s file - `text`: The full content of each book in raw text - lib-books.parquet: - `text`: The full content of each book in Markdown format - **Important Note**: The books in the two files do not overlap; they are entirely distinct collections. - **Total Number of Books**: 497 - **Total Size**: 180 MB - **License**: MIT ### Structure The dataset is organized as follows: - **train-00000-of-00001.parquet**: Each row represents an individual Tatar book, with columns for the book’s filename (`file_name`) and its content in raw text (`text`). - **lib-books.parquet**: Each row represents an individual Tatar book, with single column in Markdown format(`text`). All links to images have been removed from the Markdown text to ensure compatibility and simplify processing. ## Potential Use Cases - **Language Modeling**: Train language models specifically for Tatar in Cyrillic script. - **Markdown Processing**: Use Markdown-formatted text for specific NLP applications, such as HTML rendering or structured content analysis. - **Machine Translation**: Use the dataset for translation tasks. - **Linguistic Research**: Study linguistic structures, grammar, and vocabulary in Tatar. ## Usage To load the dataset using Hugging Face’s `datasets` library: ```python from datasets import load_dataset dataset = load_dataset("neurotatarlar/tt-books-cyrillic") ``` ## Contributions and Acknowledgements This dataset is maintained by the Yasalma team. Contributions, feedback, and suggestions are welcome to improve and expand the dataset.--- 许可证：MIT许可证 语言： - tt（鞑靼语，ISO语言代码） 标签： - tt（鞑靼语，ISO语言代码） - 鞑靼语 - 书籍 - 单语语料库（monocorpus） 美观名称：西里尔字母鞑靼语书籍合集 --- # 西里尔字母鞑靼语书籍数据集 📚 本数据集由[Yasalma](https://huggingface.co/neurotatarlar)托管，是经精心整理的Parquet格式鞑靼语书籍合集，共收录497本图书。所有文本均采用西里尔字母书写，非常适合用于鞑靼语的语言学研究、语言模型训练及其他自然语言处理（Natural Language Processing，NLP）相关应用。 ## 数据集详情 - **语言**：鞑靼语（西里尔字母书写） - **格式**：包含两个Parquet文件： - 原始文本版本 - Markdown格式化文本版本 - **列字段说明**： - `train-00000-of-00001.parquet`： - `file_name`：对应每本图书的原始文件名 - `text`：每本图书的原始完整文本内容 - `lib-books.parquet`： - `text`：每本图书的Markdown格式完整文本内容 - **重要说明**：两个文件中的图书无重叠，为完全独立的两个合集 - **总收录图书数**：497本 - **总大小**：180 MB - **许可证**：MIT许可证 ## 数据集结构 本数据集的组织形式如下： - **`train-00000-of-00001.parquet`**：每一行对应一本独立的鞑靼语图书，包含图书文件名（`file_name`）与原始文本内容（`text`）两个字段。 - **`lib-books.parquet`**：每一行对应一本独立的鞑靼语图书，仅包含一个Markdown格式的文本字段（`text`）。 为确保兼容性并简化处理流程，Markdown文本中的所有图片链接均已移除。 ## 潜在应用场景 - **语言模型训练**：针对西里尔字母鞑靼语定制训练大语言模型（Large Language Model，LLM）或其他语言模型 - **Markdown文本处理**：可将Markdown格式文本用于特定自然语言处理应用，例如HTML渲染或结构化内容分析 - **机器翻译**：可用于翻译相关任务 - **语言学研究**：可用于研究鞑靼语的语言结构、语法与词汇 ## 使用方法 可通过Hugging Face的`datasets`库加载该数据集，示例代码如下： python from datasets import load_dataset dataset = load_dataset("neurotatarlar/tt-books-cyrillic") ## 贡献与致谢 本数据集由Yasalma团队维护，欢迎大家贡献内容、反馈问题并提出改进建议，以助力该数据集的完善与扩展。