Turkish Data Depository：TDD

此数据集是MC4土耳其语料库，OSCAR土耳其语料库和SketchEngine语料库的组合。它们都位于一个文件中，并且已被清理并且几乎被重复，以提高培训绩效。
数据集由82,822,185个文档组成，总计几乎240 GB。最初的23 GB是奥斯卡土耳其语料库，然后是来自MC4土耳其语料库的191 GB，其余的26 GB来自SketchEngine语料库。
文件中的每一行包含1个文档，并且仅包含不带任何id或标签的文本。

搜集汇总

背景与挑战

背景概述

该数据集整合了MC4、OSCAR和SketchEngine的土耳其语料库，经过清理和去重处理，包含约8282万个纯文本文档，总容量近240GB。