SNOW T15和T23是面向日语的简化语料库，包含原始日语、简化日语以及对应的英语翻译。其中，T15包含5万条人工简化的对齐句子，T23则是在T15基础上扩展的，包含3.5万条用简单日语词汇改写的句子，并标注了专有名词。这些数据主要用于日语自动文本简化以及简单日语与英语之间的互译任务。数据以xlsx文件格式存储，并采用CC-BY 4.0授权许可。

OpenCSG2024-07-19 更新170

pii-masking-300k

隐私信息脱敏

文本隐私保护

Ai4Privacy PII 300k Dataset是目前全球最大的开放数据集，专注于隐私信息脱敏，旨在训练和评估能够从文本中移除个人身份信息和敏感信息的模型，尤其适用于AI助手和大型语言模型。该数据集包含超过22万条文本条目，共计3040万个文本标记，其中包含760万个PII标记，涵盖27种PII类别，针对教育、健康和心理学等领域的749个讨论主题。同时，它还支持6种语言，包括英语、法语、德语

OpenCSG2024-07-19 更新150

bookcorpus

自然语言处理

文本生成

BookCorpus主要用于文本生成和填充掩码任务。它包含从Smashwords网站抓取的超过7000本英文书籍的文本数据，总大小约为4.85GB。这些书籍最初由作者在Smashwords上自行发布，并按流派进行分类，但数据集本身没有提供明确的标注信息。BookCorpus主要用于非监督训练，但存在数据重复、版权问题和抽样偏差等局限性，使用时需要谨慎。数据集的使用需遵循Smashwords的服务条

OpenCSG2024-07-19 更新350

binding_affinity

蛋白质-配体结合亲和力预测

药物发现

jglaser/binding_affinity 仓库提供蛋白质序列和配体SMILES的结合亲和力数据，共包含190万个独特的配对，适用于微调语言模型。数据来源于BindingDB、PDBbind-cn、BioLIP和BindingMOAD。该仓库提供预处理后的数据集，并支持用户手动进行预处理。用户可以加载预先分割的训练集和验证集，或者选择移除特定蛋白质序列的数据集。

OpenCSG2024-07-19 更新170

MinecraftGameplayCaptions

资源简介：

相关数据集