badranx/opus_raw

OPUS提供的单语语料库资源，允许用户加载来自opus.nlpl.eu的任何原始单语语料库。使用时需提供语料库名称、版本和目标语言代码。数据集结构简单，包含id和text字段，其中text包含一个或多个句子，不超过一个段落。

原始信息汇总

数据集概述

数据来源

• 数据集来源于OPUS平台，该平台提供多种平行语料库，特别是单一语言的语料库。
• 用户可以通过opus.nlpl.eu加载任何原始的单一语言语料库。

数据获取

• 使用数据集需要提供语料库名称、版本和目标语言代码。
• 语料库名称和版本通过空格分隔的字符串提供，例如：News-Commentary v16。

数据集配置

• 数据集不提供默认数据，需通过配置参数corpus和lang来指定。
• 示例代码： python dataset = load_dataset(badranx/opus_raw, corpus="News-Commentary v16", lang="de")

数据结构

• 数据集结构简单，包含两个字段：
  • id: 字符串类型。
  • text: 字符串类型，包含一个或多个句子，不超过一个段落。