benjamin/compoundpiece

该数据集包含从网络上抓取的带连字符和不带连字符的单词，以及复合词和非复合词的数据集，用于论文《CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models》的研究。数据集分为两个配置项：wiktionary和web，分别用于微调和预训练。

原始信息汇总

数据集概述

数据集名称

• CompoundPiece

数据集配置

• 配置名称: wiktionary

  • 训练数据: wiktionary/train.csv
  • 验证数据: wiktionary/valid.csv

• 配置名称: web

  • 训练数据: web/train.csv
  • 验证数据: web/valid.csv

数据集用途

• 用于论文《CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models》的研究。
• 用于预训练的数据集是平衡的连字符和非连字符单词，从网络中抓取。
• 用于微调的数据集包含复合词和非复合词。

数据集加载示例

• 加载预训练数据集: python load_dataset("benjamin/compoundpiece", "web")

• 加载用于微调的数据集: python load_dataset("benjamin/compoundpiece", "wiktionary")

许可证

• MIT