sobir-hf/tajik-text-segmentation
收藏Hugging Face2023-06-14 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/sobir-hf/tajik-text-segmentation
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含塔吉克语文本，带有句子注释，可用于训练和评估句子级别的文本分割算法。数据集包含超过100个短文本和长文本，以及超过3000个带注释的句子。文本来源多样，包括新闻、文章、小说、古典文本、诗歌和宗教文本。数据集特别包含了一些难以分割的段落，这些段落如果仅通过句号分割会导致不良的分割结果。数据集未进行预处理，仅减少了连续的空格和换行符，保留了从网页复制粘贴时的原始格式，这有助于训练算法对噪声的鲁棒性。
该数据集包含塔吉克语文本，带有句子注释，可用于训练和评估句子级别的文本分割算法。数据集包含超过100个短文本和长文本，以及超过3000个带注释的句子。文本来源多样，包括新闻、文章、小说、古典文本、诗歌和宗教文本。数据集特别包含了一些难以分割的段落，这些段落如果仅通过句号分割会导致不良的分割结果。数据集未进行预处理，仅减少了连续的空格和换行符，保留了从网页复制粘贴时的原始格式，这有助于训练算法对噪声的鲁棒性。
提供机构：
sobir-hf
原始信息汇总
数据集概述
基本信息
- 许可证: Apache-2.0
- 任务类别: 特征提取
- 语言: 塔吉克语 (tg)
- 标签: 文本分割, 自然语言处理 (NLP), 塔吉克语, 句子分割
- 美观名称: 塔吉克句子级文本分割
- 大小类别: 1K<n<10K
数据内容
- 包含超过100篇长短不一的塔吉克语文本，以及超过3000条标注的句子。
- 文本来源广泛，包括新闻、文章、小说、古典文本、诗歌和宗教文本。
- 特别包含较多“难以”分割的段落，以挑战基于句点“.”的分割方法。
数据处理
- 除去除连续空格和换行符外，未进行其他预处理。
- 文本格式有时较差，以增强训练算法对噪声的鲁棒性。
