pythainlp/thaigov-v2-corpus-22032023

该数据集名为thaigov-v2-corpus-22032023，包含从泰国政府网站收集的新闻文章。这些文章是PyThaiNLP项目的一部分，由Wannaphong Phatthiyaphaibun编译。每篇文章从单一URL提取，包含标题、内容和来源URL。数据集的语言为泰语，许可证为公共领域。数据集的特征包括标题、上下文和URL，分割信息包括训练集的大小和示例数量。

原始信息汇总

数据集概述

基本信息

• 名称: thaigov-v2-corpus-22032023
• 语言: 泰语 (th)
• 许可证: CC0-1.0
• 数据集大小: 252319219 字节
• 下载大小: 85313027 字节
• 大小类别: 10K<n<100K

数据结构

• 特征:
  • title: 字符串类型
  • context: 字符串类型
  • url: 字符串类型
• 分割:
  • 训练集: 30380 个示例，252319219 字节

数据格式

• 每个文件包含一条新闻，从单个URL提取。

• 文件内容格式:

  标题 (空行) 内容 内容 内容 内容 内容 (空行) 来源 (URL): http://www.thaigov.go.th/news/contents/details/NNN

文件命名规则

• 文件名格式: 类别名称_新闻编号.txt

数据处理脚本

• run.py: 用于从指定URL收集数据，URL格式为 http://www.thaigov.go.th/news/contents/details/NNN。
• clean.py: 用于初步清理数据，包括删除前导和尾随空格，以及空行。使用方式包括指定单个或多个文件，或使用通配符处理所有txt文件。