BroDeadlines/CRAWL.TDT.dai-hoc

---
dataset_info:
features:
- name: url
dtype: string
- name: html_name
dtype: string
- name: skipped
dtype: string
- name: markdown
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 80237767
num_examples: 2995
download_size: 54712602
dataset_size: 80237767
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

# TDT crawl website data

Crawled on 2023, this dataset has the following properties:
- Filter out "news" information
- Have information about university clubs, lecturers, other department websites,...

数据集信息：
特征字段：
- 名称：url，数据类型：字符串
- 名称：html_name，数据类型：字符串
- 名称：skipped，数据类型：字符串
- 名称：markdown，数据类型：字符串
- 名称：text，数据类型：字符串
数据集划分：
- 划分名称：训练集，字节占用：80237767，样本总数：2995
下载大小：54712602，数据集总字节数：80237767
配置项：
- 配置名称：默认，数据文件：
- 对应划分：训练集，文件路径：data/train-*

# TDT 爬取网站数据集
本数据集于2023年完成爬取，具备如下特性：
- 已过滤"新闻"类信息
- 涵盖高校社团、教职员工、院系官网等相关内容