hammershock/HBK08-subtitles

---
license: mit
task_categories:
- text-generation
- text2text-generation
- text-classification
language:
- zh
size_categories:
- 1K<n<10K
---

# HBK08-subtitles

2024-05-26之前`红警HBK08`所有视频的数据集，数据来源于网络爬虫

1. `metadata.tsv`: 视频元数据: 包括url，bvid, UP主，标题，播放量，日期，时长；
2. `raw_data.json`: 原始视频字幕信息
3. `text_cut.json`: 文本分割标注，标记了充电投币感谢，以及视频中出现的广告
- `<begin>`: 正文开始
- `<ad_begin>`: 广告开始
- `<ad_end>`: 广告结束
- `[discarded]`: 标记这个文档被丢弃
4. `ad_key_words.txt`: 广告关键词
5. `corrected_data.tsv`: 粗略清洗的文本数据
- 主要采用文本替换+少量人工校对替换错误的字幕
- 少量以`[verified]`标签开头的经过了人工听写校对

原始信息汇总

HBK08-subtitles 数据集概述

数据集信息

• 许可证: MIT
• 任务类别:
  • 文本生成
  • 文本到文本生成
  • 文本分类
• 语言: 中文
• 数据集大小: 1K<n<10K

数据集内容

• metadata.tsv: 视频元数据，包括url、bvid、UP主、标题、播放量、日期、时长。
• raw_data.json: 原始视频字幕信息。
• text_cut.json: 文本分割标注，标记了充电投币感谢以及视频中出现的广告。
  • <begin>: 正文开始
  • <ad_begin>: 广告开始
  • <ad_end>: 广告结束
  • [discarded]: 标记文档被丢弃
• ad_key_words.txt: 广告关键词。
• corrected_data.tsv: 粗略清洗的文本数据。
  • 主要采用文本替换+少量人工校对替换错误的字幕
  • 少量以[verified]标签开头的经过了人工听写校对