ianiket23/podcast_llama_chat_format

该数据集是为了对llama 3聊天模型进行微调而格式化的现有播客数据集。它包含了Lex Fridman Podcast的音频到文本的转录，这是一个由MIT的AI研究员Lex Fridman主持的播客。

This dataset formats an existing podcast dataset (64bits/lex_fridman_podcast_for_llm_vicuna) for llama 3 chat model fine tuning. It represents a compilation of audio-to-text transcripts from the Lex Fridman Podcast, hosted by AI researcher at MIT, Lex Fridman.

原始信息汇总

数据集概述

基本信息

• 数据集名称: 未明确提及
• 数据集大小: 150444918 字节
• 下载大小: 80922816 字节
• 语言: 英语 (en)
• 任务类别: 文本生成 (text-generation)
• 标签:
  • podcast
  • LLM
  • llama
  • transformers
• 规模类别: 10K < n < 100K

数据结构

• 特征:
  • 名称: text
  • 数据类型: string

数据分割

• 训练集:
  • 名称: train
  • 字节数: 150444918
  • 样本数: 17199

配置

• 配置名称: default
  • 数据文件:
    • 分割: train
    • 路径: data/train-*

数据来源

• 来源: Lex Fridman Podcast 的音频转文本记录
• 用途: 用于 llama 3 聊天模型的微调

潜在问题

• 转录阶段可能存在一些细微问题

下一步计划

• 使用 whisper 直接加载播客并按此格式转录