Marco_Longspeech

# LongSpeech Dataset LongSpeech 是一个多任务长语音理解数据集，包含 8 种不同的语音理解任务。 ## 📊 数据集统计 ### 任务统计 | Task | Train | Val | Test | Total | Unique Audios | |------|-------|-----|------|-------|---------------| | ASR | 71,275 | 15,273 | 15,274 | 101,822 | 101,822 | | Temporal_Relative_QA | 5,886 | 1,261 | 1,262 | 8,409 | 8,409 | | summary | 4,366 | 935 | 937 | 6,238 | 6,238 | | content_separation | 5,887 | 1,261 | 1,263 | 8,411 | 8,411 | | emotionQA | 5,887 | 1,261 | 1,263 | 8,411 | 8,411 | | speaker_count | 5,887 | 1,261 | 1,263 | 8,411 | 8,411 | | translation | 29,435 | 6,307 | 6,309 | 42,051 | 8,411 | | language_detection | 14,789 | 3,169 | 3,170 | 21,128 | 21,128 | | **Total** | **143,412** | **30,728** | **30,741** | **204,881** | - | ### 音频子集统计 | Subset | WAV Files | all_audios.jsonl | metadata.json | |--------|-----------|------------------|----------------| | LongSpeech_p1 | 29,539 | ✓ | ✓ | | LongSpeech_p2 | 22,107 | ✓ | ✓ | | LongSpeech_p3 | 50,176 | ✓ | ✓ | | **Total** | **101,822** | - | - | ## 📁 数据集结构 ``` LongSpeech-Dataset/ ├── LongSpeechQA/ # 8个任务的问答数据 │ ├── ASR/ # 语音识别任务 │ │ ├── train.jsonl │ │ ├── val.jsonl │ │ └── test.jsonl │ ├── Temporal_Relative_QA/ # 时序相关问答 │ ├── summary/ # 摘要任务 │ ├── content_separation/ # 内容分离任务 │ ├── emotionQA/ # 情感问答任务 │ ├── speaker_count/ # 说话人计数任务 │ ├── translation/ # 翻译任务 │ └── language_detection/ # 语言检测任务 ├── LongSpeech_p1/ │ ├── wavs/ │ ├── all_audios.jsonl │ └── metadata.json ├── LongSpeech_p2/ │ ├── wavs/ │ ├── all_audios.jsonl │ └── metadata.json ├── LongSpeech_p3/ │ ├── wavs/ │ ├── all_audios.jsonl │ └── metadata.json └── README.md ``` ## 🎯 任务说明 | 任务 | 说明 | |------|------| | **ASR** | 自动语音识别，将语音转换为文本 | | **Temporal_Relative_QA** | 时序相关问答，理解语音中的时间关系 | | **summary** | 语音摘要，生成语音内容的简洁摘要 | | **content_separation** | 内容分离，区分和提取不同的语音内容 | | **emotionQA** | 情感问答，识别和分析语音中的情感 | | **speaker_count** | 说话人计数，统计语音中的说话人数量 | | **translation** | 语音翻译，将语音翻译为目标语言文本 | | **language_detection** | 语言检测，识别语音所使用的语言 | ## 📝 数据格式 每个任务的 jsonl 文件包含以下格式的数据： ```json { "language": "en", "task": "ASR", "messages": [ { "role": "user", "audio": "LongSpeech_p1/wavs/013429.wav", "content": "Detect the language and recognize the speech: <|en|>" }, { "role": "assistant", "content": "We wont feel compelled in any way to pay at the top end or...." } ] } ``` ### 字段说明 - `language`: 语音的语言代码 (en/zh 等) - `task`: 任务类型 - `messages`: 对话消息列表 - `role`: 角色 (user/assistant) - `audio`: 音频文件的相对路径 - `content`: 文本内容（用户指令或助手回复） ## 🚀 使用方法 ### 使用 Hugging Face Datasets 加载 ```python from datasets import load_dataset # 加载特定任务的数据 dataset = load_dataset("your-username/LongSpeech-Dataset", data_files={ "train": "LongSpeechQA/ASR/train.jsonl", "val": "LongSpeechQA/ASR/val.jsonl", "test": "LongSpeechQA/ASR/test.jsonl" }) print(dataset) ``` ### 加载音频文件 ```python import os from datasets import load_dataset, Audio # 假设数据集已下载到本地 dataset = load_dataset("json", data_files="LongSpeechQA/ASR/train.jsonl") # 获取音频路径 for example in dataset["train"]: audio_path = example["messages"][0].get("audio") if audio_path: # 根据实际下载路径调整 full_path = os.path.join("your_download_path", audio_path) print(f"Audio: {full_path}") ```