alfredplpl/wikipedia-qa-ja-500k
收藏Hugging Face2024-03-05 更新2024-06-22 收录
下载链接：
https://hf-mirror.com/datasets/alfredplpl/wikipedia-qa-ja-500k
下载链接
链接失效反馈官方服务：
资源简介：
该数据集名为wikipedia-qa-ja-500k，是一个日语问答数据集，包含从维基百科提取的问答对。数据集通过提取维基百科文章标题的第一行，并使用大型语言模型（CALM 2 7B Chat）生成简洁的答案。数据集包含id、url、question和answer四个字段，主要用于问答任务。数据集仅包含训练集，大小为142049495字节，包含516932个示例。数据集遵循cc-by-sa-3.0许可证。
该数据集名为wikipedia-qa-ja-500k，是一个日语问答数据集，包含从维基百科提取的问答对。数据集通过提取维基百科文章标题的第一行，并使用大型语言模型（CALM 2 7B Chat）生成简洁的答案。数据集包含id、url、question和answer四个字段，主要用于问答任务。数据集仅包含训练集，大小为142049495字节，包含516932个示例。数据集遵循cc-by-sa-3.0许可证。
提供机构：
alfredplpl
原始信息汇总
数据集概述
数据集信息
- 特征字段:
id: 类型为字符串url: 类型为字符串question: 类型为字符串answer: 类型为字符串
- 数据分割:
train: 包含516932个样本，总大小为142049495字节
- 下载大小: 65635910字节
- 数据集大小: 142049495字节
- 配置:
default配置包含训练数据文件，路径为data/train-*
- 许可证: cc-by-sa-3.0
- 任务类别: 问答
- 语言: 日语
数据集处理流程
- 从数据集中提取标题的第一行。
- 使用LLM生成答案：
- 输入类似RAG的提示到CALM 2 7B Chat模型。
- 格式化响应。
RAG-like 提示示例
python f"""USER: {title}とはなんですか？次の文章を参考に一言でまとめてください。{text} ASSISTANT: """
