alfredplpl/wikipedia-qa-ja-1m

---
language:
- ja
license: cc-by-sa-3.0
size_categories:
- 1M<n<10M
task_categories:
- question-answering
dataset_info:
features:
- name: id
dtype: string
- name: url
dtype: string
- name: question
dtype: string
- name: answer
dtype: string
splits:
- name: train
num_bytes: 381548920
num_examples: 1395760
download_size: 0
dataset_size: 381548920
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
# Dataset Card for "wikipedia-qa-ja-1m"

# Original Dataset
- hpprc/wikipedia-20240101

# Procedure
- Extract the first line of the title from the dataset.
- Generate the answer by summizing the line using LLM:
- Input RAG-like prompt to CALM 2 7B Chat.
- Format the response.

# RAG-like Prompt
```python
f"""USER: {title}とはなんですか？次の文章を参考に一言でまとめてください。{text}
ASSISTANT: """
```

原始信息汇总

数据集概述

基本信息

• 语言: 日语
• 许可证: CC BY-SA 3.0
• 数据集大小: 1M < n < 10M
• 任务类别: 问答

数据集结构

特征

• id: 字符串类型
• url: 字符串类型
• question: 字符串类型
• answer: 字符串类型

分割

• 训练集:
  • 字节数: 381548920
  • 样本数: 1395760

下载与数据集大小

• 下载大小: 0
• 数据集大小: 381548920

配置

• 默认配置:
  • 数据文件:
    • 分割: 训练集
    • 路径: data/train-*