llm-book/ja-vicuna-qa-benchmark

---
license: apache-2.0
dataset_info:
features:
- name: question_id
dtype: int64
- name: category
dtype: string
- name: turns
list: string
splits:
- name: test
num_bytes: 14357
num_examples: 80
download_size: 10129
dataset_size: 14357
configs:
- config_name: default
data_files:
- split: test
path: data/test-*
task_categories:
- text-generation
language:
- ja
size_categories:
- n<1K
---

# Dataset Card for llm-book/ja-vicuna-qa-benchmark

書籍『大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価』で使用する、京都大学が提供する「Japanese Vicuna QA Benchmark」のデータセットです。
[オリジナルのサイト](https://github.com/ku-nlp/ja-vicuna-qa-benchmark)と同じものを使用しています。
本データセットは、10のカテゴリー(汎用、コーディング、ロールプレイ、ライティングなど)にわたる80の多様な質問で構成されており、LLM-as-a-judgeを使用して、参照なしで日本語LLMモデルの回答を評価することができます。

### Licence

Apache License, Version 2.0