yuzuai/rakuda-questions

Rakuda - 针对日本模型的日语问题集，包含40个关于日本特定主题的日语问题，分为历史、社会、政府和地理四个类别，用于评估和排名AI助手的日语能力。

license: MIT许可证
language:
- 日语
pretty_name: Rakuda——日语大语言模型评测问题集
task_categories:
- 对话任务
- 问答任务
size_categories:
- 样本规模少于1000条
source_datasets:
- 原创数据集

# Rakuda——日语大语言模型评测问题集

**代码仓库**: [https://github.com/yuzu-ai/japanese-llm-ranking](https://github.com/yuzu-ai/japanese-llm-ranking)

本数据集包含40道针对日语专属主题的日语问题，旨在评测AI智能体（AI Agent）的日语能力表现。

所有问题均匀分布于四大类别：历史、社会、政府治理与地理。其中前三类问题均为开放式问答，地理类问题则更具针对性。

借助该数据集的问题答案，可对模型的日语能力进行排序评级，其使用逻辑与常被用于评测AI智能体实用性能的[vicuna-eval评测问题集](https://lmsys.org/vicuna_eval/)一致。

## 使用方法

python
from datasets import load_dataset

dataset = load_dataset("yuzuai/rakuda-questions")

print(dataset)
# => 数据集字典（DatasetDict）：{
# 训练集: 数据集({
# 字段: ['类别', '问题ID', '问题文本'],
# 样本总数: 40
# })
# }

原始信息汇总

数据集概述

基本信息

• 名称: Rakuda - Questions for Japanese models
• 许可证: MIT
• 语言: 日语
• 任务类别:
  • 对话
  • 问答
• 大小类别: 小于1K
• 源数据集: 原始数据

数据集描述

• 内容: 包含40个关于日本特定主题的日语问题，用于评估AI助手的日语能力。
• 问题分布: 均匀分布在历史、社会、政府和地理四个类别中。前三个类别的问题为开放式，地理问题较为具体。
• 用途: 用于评估和排名模型的日语能力。

数据集结构

• 数据集结构: 包含一个训练集，具有以下特征：
  • 类别
  • 问题ID
  • 文本
• 数据集大小: 共40个问题。