cl-nagoya/jFrameBench

---
license: apache-2.0
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
dataset_info:
features:
- name: original_qa_id
dtype: string
- name: lex_unit_name
dtype: string
- name: question
dtype: string
- name: sentence_a
dtype: string
- name: sentence_b
dtype: string
- name: sentence_a_prime
dtype: string
- name: sentence_b_prime
dtype: string
- name: match_answer_annotator1_ab
dtype: bool
- name: match_answer_annotator1_prime
dtype: bool
- name: quality_annotator1_ab
dtype: bool
- name: quality_annotator1_prime
dtype: bool
- name: match_answer_annotator2_ab
dtype: bool
- name: match_answer_annotator2_prime
dtype: bool
- name: quality_annotator2_ab
dtype: bool
- name: quality_annotator2_prime
dtype: bool
- name: match_answer_annotator3_ab
dtype: bool
- name: match_answer_annotator3_prime
dtype: bool
- name: quality_annotator3_ab
dtype: bool
- name: quality_annotator3_prime
dtype: bool
splits:
- name: train
num_bytes: 247664
num_examples: 549
download_size: 144779
dataset_size: 247664
language:
- ja
---

JFrameBenchは日本語フレームネットをベースに、日本語で構築されたLLMの意味理解能力を評価するベンチマークです。

評価にはこちらのコードを利用ください: [GitHub](https://github.com/SasanoLab/FrameBench)

詳細は論文を確認ください：[論文](https://www.anlp.jp/proceedings/annual_meeting/2026/pdf_dir/Q4-13.pdf)

----

日本語フレームネットのデータを提供くださった小原京子教授に感謝いたします。