ai4bharat/FBI
收藏Hugging Face2024-09-11 更新2024-06-22 收录
下载链接：
https://hf-mirror.com/datasets/ai4bharat/FBI
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是FBI框架的一部分，用于评估评估者LLM在不同任务和评估策略中的鲁棒性。数据集包含四个主要任务类别：长文写作（Long Form Writing）、事实性（Factual）、指令遵循（Instruction Following）和推理（Reasoning）。每个任务类别下又细分为多个扰动类型，如事实性任务下的上下文错误、实体错误等。
该数据集是FBI框架的一部分，用于评估评估者LLM在不同任务和评估策略中的鲁棒性。数据集包含四个主要任务类别：长文写作（Long Form Writing）、事实性（Factual）、指令遵循（Instruction Following）和推理（Reasoning）。每个任务类别下又细分为多个扰动类型，如事实性任务下的上下文错误、实体错误等。
提供机构：
ai4bharat
原始信息汇总
数据集概述
配置详情
事实性错误 (factual)
- contextual:
factual/contextual-errors.tsv - entity:
factual/entity-errors.tsv - inforrect_fact:
factual/incorrect-fact.tsv - opposite_fact:
factual/opposite-fact.tsv - remove_fact:
factual/remove-fact.tsv
指令遵循错误 (instruction-following)
- assumption:
instruction-following/assumption-errors.tsv - do_less:
instruction-following/do-less-errors.tsv - do_more:
instruction-following/do-more-errors.tsv - ignore_format:
instruction-following/ignore-format-errors.tsv - sequence_errors:
instruction-following/incorrect-sequence-errors.tsv
长篇文章错误 (long-form)
- coherence:
long-form/coherence-errors.tsv - comprehensiveness:
long-form/comprehensiveness-errors.tsv - consistency:
long-form/consistency-errors.tsv - grammar:
long-form/grammar-errors.tsv - spelling_errors:
long-form/spelling-errors.tsv - chronology:
long-form/seq-errors.tsv
推理错误 (reasoning)
- calculation:
reasoning/calculation-errors.tsv - copying_numbers:
reasoning/copying-numbers-errors.tsv - final_errors:
reasoning/final-answer-errors.tsv - incorrect_units:
reasoning/incorrect-units.tsv - wrong_formula:
reasoning/wrong-formula.tsv
分数不变性错误 (score-invariant)
- score_invariant:
score-invariant/score_invariant.tsv
