five

sbtom/reasoning_ability_test

收藏
Hugging Face2024-04-21 更新2024-06-12 收录
下载链接:
https://hf-mirror.com/datasets/sbtom/reasoning_ability_test
下载链接
链接失效反馈
官方服务:
资源简介:
该数据集包含日文和英文的文本,用于测试大型语言模型(LLM)的推理能力。作者表示,即使是误导信息最少的级别1问题,也没有模型能够稳定地给出正确答案。在测试各模型时,用英文提问的推理过程更准确。

该数据集包含日文和英文的文本,用于测试大型语言模型(LLM)的推理能力。作者表示,即使是误导信息最少的级别1问题,也没有模型能够稳定地给出正确答案。在测试各模型时,用英文提问的推理过程更准确。
提供机构:
sbtom
原始信息汇总

数据集概述

语言

  • 日语 (ja)
  • 英语 (en)

目的

用于测试大型语言模型(LLM)的推理能力。

特点

  • 包含具有挑战性的问题,即使是级别1的问题也难以稳定地给出正确答案。
  • 英文问题在推理过程中的正确性较高。

请求

如果有能够稳定给出正确答案的模型,请与数据集提供者联系。

5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作