ryota39/aiw_ja

该数据集是基于预印本论文《Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models》的评估数据，并通过DeepL进行了日文翻译。翻译后进行了人工校对，以确保翻译的准确性。数据集中包含一些特定的数据条目（如id:60和id:62）在原著论文中被标记为‘ダミー’，以及id:100~id:108的‘right_answer’列为空。数据集的许可证信息未知。

原始信息汇总

数据集概述

数据来源

• 数据集基于以下论文的评估数据翻译而成：
  • Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models
  • 翻译基于公式リポジトリ中的prompts.json。

数据处理

• 使用DeepL进行全量翻译。
• 翻译后进行目视确认，并手动修正了可能导致问题不成立的翻译错误。
  • 例如：同一文中的“brother”被翻译为“弟”和“兄”的情况。

数据集注意事项

• id:60和id:62的输入文本为ダミー，根据原论文设置。
• id:100至id:108的right_answer列为null，根据原论文设置。
• 数据集的许可证未知，作者正在调查中，待确认后更新。