OnFinanceAI/SherlockEval

该数据集旨在扩展为一个包含大量神秘小说的集合，用于训练大型语言模型（LLM）预测小说中的最终凶手。为了解决预训练数据中Sherlock Holmes小说覆盖率过高的问题，作者计划将英文名字替换为印地语或其他地区语言的名字，以增加模型的词汇量。此外，作者提供了一个包含500个名字的列表，并设定了v2版本的目标，即增加更多小说并将其转化为侦探任务，以测试LLM的样本效率。

The dataset aims to expand into a comprehensive collection of mystery novels, including English and Hindi, by replacing English names with Hindi or other regional languages to increase vocabulary size and improve the performance of the large language model (LLM). The second version plans to convert more novels into detective tasks and test sample efficiency to make the LLM as good as Sherlock Holmes.

原始信息汇总

数据集概述

许可证

• MIT许可证

任务类别

• 文本生成

语言

• 英语
• 印地语

标签

• 艺术

数据集大小

• 样本数小于1K

目标

• 扩展数据集，包含更多神秘小说，使大型语言模型（LLM）能够预测最终的凶手。
• 将英语名字替换为印地语或其他地区语言，以增加模型词汇中的标记数量。

附加信息

• 提供了500个生成的名字列表，用于替换文本中的名字。
• 计划在数据集的第二版中，将更多小说转换为侦探任务，并测试样本效率，以使LLM达到Sherlock Holmes的水平。