five

English Indexical Dataset

收藏
arXiv2025-09-30 收录
下载链接:
https://github.com/metehanoguzz/LLMs-Indexicals-English
下载链接
链接失效反馈
官方服务:
资源简介:
该数据集旨在测试大型语言模型在不同语境下对指示性元素如“我”、“你”、“这里”和“明天”的理解能力。它包含了1600个多项选择题,用于评估大型语言模型在处理指示性元素的共指消解方面的表现。数据集均衡地包含了四个指示性元素各自的400个样本,并且为了消除潜在的性别偏见,男女名字的使用也被平衡分配。规模上,该数据集共有1600个样本,其任务是对大型语言模型在使用指示性元素进行共指消解方面的性能进行评估。

This dataset is designed to evaluate large language models (LLMs)' ability to comprehend deictic elements (e.g., "I", "you", "here", and "tomorrow") across diverse contexts. It comprises 1600 multiple-choice questions for assessing LLMs' performance on coreference resolution related to deictic elements. The dataset evenly contains 400 samples for each of the four target deictic elements, and the usage of male and female names is balanced to mitigate potential gender biases. With 1600 samples in total, this dataset focuses on evaluating LLMs' performance in coreference resolution involving deictic expressions.
提供机构:
Curated using GPT-4o
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作