five

I am a Strange Dataset

收藏
arXiv2025-09-30 收录
下载链接:
https://github.com/TristanThrush/i-am-a-strange-dataset
下载链接
链接失效反馈
官方服务:
资源简介:
该数据集旨在测试语言模型处理元语言自我指涉的能力,要求模型生成并验证自我指涉的陈述。该数据集将示例分为与元语言理解相关的10个标签,并包含一个单独的挑战数据集,名为“我是一个不可能的数据集”。规模上,数据集包含208个示例(其中200个用于评估,3个用于少样本提示,5个用于入门任务,以及额外的10个示例)。任务内容涉及自我指涉陈述的生成与验证。

This dataset is designed to test the ability of language models to handle meta-linguistic self-reference, requiring models to generate and verify self-referential statements. It categorizes examples into 10 labels related to meta-linguistic understanding, and includes a separate challenge dataset titled "I Am an Impossible Dataset". In terms of scale, the dataset contains 208 examples: 200 for evaluation, 3 for few-shot prompting, 5 for introductory tasks, and an additional 10 examples. The task involves the generation and verification of self-referential statements.
提供机构:
Expert annotators in computer science, linguistics, and cognitive science
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作