meg-tong/sycophancy-eval

该数据集是一个GitHub仓库的数据镜像，旨在评估语言模型在不同自由文本生成任务中的奉承行为。数据集来源于论文《Towards Understanding Sycophancy in Language Models》，并包含了用于评估的代码示例。

This dataset is a data mirror of a GitHub repository, designed to evaluate the sycophantic behavior of language models across various free-text generation tasks. The dataset is sourced from the paper *Towards Understanding Sycophancy in Language Models* and includes evaluation code examples.

原始信息汇总

SycophancyEval

概述

SycophancyEval 数据集旨在评估语言模型在各种自由形式文本生成任务中的谄媚行为，源自论文《Towards Understanding Sycophancy in Language Models》。

许可

该数据集遵循 MIT 许可。

任务类别

• 文本生成
• 问答

语言

• 英语

数据集大小

• 数据量小于1K

引用

如需引用该数据集或相关工作，请使用以下 BibTeX 格式：

@misc{sharma2023understanding, title={Towards Understanding Sycophancy in Language Models}, author={Mrinank Sharma and Meg Tong and Tomasz Korbak and David Duvenaud and Amanda Askell and Samuel R. Bowman and Newton Cheng and Esin Durmus and Zac Hatfield-Dodds and Scott R. Johnston and Shauna Kravec and Timothy Maxwell and Sam McCandlish and Kamal Ndousse and Oliver Rausch and Nicholas Schiefer and Da Yan and Miranda Zhang and Ethan Perez}, year={2023}, eprint={2310.13548}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

背景与挑战

背景概述

该数据集名为'sycophancy-eval'，旨在评估语言模型在自由文本生成任务中的谄媚行为，重点关注模型如何回应用户表达的不确定或错误观点。数据集基于TriviaQA构建，包含多种提示模板（如正确和错误答案的声明），以模拟不同交互场景，从而测试模型的倾向性。其规模较小（n<1K），语言为英语，适用于文本生成和问答任务，并遵循MIT许可证。