CohereForAI/black-box-api-challenges

该数据集包含来自论文《关于在研究中使用黑箱API进行毒性评估的挑战》的数据。数据集中包括几个子集：RealToxicityPrompts数据集中的提示，使用2023年2月的Perspective API重新评分；HELM基准v0.2.2中的提示和续写，使用2023年4月的Perspective API重新评分；DExperts论文中的几个模型的提示和续写，使用2023年2月的Perspective API重新评分；以及UDDIA模型的续写，使用2023年2月的Perspective API重新评分。这些数据集旨在帮助研究人员评估和比较不同模型和方法在减少毒性方面的效果。

原始信息汇总

数据集概述

数据集名称

On the challenges of using black-box APIs for toxicity evaluation in research

数据集内容

• real-toxicity-prompts: 来自RealToxicityPrompts数据集的提示，使用Perspective API在2023年2月重新评分。
• helm: 来自HELM基准v0.2.2的提示和延续，使用Perspective API在2023年4月重新评分。包含每个模型的原始统计数据。
• dexperts: 来自DExperts论文的几个模型的提示和延续，使用Perspective API在2023年2月重新评分。
• uddia: 来自UDDIA模型的延续，使用Perspective API在2023年2月重新评分。

相关数据集

• RealToxicityPrompts: 包含100,000个来自网络的句子片段，用于研究神经模型中的有毒退化风险。
• HELM: 语言模型综合评估基准。
• DExperts: 解码时控制文本生成的模型。
• UDDIA: 通过推理时自适应优化进行统一去毒化和去偏的模型。

数据集用途

评估使用黑盒API进行毒性评估在研究中的挑战，特别是关于模型和方法比较的再现性和准确性。

许可证

apache-2.0

引用信息

@inproceedings{ pozzobon2023on, title={On the Challenges of Using Black-Box {API}s for Toxicity Evaluation in Research}, author={Luiza Amador Pozzobon and Beyza Ermis and Patrick Lewis and Sara Hooker}, booktitle={ICLR 2023 Workshop on Trustworthy and Reliable Large-Scale Machine Learning Models }, year={2023}, url={https://openreview.net/forum?id=bRDHL4J5vy} }