LilyZZZ/RobustAPI

RobustAPI数据集包含来自StackOverflow的1208个编程问题，涉及24个Java API。该数据集还包括API使用模式的总结以及对多个大型语言模型（如GPT-3.5、GPT-4、Llama、PolyCoder和Vicuna）的评估。数据集由Li Zhong和Zilong Wang整理，采用MIT许可证。

原始信息汇总

数据集卡片：RobustAPI

数据集详情

数据集描述

RobustAPI 包含来自 StackOverflow 的编程问题，重点关注 24 个 Java API。它还包括 API 使用模式的总结和在多种大型语言模型上的评估。

• 创建者： Li Zhong 和 Zilong Wang
• 许可证： MIT 许可证

数据集来源

• 论文： Can ChatGPT replace StackOverflow? A Study on Robustness and Reliability of Large Language Model Code Generation

用途

直接用途

RobustAPI 可用于评估大型语言模型在代码生成任务中的性能，并分析 API 使用模式。

非预期用途

不鼓励将数据集用于非预期目的或恶意活动。

数据集结构

RobustAPI 以 JSONL 格式提供。每个数据点包含一个编程问题以及相应的 API 使用模式和来自多种大型语言模型的评估。

数据集创建

创建理由

该数据集是为了研究使用大型语言模型进行代码生成任务的可行性，并研究这些模型与传统来源（如 StackOverflow）相比的鲁棒性和可靠性。

源数据

数据收集和处理

数据收集过程涉及从 StackOverflow 收集与 24 个 Java API 相关的编程问题。API 使用模式和评估是通过多种大型语言模型进行的。

引用

引用该数据集时，请使用以下格式：

BibTeX:

@misc{zhong2023chatgpt, title={Can ChatGPT replace StackOverflow? A Study on Robustness and Reliability of Large Language Model Code Generation}, author={Li Zhong and Zilong Wang}, year={2023}, eprint={2308.10335}, archivePrefix={arXiv}, primaryClass={cs.CL} }

APA:

Zhong, L., & Wang, Z. (2023). Can ChatGPT replace StackOverflow? A Study on Robustness and Reliability of Large Language Model Code Generation. arXiv preprint arXiv:2308.10335.