Avaliando as Interações entre Desenvolvedores e ChatGPT no GitHub: Uma análise de dados de Pull Requests

Com o surgimento dos modelos de Linguagem de Grande Escala (LLMs) como o ChatGPT, introduziu um novo conjunto de ferramentas para apoiar desenvolvedores de software na resolução de tarefas de programação. No entanto, a compreensão das interações (ou seja, prompts) entre desenvolvedores e o ChatGPT que resultam em contribuições para o código permanece limitada. Para explorar essa limitação, foi realizada uma avaliação manual de 155 links válidos do ChatGPT, extraídos de 139 Pull Requests (PRs) mesclados à branch principal, revelando as interações entre desenvolvedores e revisores com o ChatGPT que levaram às integrações na branch principal. Os resultados produziram um catálogo de 14 tipos de solicitações feitas ao ChatGPT, categorizadas em quatro grupos principais. Foi identificado um número significativo de solicitações envolvendo revisão de código e a implementação de trechos de código com base em tarefas específicas. Os desenvolvedores também buscaram esclarecer dúvidas solicitando explicações técnicas ou refinamentos de texto para suas páginas web. Além disso, foi verificado que prompts envolvendo a geração de código geralmente exigiram mais interações para produzir a resposta desejada, em comparação com prompts solicitando revisão de código ou informações técnicas.