Dados e workflow da avaliação técnica do chatbot RAG da Rede Aurora

Este conjunto de dados reúne os materiais suplementares utilizados na avaliação técnica do chatbot RAG desenvolvido no âmbito da dissertação de mestrado de Jonas Ernesto Poli, no Programa de Pós-Graduação em Ciência, Tecnologia e Sociedade (PPGCTS) da Universidade Federal de São Carlos (UFSCar). A avaliação foi realizada em 7 de agosto de 2026 por meio de uma bateria controlada de 100 perguntas, sendo 50 referentes a conteúdos presentes no corpus da Rede Aurora e 50 referentes a conteúdos deliberadamente ausentes. O conjunto disponibilizado inclui a bateria de perguntas, os resultados produzidos durante a execução, a planilha consolidada da avaliação, o workflow desenvolvido no n8n para automação dos testes e as instruções fornecidas ao agente durante o experimento. A execução utilizou a OpenAI Responses API com o recurso File Search para recuperação de informações em um corpus composto por transcrições da Rede Aurora. Cada pergunta foi processada de forma independente, sem memória conversacional e sem utilização de busca externa na internet. Na camada de recuperação do File Search foram registrados 50 verdadeiros positivos, 0 falsos negativos, 49 verdadeiros negativos e 1 falso positivo, correspondendo a precisão de 98,04%, recall de 100%, especificidade de 98% e acurácia de 99%. Os arquivos são disponibilizados com o objetivo de ampliar a transparência, a rastreabilidade e a reprodutibilidade metodológica da pesquisa. Dissertação associada: O Chatbot como Mediador Sociotécnico: Inteligência Artificial e Comunicação Dialógica na Assistência Técnica e Extensão Rural (Ater).