Pacote de Replicação para "Rubrica Analítica para Avaliação de Artefatos de Teste de Desempenho Gerados por LLMs"
收藏资源简介:
Este registro contém o pacote de replicação do estudo "Rubrica Analítica para Avaliação de Artefatos de Teste de Desempenho Gerados por LLMs". O pacote inclui requisitos de desempenho derivados do domínio TPC-W, contexto técnico fixo, rubrica analítica, templates de prompt, prompts enviados aos modelos, artefatos gerados, avaliações humanas individuais, notas adjudicadas e relatórios de análise. O experimento utiliza seis requisitos de desempenho, três configurações de modelo e duas condições de prompting: Baseline e Rubric-aware. O pacote contém 36 prompts enviados aos modelos e 36 artefatos gerados. O pacote não inclui saídas medidas de execução do RBE, pois o estudo avalia a qualidade dos artefatos de teste gerados, e não o desempenho em tempo de execução da implementação TPC-W.



