遇见数据集

IACDM RO3 — corpus e análise do experimento de ortogonalidade das 19 lentes de crítica

收藏
Zenodo2026-08-14 更新2026-08-20 收录
官方服务:

资源简介:

Corpus e análise do experimento que testa a RO3 da metodologia IACDM: cada uma das 19 lentes de crítica arquitetural detecta uma classe de falha que nenhuma outra detecta? Doze projetos de software foram construídos do zero, cada um em sessão única de 2 a 4 horas, todos sob o mesmo instrumento (versus-claude 0.14.2, homogeneidade verificada por hash), produzindo 1.100 achados de crítica e 1.029 defeitos distintos em 130 módulos, ao longo de 37 horas de execução. Resultado principal: nenhuma das 19 lentes apresentou contribuição exclusiva zero — em nenhum projeto, em nenhum agregado, e sob quatro clusterizações independentes do que conta como "mesmo defeito", incluindo a união dos quatro avaliadores, que colapsa 1.029 defeitos em 668 e ainda assim não zera nenhuma lente. Sobreposição média de 11%. Dois achados não planejados: (1) o critério que decide quando aplicar cada lente é a parte frágil, não a taxonomia — pergunta central e gatilho descrevem coisas de tipos diferentes em pelo menos cinco lentes; (2) o método produz compromissos (premissas da arquitetura, resoluções de achados críticos) que nenhum mecanismo reconfronta com o artefato construído. Conteúdo: os doze projetos com specs/, matrizes de cobertura e registros de estado; o pipeline de análise com suíte adversarial de formato; a remarcação cega de duplicatas por três avaliadores independentes; a estimativa cega de ativação de lentes por quatro modelos; o registro dos sete descartes anteriores com motivo; e a especificação corretiva pós-lote. O documento RESULTADO-RO3.md é a fonte única dos números, e inclui as sete leituras intermediárias que foram contrariadas por dado posterior. v1.1 (2026-08-13) acrescenta o material que pós-data o snapshot v1.0: (i) o experimento dos gatilhos reescritos — a correção dos critérios de ativação medida nos doze pacotes arquivados, com três lentes de controle e dois leitores, em duas rodadas (Y e Y2); (ii) a adjudicação da lente Ética — 60 achados cegados, critério fixado e datado antes da leitura, dois juízes independentes — cujo resultado é que a fronteira entre dano ético e governança não reproduz entre juízes (κ = 0,341); e (iii) a sonda lexical refutada, preservada com a própria refutação, como registro de um proxy que produziu separação aparente sem medir o que dizia medir. v1.2 (2026-08-13) prepara o pacote para revisão de artefato: declaração de dependências (o pipeline é stdlib puro — nenhum pacote de terceiros, Python 3.10+) com verificador; separação explícita entre recomputar os números do artigo, offline e sem chave alguma, e reexecutar a coleta, que exige modelos externos; documentação de formatos (FORMATOS.md: schema dos JSONs, colunas da matriz, convenção de nomes); e o identificador do modelo gerador — claude-opus-5, recuperado dos transcripts e verificado em 5.328 mensagens, sem troca durante o lote. Licenciamento duplo: corpus e documentos sob CC-BY-4.0; o pipeline de análise em analise/ é adicionalmente disponibilizado sob a licença MIT.

提供机构:
Zenodo
创建时间:
2026-08-14
二维码
社区交流群
二维码
科研交流群
商业服务