GAPCORE: A Reproducible Audit Trail for Testing Agency vs. Constraint Language (PT–EN, Gutenberg)

Este depósito contém um arquivo ZIP com toda a trilha de trabalho gerada no Carnets (iOS) durante uma investigação de linguagem conduzida com um objetivo bem específico: testar, com o máximo de honestidade possível, se certos sinais linguísticos associados a “responsabilidade/agência” versus “pressão/inevitabilidade/contexto” aparecem de forma diferente em uma condição chamada EVENT, quando comparada a controles.

A proposta é simples de explicar, mas difícil de executar sem cair em autoengano: quando um texto descreve um “evento” (algo acontecendo, uma decisão, uma ação), ele tende a usar mais marcas do tipo “eu escolhi / eu decidi” (agência), ou mais marcas do tipo “não podia / tive que / sem escolha / had to / no choice / couldn’t / was forced” (inevitabilidade e pressão), ou ainda marcas mais amplas de contexto (“por causa de”, “porque”, justificativas, molduras narrativas)?

O conteúdo do ZIP não é apenas “resultado final”. Ele inclui também os erros, correções, ajustes, versões intermediárias e relatórios, porque o valor científico aqui não está em vencer uma discussão, mas em deixar claro como se tentou separar sinal de ruído. Em outras palavras: este depósito é, ao mesmo tempo, um conjunto de análises e um registro de um caminho metodológico que tenta ser sóbrio, replicável e anti-partidarismo.

O que você vai encontrar no ZIP (em linguagem do dia a dia)

Pastas OUT_GAPCORE_Vxx_* contendo:

tabelas .csv com métricas e resultados,

relatórios .md explicando o que foi feito em cada versão,

metadados .json com configurações e parâmetros,

alguns gráficos .png quando aplicável.

Comparações entre EVENT e condições de controle (ex.: TIMESHIFT, REVERSE, BLOCK, e em algumas versões PLACEBO), com estratégias para evitar “comparações injustas”.

Testes em diferentes escalas:

por janela/documento (mais granular e mais sensível, mas também mais sujeita a ruído),

por livro (mais duro e mais importante para robustez — se um efeito é real, deve aparecer com alguma consistência entre livros).

O que foi feito para evitar engano (as “travessas de segurança”)

Ao longo das versões, a análise foi ficando mais rigorosa. Alguns exemplos do tipo de cuidado aplicado:

Pareamento por posição: em vez de comparar trechos aleatórios, tentou-se comparar janelas equivalentes por posição, reduzindo o risco de “um lado” pegar sempre começo de capítulo e o outro pegar sempre diálogo, por exemplo.

Ajuste por proxy de estilo: em várias versões se tentou descontar efeitos de “estilo” (por exemplo, usando uma feature como conj quando fazia sentido), para separar melhor o que parece “estrutura de texto” do que parece “conteúdo semântico”.

Separação por idioma (PT vs EN): ao perceber que misturar idiomas cria falsos sinais (ou apaga sinais reais), foram feitas análises separadas (PT_ONLY, EN_ONLY) e comparações/“interações” entre idiomas.

Replicação por livro e testes exatos: quando possível, foi usado um teste por livro (com permutação exata por sinais), que é mais “caro” e mais conservador, porém muito mais honesto para dizer se algo se sustenta fora de um único texto.

Controle de múltiplas comparações (FDR): ao testar várias features, foi aplicada correção para reduzir a chance de “achar um p pequeno por sorte”.

O que deu certo (acertos reais)

Rastreabilidade total: cada etapa gerou arquivos e logs, e o caminho pode ser auditado.

Evolução de rigor: quando um sinal surgia, em vez de “comemorar”, ele era empurrado para testes mais difíceis (por livro, por idioma, com controles).

Aprendizado técnico documentado: bugs e inconsistências aconteceram (como acontece em pesquisa real), mas foram corrigidos com diagnósticos e versões subsequentes — e isso está registrado.

O que deu errado (e por que isso é ciência, não vergonha)

Alguns sinais que pareciam promissores em análises mais “leves” ficaram fracos ou instáveis quando:

aumentamos o número de livros,

separamos por idioma,

exigimos consistência por livro,

aplicamos correções múltiplas.

Isso é exatamente o tipo de filtro que diferencia “resultado chamativo” de “resultado confiável”. Um efeito que não aguenta controles pode significar:

que o efeito real é pequeno,

que o dicionário de palavras/expressões ainda está cru (muita ambiguidade),

que o fenômeno depende muito de gênero literário, narrador, época, estilo,

ou que a definição operacional de “EVENT” precisa ser refinada.

Em vez de esconder essas quedas de efeito, este depósito preserva o caminho inteiro, porque isso ajuda o leitor a entender um ponto central: a busca pela verdade geralmente é uma sequência de “quase”, ajustes e decepções úteis — e não uma linha reta de confirmações.

Onde estamos e o que ainda estamos procurando

O estado atual sugere um quadro mais sóbrio:

O que parecia ser um “sinal geral de agência versus contexto” tende a ficar frágil sob replicação forte.

O que aparece com mais frequência são sinais ligados a inevitabilidade/pressão (especialmente quando o dicionário foca em expressões mais diretas), mas ainda assim há sensibilidade ao idioma, ao conjunto de livros e ao desenho do controle.

O próximo passo natural (e explicitamente buscado) é reforçar a parte mais “limpa” da medição:

privilegiar expressões (bigrams/trigrams) em vez de palavras isoladas,

reduzir termos ambíguos,

separar por gênero/estilo quando possível,

e continuar exigindo replicação por livro e validação fora da amostra.

Por que isso pode ajudar o mundo científico

Este trabalho não é “um resultado para ganhar discussão”. É um exemplo de ferramenta e atitude:

ferramenta, porque organiza um pipeline que tenta medir conceitos difíceis (agência, pressão, contexto) com controles progressivamente mais rigorosos;

atitude, porque documenta o processo real: falhas, correções, limites e tentativas de replicação.

Se calibrada e expandida (dicionários melhores, controles mais fortes, validação externa), essa abordagem pode contribuir para:

estudos de linguagem e atribuição de responsabilidade (psicologia, linguística, ciência política, direito),

análise de narrativa e moralidade em literatura,

auditoria de modelos e prompts (como diferentes molduras linguísticas empurram interpretações de culpa/necessidade),

e, principalmente, para um modelo de pesquisa que troca “certeza por torcida” por “certeza por teste”.

Autoria, transparência e verificação

Autor/organizador: Tiago Felippe.

Este depósito inclui um ZIP arquivado com trilha completa do trabalho. Para integridade, recomenda-se publicar na descrição o hash do arquivo (SHA256) já calculado no ambiente Carnets, permitindo que qualquer pessoa verifique que o ZIP baixado é o mesmo do depósito.

O objetivo final não é “provar a qualquer custo”, mas deixar claro o que os dados sustentam hoje e o que ainda precisa ser melhorado — com respeito ao leitor e sem partidarismo: a verdade, aqui, é definida como aquilo que resiste a testes cada vez mais duros.

Licença: CC BY 4.0 (atribuição a Tiago Felippe).

SHA256 do ZIP (verificação de integridade):fecf7724e2758162f393e55b97ac85df17ceb7beaa3cdc0c43055a29724b76a1