ARGIRA – Cycle Closure Experiment: Code, Datasets and Geometric Invariants for Sonified Visual Art (74 artworks)

# ARGIRA — Ciclo cerrado: sonificación de 74 obras de arte **Autor:** Jose Ranero Garcia · ORCID: 0009-0009-3168-6379 **Licencia:** CC BY-NC 4.0 (Creative Commons Attribution-NonCommercial 4.0 International) **Depósitos relacionados:** - Paper B_v9: https://doi.org/10.5281/zenodo.20266242 - Dataset B_v9: https://doi.org/10.5281/zenodo.20258314 - Software v23: https://doi.org/10.5281/zenodo.20234082 --- ## English This deposit contains the scripts, datasets and documentation required to reproduce the cycle closure experiment of the ARGIRA sonification system — a pipeline that translates paintings into sound by extracting their visual and chromatic structure. The central question is: what happens when you try to reverse the process? If a painting generates a sound, can you reconstruct the painting from that sound? The answer, demonstrated formally across 74 artworks from 32 artists, is **no** — and that is a stronger result than it might appear. Results are organised into three epistemological layers that separate what the system can claim strongly from what it cannot. ### Layer A · Geometric Conservation (verified) The horizontal centre of mass of the image (*cx*) — where the visual weight of the painting sits — is faithfully preserved in the stereo position of the generated audio (*pan_obs*), with a mean error below 0.05. This means: if a painting has most of its color concentrated on the left, the sound comes from the left. If the weight is on the right, the sound shifts right. The mapping is linear, deterministic and fully traceable: > *cx_pred* = (*pan_obs* + 1) / 2 This is the most robust finding and has direct practical application in accessibility: a person who cannot see can locate the spatial composition of a painting by listening to where the sound comes from, using headphones. ### Layer B · Estimator Correlation (strong and significant) Across all 74 artworks, the statistical relationships between visual structure and sonic structure are globally preserved: | Visual estimator | Sonic correlate | Correlation ||----------------|----------------|-------------|| `irregularity` | `sonic_freq_hz` | r = 1.000 || `local_contrast` | `sonic_freq_hz` | r = 0.949 (p < 10⁻¹⁴, independent) || `edge_density` | `effort` | r = 0.759 (p < 10⁻¹⁴, independent) || `Dv` (fractal dim.) | `Ds` (fractal dim.) | r = −0.013 (not preserved — explicit limit) | **Note on r = 1.000:** `sonic_freq_hz` is computed directly from `irregularity` within the pipeline. This is full mathematical traceability by design, not hidden circularity. The correlations of `local_contrast` and `edge_density` are statistically independent and confirm that visual complexity predicts sonic complexity consistently across the full corpus. The fractal dimensions (*Dv* visual, *Ds* sonic) do not correlate (r = −0.013), which shows that structural preservation has clear, honest limits. ### Layer C · Inversion Not Possible (formally demonstrated) To test whether the cycle can be closed, the experiment attempts to recover the original `hue_std` (chromatic variance) of each painting from the **tempo** of the generated audio — the most direct sonic correlate in the ARGIRA mapping. **Result across 74 artworks:** | Metric | Value ||--------|-------|| Mean inversion error (0–1 scale) | 0.709 || Artworks with error < 0.05 | 0 of 74 || Real `hue_std` range | 0.02 – 0.36 || Predicted `hue_std` range | 0.54 – 1.00 || Tempo needed to recover real `hue_std` | 71–88 BPM || Tempo generated by the pipeline | 97–140 BPM | The failure is **structural**, not numerical. Recovering real `hue_std` values (0.02–0.36) would require the pipeline to generate tempo between 71–88 BPM. The pipeline generates tempo between 97–140 BPM. The ranges do not overlap **by design**. No bijective image ↔ audio mapping exists. This is a formal proof, not a negative result. Many sonification systems claim to "contain" the image in the sound. ARGIRA demonstrates the opposite honestly: the sound is a faithful structural translation of the painting, not a copy. ### Conclusion **ARGIRA is a structural preservation system, not an inversion system.** It preserves *where* the visual weight of a painting sits (Layer A) and *how* its complexity relates to sonic complexity (Layer B). It does not pretend to reconstruct the image from the sound (Layer C). This separation is the methodological contribution: a framework for evaluating any sonification system by distinguishing what it genuinely preserves from what it cannot recover. ### Deposit contents - `argira_ciclo_cerrado_v2.py` — Main script. Image + WAV analysis, batch CSV mode, SHA-256 traceability per artwork.- `prueba_geometrica.py` — Layer A verification on a single image + WAV.- `analisis_sonic_csv.py` — Batch correlation analysis over the 74‑artwork dataset.- `results_v3_5.csv` — 74 artworks with audio features: `hue_std`, `Dv`, `Ds`, `tempo`, `spectral_entropy`, MFCC1–5.- `sonic_tokens_dataset.csv` — 74 artworks with visual estimators: `irregularity`, `sonic_freq_hz`, `edge_density`, `effort`, `local_contrast`.- `README.md` — Full documentation (EN + ES). --- ## Español Este depósito contiene los scripts, datasets y documentación necesarios para reproducir el experimento de ciclo cerrado del sistema de sonificación ARGIRA un *pipeline* que traduce pinturas en sonido extrayendo su estructura visual y cromática. La pregunta central es: ¿qué ocurre cuando intentas invertir el proceso? Si una pintura genera un sonido, ¿puedes reconstruir la pintura a partir de ese sonido? La respuesta, demostrada formalmente sobre 74 obras de 32 artistas, es **no** — y ese es un resultado más sólido de lo que parece. Los resultados se organizan en tres capas epistemológicas que separan lo que el sistema puede afirmar con solidez de lo que no puede. ### Capa A · Conservación geométrica (verificada) El centro de masa horizontal de la imagen (*cx*) — donde reside el peso visual de la pintura — se preserva fielmente en la posición estéreo del audio generado (*pan_obs*), con un error medio inferior a 0.05. Esto significa: si una pintura tiene la mayor parte de su color concentrado a la izquierda, el sonido viene de la izquierda. Si el peso está a la derecha, el sonido se desplaza a la derecha. El mapeo es lineal, determinista y completamente trazable: > *cx_pred* = (*pan_obs* + 1) / 2 Es el hallazgo más robusto y tiene aplicación práctica directa en accesibilidad: una persona sin visión puede localizar la composición espacial de una pintura escuchando de dónde proviene el sonido, con auriculares. ### Capa B · Correlación de estimadores (fuerte y significativa) En las 74 obras, las relaciones estadísticas entre estructura visual y estructura sonora se preservan globalmente: | Estimador visual | Correlato sónico | Correlación ||----------------|----------------|-------------|| `irregularity` | `sonic_freq_hz` | r = 1.000 || `local_contrast` | `sonic_freq_hz` | r = 0.949 (p < 10⁻¹⁴, independiente) || `edge_density` | `effort` | r = 0.759 (p < 10⁻¹⁴, independiente) || `Dv` (dim. fractal) | `Ds` (dim. fractal) | r = −0.013 (no se preserva — límite explícito) | **Nota sobre r = 1.000:** `sonic_freq_hz` se calcula directamente a partir de `irregularity` dentro del *pipeline*. Es trazabilidad matemática completa por diseño, no circularidad oculta. Las correlaciones de `local_contrast` y `edge_density` son estadísticamente independientes y confirman que la complejidad visual predice la complejidad sonora de forma consistente en todo el corpus. Las dimensiones fractales (*Dv* visual, *Ds* sonora) no correlacionan (r = −0.013), lo que muestra que la preservación estructural tiene límites claros y honestos. ### Capa C · Inversión no posible (demostrada formalmente) Para comprobar si el ciclo puede cerrarse, el experimento intenta recuperar el `hue_std` original (varianza cromática) de cada pintura a partir del **tempo** del audio generado — el correlato sónico más directo en el mapeo de ARGIRA. **Resultado sobre 74 obras:** | Métrica | Valor ||--------|-------|| Error medio de inversión (escala 0–1) | 0.709 || Obras con error menor a 0.05 | 0 de 74 || Rango real de `hue_std` | 0.02 – 0.36 || Rango `hue_std` predicho | 0.54 – 1.00 || Tempo necesario para recuperar `hue_std` real | 71–88 BPM || Tempo generado por el pipeline | 97–140 BPM | El fallo es **estructural**, no numérico. Recuperar los valores reales de `hue_std` (0.02–0.36) requeriría que el *pipeline* generara tempo entre 71–88 BPM. El *pipeline* genera tempo entre 97–140 BPM. Los rangos no se solapan **por diseño**. No existe correspondencia biyectiva imagen ↔ audio. Esta es una demostración formal, no un resultado negativo. Muchos sistemas de sonificación afirman "contener" la imagen en el sonido. ARGIRA demuestra lo contrario con honestidad: el sonido es una traducción estructural fiel de la pintura, no una copia. ### Conclusión **ARGIRA es un sistema de preservación estructural, no de inversión.** Preserva *dónde* reside el peso visual de una pintura (Capa A) y *cómo* su complejidad se relaciona con la complejidad sonora (Capa B). No pretende reconstruir la imagen a partir del sonido (Capa C). Esta separación es la contribución metodológica: un marco para evaluar cualquier sistema de sonificación distinguiendo lo que preserva genuinamente de lo que no puede recuperar. ### Contenido del depósito - `argira_ciclo_cerrado_v2.py` — Script principal. Análisis imagen + WAV, modo *batch* CSV, trazabilidad SHA-256 por obra.- `prueba_geometrica.py` — Verificación de Capa A sobre una imagen + WAV.- `analisis_sonic_csv.py` — Análisis de correlaciones sobre las 74 obras.- `results_v3_5.csv` — 74 obras con *features* de audio: `hue_std`, `Dv`, `Ds`, `tempo`, `spectral_entropy`, MFCC1–5.- `sonic_tokens_dataset.csv` — 74 obras con estimadores visuales: `irregularity`, `sonic_freq_hz`, `edge_density`, `effort`, `local_contrast`.- `README.md` — Documentación completa (EN + ES). --- ## Nota de licencia La licencia real de este trabajo es **CC BY-NC 4.0** (Creative Commons Attribution-NonCommercial 4.0 International), tal como se indica en el PDF y toda la documentación relacionada.