The Glitchine Diorama

In Piazza Baiamonti, nel quartiere di Porta Garibaldi, è prevista la costruzione del Museo nazionale della Resistenza, la cui realizzazione comporterebbe l'abbattimento degli alberi presenti (un glicine di circa 80 anni, quattro tigli e un bagolaro). Il glicine in particolare ha un ruolo affettivo per la popolazione locale e per i frequentatori dell’area, i quali si sono espressi più volte contro il progetto, criticando le modalità di attuazione dei lavori e di potatura e abbattimento delle piante. Il dibattito ha coinvolto persone famose a livello nazionale e cittadino, rendendo la conversazione online ricca di contenuti.

Analisi e Catalogo

La discussione è stata analizzata attraverso l’analisi di 130 video sull’argomento dalle piattaforme Facebook, Instagram, Google Video, TikTok, e YouTube. Da ogni video sono state isolate le posizioni principali espresse e sono state raggruppate per macro-tematiche. Nel catalogo “W-Histeria” i risultati vengono presentati in tre sezioni: nella prima vengono analizzati i video identificati, nella seconda le persone coinvolte, nella terza le dichiarazioni espresse.

Installazione

La video installazione “The Glitchine Diorama” ripropone 34 citazioni significative per fornire una visione d’insieme del dibattito. Per ogni citazione è stata estratta la sagoma della persona che l’ha pronunciata. Le diverse sagome sono disposte nello spazio in base alla macro-tematica, così da formare l’arena di discussione.

Processo di progettazione

Il dataset di partenza con cui è stato realizzato il progetto "The Glitchine Diorama" è composto da 130 video sulla questione del glicine di piazza Baiamonti pubblicati su 5 diverse piattaforme: Facebook (35), Instagram (22), Google Video (34), Youtube (31) e TikTok (8). I video raccolti sono stati pubblicati online tra il 2019 e Ottobre 2023.

Nella fase iniziale, tutti i video sono stati raccolti in un dataset e analizzati dal punto di vista delle analytics, mappando l'URL, la data di condivisione, il titolo, la descrizione e le interazioni. In alcuni casi, lo stesso video era presente su più piattaforme, condiviso dallo stesso autore o da altri utenti. L'informazione sul numero di condivisioni di un video è stata raccolta nel dataset per verificare quali contenuti fossero più influenti. In seguito, i video sono stati mappati dal punto di vista del contenuto, concentrandosi sul parlato e sulle personalità che compaiono. A tal fine, partendo dai loro URL, i video sono stati scaricati localmente e trascritti utilizzando whisper, un modello gratuito per trascrivere il parlato sviluppato da Open.ai.

Una volta lette le trascrizioni, sono stati isolati manualmente 145 estratti, punti di vista sulla questione del glicine di Baiamonti. Per ogni estratto è stata mappata anche la rispettiva personalità.

Sia gli estratti che le personalità sono state poi raggruppate in cluster, ottenendo 10 cluster per gli estratti e 11 cluster per le personalità.

Per ciascuno dei 145 estratti isolati dalle trascrizioni, è stato registrato all’interno di un ulteriore dataset: il cluster, la personalità, il cluster di personalità, l'ID del video e il numero di repost.

Trattandosi di materiale video, sono state prese in considerazione sia le componenti audio che quelle visive. Queste componenti sono state manipolate per costruire un diorama - uno spazio in cui collocare diverse personalità e lasciarle esprimere i loro punti di vista sulla questione. Per comporre questo spazio, sono stati selezionati 34 estratti dai 145 iniziali e 20 personalità su 35.

È stato necessario selezionare un numero limitato di estratti in modo che il video non durasse troppo, ma allo stesso tempo fosse in grado di fornire una panoramica sulla controversia. La selezione mirava infatti a presentare almeno un estratto per ciascuno dei 10 cluster di estratti e a promuovere una diversità di voci. Nei casi in cui più estratti esprimevano lo stesso concetto, è stata data preferenza a quelli provenienti da personalità non ancora selezionate.

L'ordine di apparizione dei 34 estratti nel video segue un criterio narrativo. Gli estratti si susseguono per affinità o opposizione di parole e argomenti. La telecamera si muove nel diorama navigando tra i cluster di estratti, ovvero tra diverse aree di discussione.

Per comporre il diorama, le personalità sono state ritagliate dallo sfondo dei rispettivi video. L'estrazione delle personalità dal loro ambiente infatti aiuta sia la narrazione visiva, portando tutti nello stesso spazio, sia l'attenzione del visitatore, che si concentra maggiormente sui diversi punti di vista.

Per scontornare le personalità è stata inizialmente utilizzata la repo open source BG-Video Remover e successivamente lo strumento maschera magica di daVinci Resolve Studio. [Disclaimer: daVinci Resolve Studio is not a free tool, for open source solution check nadermx GitHub projects.]

In primo luogo, le clip originali sono state allineate in una timeline e successivamente lo sfondo è stato rimosso isolando il soggetto dal pannello Fusion di daVinci Resolve Studio.

Le sagome delle personalità sono state disposte nel diorama in base al cluster del loro estratto, alle diverse aree di discussione.

Sono stati aggiunti al diorama anche gli oggetti presenti sugli sfondi dei video dei 34 estratti scelti. Anche le 15 personalità, i cui estratti non sono stati scelti, sono state incluse nel diorama. Queste personalità sono state mostrate affinchè almeno visivamente, fossero presenti tutte le persone che nel nostro dataset hanno espresso un punto di vista sulla questione. I loro estratti sono stati infatti scartati perché il loro punto di vista corrispondeva ad altri già presenti. Gli estratti scelti sono quelli che riuscivano a esprimere un punto di vista nel modo più conciso e diretto possibile.

Gli oggetti e le personalità aggiunte in seguito non sono mai inquadrati direttamente nel video, ma sono visibili negli spostamenti di camera. Questa scelta è stata fatta per far sì che il ‘Glitchine Diorama’ fosse uno spazio quanto più ricco di informazioni sulla controversia. Infine, è stato implementato lo sfondo del diorama, sono state infatti aggiunte foglie e gradienti, per dare maggior profondità allo spazio.

Ogni personalità parlante è stata etichettata con il suo nome e il suo cluster di personalità. Le etichette sono state applicate utilizzando Davinci Resolve Fusion point tracking, individuando il volto del soggetto e posizionando l'etichetta sulla testa. Per mantenere una dimensione coerente tra le etichette, i soggetti sono stati precedentemente ridimensionati per risultare di simile grandezza.

Per aiutare il visitatore a orientarsi nel diorama, è stata aggiunta una mappa in alto a sinistra che richiama il cluster dell'estratto, ovvero l’area di discussione in cui la camera si sta muovendo.

In tre casi sono state aggiunte annotazioni per spiegare i trattamenti diversi che hanno avuto alcuni video. Ad esempio, tutte le personalità che non parlano a nome di associazioni o come rappresentanti di una categoria sono state offuscate per tutelarne la privacy.

Inoltre gli estratti provenienti da video condivisi da più account e/o su diverse piattaforme, sono visivamente ripetuti nel diorama. Il numero di volte in cui la personalità è ripetuta corrisponde all’esatto numero di volte in cui il video di provenienza è stato condiviso.

Infine quando una personalità non è inquadrata nel momento in cui esprime il suo punto di vista, l'etichetta con il suo nome e il cluster viene comunque mostrata.

La conclusione di "The Glitchine Diorama" è un invito al visitatore a dare un'occhiata al catalogo e ad approfondire la questione del glicine di Piazza Baiamonti. L'animazione 3D è stata realizzata con Blender 3D Cycles, adattando un modello da BlenderKit all’ambiente del diorama e della controversia.