Mettere insieme questa “catena compositiva” sul mio laptop da battaglia non è stato semplice: le richieste hardware sono notevoli.
Il principio base richiede l’implementazione di due protocolli di trasmissione: Syphon/Spout (a seconda che usiate AppleMacintosh o MsWindows) e OSC. Se usate sistemi aggiornati, avete già tutto, anche se non lo sapete. Se non usate sistemi aggiornati, lasciate perdere, ma qui ci sono comunque i link di riferimento:
00:00/00:40
Nel video, Resolume Arena esegue in maniera randomica una sequenza di fotogrammi di “Strade Perdute” di David Lynch. L’oggetto della sequenza è una telefonata, ma Resolume esegue il range di frame in maniera aleatoria. L’output di Resolume viene indirizzato ad un canale Syphon/Spout e intanto VCV Rack inizia l’esecuzione di una patch generativa che sulle prime risulta piuttosto monocorde perché mancano i trigger di certi parametri. Dopo circa 28 secondi è visibile il primo ouput di Resolume Arena, non ancora processato da TouchDesigner.
00:41/01:56
Poco dopo, l’andamento della patch VCV cambia sensibilmente, perché viene avviato TouchDesigner che è in grado di ricavare dai valori RGB dei frame che riceve via Spout i trigger necessari a pilotare il suono. Inoltre, la patch di TouchDesigner è in grado di distinguere real-time se nell’inquadratura compaiono visi e ricavare dal principale un pattern con cui sostituisce l’immagine originale. Questo l’ho ricavato, modificando il sistema di Face Tracking Prism di Elekktronaut.
2Dos
Con un computer più potente, l’elaborazione finale potrebbe essere indirizzata di nuovo a Resolume o magari a MadMapper, sempre via Syphon/Spout.
Old School
Il fatto che l’intero sistema lavori real-time, ne fa una complessa macchina generativa, capace di creare suoni e immagini dal vivo, dove ogni parametro pertinente ad uno dei due “reami” ha la capacità di influenzare l’evoluzione degli altri. Anche in questo caso l’approccio è old school: niente intelligenza artificiale.
Share this post