Il compositore di giochi e di film Sage Lewis dice che nessuno capisce di scrivere per la realtà virtuale

Per il musicista di formazione classica Sage Lewis, la tecnologia rappresenta una sfida. Sebbene le sue composizioni siano apparse in annunci per Google, Facebook e Nintendo, Lewis rimane risoluto con suoni acustici. "C'è qualcosa nel quartetto d'archi e nei principali strumenti acustici, che esprimono così tante emozioni", dice al telefono. "Non puoi davvero esprimerlo con la musica elettronica allo stesso modo."

Ma forse ha capito. A South by Southwest, i punteggi più recenti di Lewis: il techno-drama Operatore interpretato da Martin Starr (Silicon Valley) e Mae Whitman, e il thriller VR Il surrogato - Affrontare la nostra comprensione in continua evoluzione dell'interattività umana con una tecnologia rivoluzionaria. I punteggi di Lewis, una combinazione di elettronica e acustica riflettono questi cambiamenti sismici.

Diretto da Logan Kibens, Operatore segue un programmatore di computer che costruisce un bot del servizio clienti usando sua moglie come modello prima di intraprendere un percorso ossessivo e distruttivo basato sull'amore. Il surrogato, nel frattempo, è un'esperienza VR da una visione in prima persona che espone un matrimonio problematico. Nominato per l'Interactive Innovation Award al festival, Il surrogato "Problematizza la nozione di presenza fisica e riflette … paure e afflizioni culturali nell'era digitale."

Prima del festival di Austin, Lewis ha parlato Inverso e ci ha raccontato come ha composto una delle gemme nascoste di SXSW e come sono ancora scritte le regole per comporre la VR.

A SXSW quest'anno, ce l'hai Operatore e Il surrogato. Cosa puoi dirmi della tua comprensione dei due progetti?

È eccitante, sono due film simili nelle loro storie ma molto diversi nella forma e nel modo in cui sono vissuti. Entrambi hanno a che fare con la tecnologia, una relazione e il modo in cui interferisce con le relazioni reali nelle nostre vite personali. Riguardano l'intelligenza artificiale e dove andremo in futuro.

La tecnologia e le relazioni umane sono temi popolari, evidenziati in cose del genere Sua e Specchio nero. Come ti sei avvicinato al tuo punteggio Operatore ?

La tecnologia sta mediando sempre più le nostre comunicazioni, ma dove potremmo andare, le nostre relazioni non sono solo con un altro umano ma con un algoritmo. È stato divertente lavorare su questi temi musicalmente, la colonna sonora ha un ensemble da camera con un quartetto d'archi, pianoforte, chitarra acustica, batteria e percussioni. Poi c'è un intero lato elettronico, ogni strumento elettronico si mappa direttamente all'altro dell'altoparlante acustico. Noi li abbiamo ricreati da zero con un sintetizzatore modulare. Ciò ha creato una partitura in grado di esprimere queste emozioni elettronicamente.

Considerando come questi film siano così importanti per la tecnologia, perché hai incluso suoni naturali e classici Operatore ?

Per me si trattava di due mondi coesistenti, uno virtuale e uno naturale, e di come coesistono in armonia e conflitto, combattendo nello stesso spazio. Era importante avere pezzi. Se si contrappongono due cose l'una contro l'altra, ognuna diventa più potente. La musica elettronica suona più elettronica quando è nel contesto della musica acustica. La qualità di qualcosa di naturale può sembrare ancora più naturale quando la stai confrontando con qualcosa di molto innaturale.

Qual è stata la tua parte preferita di Operatore segnare?

Ci sono alcune bellissime scene del Lago Michigan dove il personaggio, Joe, va in giro ogni giorno. Misura i suoi dati sulla salute, va al lago Michigan e fa una foto. C'è una scena in cui erano come, "Questo è uno dei pezzi più importanti del film. Questo è tutto te stesso, Sage. "Anche la musica doveva essere semplice, non stava raccontando con molti gesti. Erano solo un paio di minuti di pochi gesti che erano semplici da collocare e potevano davvero colpirti nel cuore. È stato il più eccitante per me.

Come componi un'esperienza soggettiva in VR rispetto a un film come Operatore ?

È eccitante perché nessuno capisce come farlo. Non è possibile studiarlo da nessuna parte, nemmeno per controllare altri progetti di realtà virtuale per vedere cosa hanno fatto perché non è ancora accessibile. C'è molto da capire da solo. Abbiamo le nostre cuffie Oculus che abbiamo usato per sviluppare questo. A volte andiamo alle conferenze sulla realtà virtuale per vedere altri contenuti, ma per la maggior parte, è un prodotto che non ha ancora raggiunto il mercato.

E i videogiochi su cui hai lavorato e sono anche esperienze tecnologiche soggettive?

In un certo senso è come i videogiochi, ma l'esperienza è diversa. Il surrogato non è un gioco ma un "film interattivo", che ha fatto davvero un ottimo lavoro nel capire il nuovo territorio della realtà virtuale. È lungo 12 minuti, è sferico, il che significa che piuttosto che una cornice 16x9 sei nel film ovunque tu guardi, dietro di te, su, giù, puoi camminare. È questo ibrido di CG girato con una fotocamera sferica, con personaggi reali. Non avatar.

Mentre vai in giro, parte della musica sono usata per il tempo intero per supportare la narrazione. C'è questo altro tipo che si trova negli spazi. Se vai in quello spazio, lo sentirai, ma se non lo sei, non lo farai. C'è molto che devi comunicare quando sei in un film per far funzionare la trama in modo che le persone non si perdano le parti importanti, ma in VR non hai il controllo sull'utente. L'utente può andare ovunque.

Il punteggio in VR aiuta a comunicare l'arco emotivo, indipendentemente dal fatto che prestino attenzione nell'esecuzione o meno. Devi usare il punteggio per mettere insieme le cose perché non hai il controllo. Questo è interessante per me perché internamente, nel personaggio che stai dentro, c'è un thriller psicologico per quel personaggio dentro la loro mente e il loro corpo, ma nel mondo esterno non lo è. Sono le persone che si muovono e parlano, non un normale thriller con azione.

Gli angoli di ripresa nei film comunicano la narrazione e il tema, che la musica intensifica. In VR, sembra che la musica stia facendo tutto il lavoro.

È difficile capire anche perché quando sto componendo, non posso provarlo. Non posso dimostrarlo perché non puoi comporre con l'auricolare acceso. In un film, puoi guardarlo, mettere la musica e guardarla di nuovo e avere un gruppo di persone sedersi insieme e parlarne.

La realtà virtuale è simile al teatro in realtà. Alcune persone hanno buoni posti, alcune persone hanno cattivi posti. Stanno guardando tutti gli angoli. Dal punto di vista musicale, sai come vanno le cose. Non devi indovinare come si sentiranno sul palco mentre ci stai lavorando. In VR stai indovinando, immaginandolo nella tua mente, i materiali a cui ti stai riferendo che ti aiutano a informarti su come dovrebbero apparire e sentire le cose alla fine.

Non è mai finito Continua a cambiare. Il surrogato, abbiamo appena finito di fare l'ultimo aggiornamento ad esso. Quindi continueremo a lavorarci per un lungo periodo in base a ciò che apprenderemo. Le cose sono più lente perché ti affidi ai programmatori, le cose si rompono tutto il tempo all'interno del sistema. È così diverso.

Quanto pensi che ci vorrà perché i compositori trovino il ritmo per la musica in VR?

Capire come scrivere musica per VR ci vorrà fino a capire gli altri elementi. Penso da tre a cinque anni fino a quando non inizia ad arrivare al punto in cui funziona e fa parte della vita di tutti. Quest'anno, la realtà virtuale sarà sul mercato. Ci vorranno probabilmente anni per migliorare il prototipo e capire come creare contenuti, ma lo vedo accadere intorno al 2020, quando è una forma ben sviluppata. Anche il film ha richiesto molto tempo. C'erano grandi film fin dall'inizio, Charlie Chaplin e cose del genere, ma sviluppare quella tecnologia ha richiesto molto tempo prima della sua età d'oro. Siamo ancora lontani da questo, ma sta accadendo ora. Inizieremo a vederlo quest'anno. È eccitante.