Affronta la musica: come "Eye Conductor" aiuta Paralytics Rock the Fuck Out

Andreas Refsgaard, un interaction designer e programmatore creativo che vive ad Amsterdam, ha progettato un'interfaccia musicale che consente alle persone con disabilità fisiche di fare musica. The Eye Conductor utilizza il software di tracciamento degli occhi e la webcam di un computer per tradurre i movimenti facciali in diversi componenti della composizione musicale. Gli utenti possono allenarsi a suonare la cosa con il loro viso, il che significa che le persone paralizzate - le persone che non possono più suonare gli strumenti - possono avere una seconda possibilità di creare suoni belli (o solo rumorosi). Lo sguardo destro colpisce letteralmente l'accordo con l'invenzione di Refsgaard. L'espressione giusta si esprime ad alta voce.

Parlò con Refsgaard Inverso sulla motivazione che sta dietro al suo progetto, sulle difficoltà che ha incontrato lungo la strada, e su ciò che ha imparato da ciò che ha dato alle persone che hanno perso la capacità di fare della musica un'altra possibilità.

Qual è il tuo background con la musica?

Non mi definisco un musicista perché suono solo per divertimento, ma suono la chitarra e il basso. Ableton è un programma musicale, una stazione di lavoro digitale simile ai software di registrazione come Logic o Protools o Garage Band. Ho fatto un corso su di esso, e non ero così bravo a fare musica con esso, ma ero affascinato dalle possibilità che ho visto. Poi abbiamo iniziato a collaborare e fare alcune cose di tipo installazione più artistiche in cui avrebbe progettato i suoni e avrei collegato dei sensori, ad esempio una telecamera di profondità, così quando le persone passavano, avrebbero controllato alcuni aspetti del progetto.

Quindi sei un designer di interazione e un programmatore creativo. Potresti spiegare cosa significano quei titoli?

Tutte le cose che disegno sono interattive. Quindi, se dovessi fare una sorta di mobile, allora avrebbe alcune funzionalità che lo farebbero reagire a qualcosa. Sono anche un programmatore creativo. Rispetto a molte altre persone - ad esempio, ho studiato a Copenaghen all'Istituto di Interaction Design di Copenhagen, dove le persone provengono da molti background diversi - Sono un po 'più verso il lato del codice. Mi definisco anche un "programmatore creativo" perché non sono un programmatore adatto. Non sono così bravo, ma posso fare alcune cose molto velocemente e posso collegare le cose e sono bravo a inventare idee nuove.

Che cosa ti ha ispirato ad aiutare le persone con disabilità fisiche a fare musica?

Dopo il liceo per due o tre mesi ero un guardiano per qualcuno con distrofia muscolare. Stare con lui tutto il tempo mi ha fatto capire alcune cose che non potevo aiutarlo. Uno di loro si stava esprimendo in modo creativo. Non è che pensavo: "Ok, ecco un problema che devo risolvere", perché a quel tempo ero giovane e non avevo alcuna abilità professionale. Ma è rimasto con me.

Che dire in termini di ispirazione tecnica?

Un progetto chiamato Eyewriter ho visto circa un anno fa è un programma di pittura che è stato progettato per un ragazzo che era un artista di graffiti ma poi era paralizzato. Alcuni dei suoi amici erano programmatori e gli avevano creato uno strumento con la tracciatura degli occhi che lo rendeva in grado di disegnare. E poi da quando giocavo con i sensori e roba nei software musicali, ho fatto una connessione. L'ho fatto come mio progetto finale a scuola.

In che modo la musica è diventata il campo creativo che volevi esplorare?

Penso forse perché mi piace molto la musica me stesso e in termini di tempo che ho avuto per il progetto. È appena diventato chiaro che la musica era ciò con cui volevo lavorare. Poi sono stato molto ispirato da Eyewriter in termini di grafica.

La musica sembra un'ottima scelta perché è universale. Non riesco a pensare a nessuno a cui non piace la musica.

All'inizio volevo davvero verificare quanto fosse importante la musica per il gruppo per il quale stavo progettando. I primi passi stavano osservando come le persone con differenti disabilità fisiche interagiscono con la musica. Una casa che ho visitato aveva il giovedì della musica. Alcuni possono puntare un po 'o suonare un po' su una tastiera, e alcuni non possono fare nulla, ma il fatto è che si presentano per i giovedì musicali.

Tra l'osservazione e la realizzazione del dispositivo, quanto tempo ci è voluto?

Spesso in un processo di progettazione quelle sarebbero due cose separate, ma non mi piace quell'approccio. Mi piace costruire fin dall'inizio e poi quando ho conversazioni su ciò che ho costruito. E poi lo modifico o lo raffino.

Com'è stato vedere le persone che lo usano per la prima volta?

E 'stato abbastanza bello, si. Poiché alcune persone non possono parlare, la connessione può essere difficile. Ma quando hanno usato il mio EyeControl, ci siamo davvero connessi. Mi guardavano e sorridevano o recitavano molto bene o quando l'ho appena fatto erano davvero concentrati. È stato un bellissimo esempio del modo in cui la musica può aiutare le persone ad interagire ed esprimere emozioni.

Senza diventare troppo tecnico, qual è stato il problema più grosso che hai incontrato mentre stavi progettando l'Eye Conductor?

Per far funzionare il sistema devi sederti nella stessa posizione in cui ci troviamo ora davanti ai nostri computer portatili perché l'immagine che vedi di me in questo momento è dritta e buona per tracciare il mio viso e gli occhi. Ma se sei con qualcuno su una sedia a rotelle che non ha il controllo sulla postura o sulla schiena o sul collo, per esempio, a volte si siedono di più sui lati e il sistema non è in grado di seguire i movimenti del viso. E poi a volte sarebbe un po 'scomodo per me provare a dire, "Ok per far funzionare questo devi sederti più dritto." E poi con loro essere non verbali, come possiamo comunicarlo?

Se la testa di qualcuno fosse inclinata in quel modo, potresti teoricamente tenere il portatile in un modo che riprende i loro gesti facciali?

Si. Quindi non sono andato molto a risolvere quel problema, ma molte persone hanno i computer montati sulle loro sedie a rotelle e il computer è su un palo e poi su quel palo c'è un dispositivo di montaggio e lo angolano nella direzione giusta per indicare il punto la faccia della persona Non c'è una posizione giusta o sbagliata, si tratta solo di far sì che i sensori - che sono la webcam e un eye tracker - siano dritti per la testa. È stato un po 'impegnativo. Era più una cosa dell'hardware perché altrimenti avrei dovuto provare a costruire una struttura e sarebbe stato complicato. Non sono così bravo in questo.

Hai fatto tutto da solo o ti sei imbattuto in problemi tecnici che solo altre persone sapevano come risolvere?

L'ho fatto da solo ma sul lato del sound design ho avuto l'aiuto di quel professore di cui ti ho parlato. Fondamentalmente solo roba di design del suono. Ho anche avuto un consulente che mi ha dato alcuni suggerimenti in termini di un linguaggio di programmazione chiamato Max, che era davvero bravo in. Mi ha solo aiutato ad essere più a suo agio con determinati dettagli di programmazione. Ovviamente gran parte era nuova ma i suoi fondamenti lo sapevo già dalle precedenti esperienze. Ho fatto il conduttore dell'occhio in otto settimane e la gente ha detto: "Oh, è pazzesco, come puoi farcela in otto settimane?" Ma ho fatto altre cose che sono anche avanzate in termini di utilizzo di sensori e software musicale e che hanno richiesto molto più tempo perché Non sapevo come farlo Ora so che non è così difficile, anche se questo progetto è stato più complicato. Per me è anche importante sottolineare che si tratta di un prototipo pienamente funzionante, ma non è un prodotto. Quindi le persone non possono uscire e comprarlo e installarlo sul mio computer.

Stavo per chiederti se hai intenzione di venderlo?

In realtà non voglio venderlo, voglio darlo via. Voglio renderlo una cosa open source ma non posso promettere nulla ora. Non ho ancora finanziamenti per questo e ho del lavoro e altre cose da fare. Ho ricevuto un messaggio da un ragazzo del Michigan, ad esempio, che era un produttore e poi ha ottenuto la SLA. Devo renderlo in qualche modo disponibile a tutte queste persone. Per me è molto importante, a un certo punto, e non posso prometterlo quando, ma si spera abbastanza presto, impacchettarlo in modo che le persone possano scaricarlo tutto come una cosa sola e funzionare sulla maggior parte dei computer o effettivamente provarlo nel browser. L'idea alla base di renderla una cosa del browser richiederebbe solo che le persone abbiano un computer con accesso online e quindi abbiano qualsiasi sostituto per un mouse che potrebbero avere sul proprio computer. Se lo faccio open source, posso fornire la demo di base e quindi le persone possono aggiungere i propri colpi di scena per farcela da soli.

È bello sapere che lo stai facendo perché vuoi aiutare le persone e non perché vuoi diventare ricco o qualcosa del genere.

Gli strumenti con cui l'ho costruito - almeno il prototipo funzionante - sono open source. Perché dovrei ottenere il credito? Per esempio il sistema di tracciamento del volto che utilizzo per il mio prototipo che consente alle persone di creare un suono alzando le sopracciglia o aprendo la bocca, è una cosa chiamata FaceOSC creata da un ragazzo di nome Kyle McDonald e questo è un sistema open source. Non penso che sarei arrivato fino a quel momento senza quel software.