Le nuove tecnologie possono scambiare le espressioni facciali in tempo reale

Ricorda che l'app Bizarro World "Myidol" è diventata virale questa primavera grazie alla sua capacità di utilizzare software di riconoscimento facciale per creare un avatar digitale che guardi e si muova Esattamente per lo più come fai tu? Sta per diventare una realtà … un po '.

I ricercatori della Stanford hanno scoperto come trasferire le espressioni facciali di una persona su un'altra persona in tempo reale tramite video.

Il modello mostrato nel video dimostrativo di Stanford utilizza solo un PC di livello consumer e una videocamera di profondità per ogni attore, il che significa che non è necessario necessariamente un equipaggiamento di lusso per eseguire questo tromp l'oeil, hai solo bisogno di alcuni algoritmi complessi.

I ricercatori hanno sviluppato un nuovo algoritmo in tempo reale che acquisisce immagini di alta qualità dei volti di ogni partecipante e li usa per trasporre le espressioni da un "attore di origine" (la persona che fornisce le espressioni facciali e / o la parola) a un "attore bersaglio" (la persona il cui volto sarà manipolato in base a ciò che fa l'attore di origine). Le informazioni visive dell'attore sorgente passano attraverso il programma e vengono visualizzate sullo stream video dell'attore target, quindi sembra che l'attore target stia sorridendo, parlando, tirando fuori la lingua, o qualsiasi altra cosa ti venga in mente.

Grazie a una serie di punti di riferimento mappati attorno al viso (simile all'app Myidol), i tipi di informazioni visive misurate dal sistema includono forma del viso e caratteristiche (come occhi, naso, bocca e persino rughe) e consistenza e profondità del viso. Il programma corrisponde quindi ai punti di riferimento dell'attore sorgente con l'attore target e sovrappone tali espressioni sul target per un feed video iper-realistico.

Dato che questo sistema è ancora in lavorazione (e sono state utilizzate attrezzature piuttosto rudimentali), i risultati finali sono ancora un po 'inquietanti - come i denti finti che disturbano il programma sovrapposti all'interno della bocca del bersaglio, quindi non c'è un buco nero quando è " apri "(vedi sopra) … così come il tipo di sguardo vuoto negli occhi del bersaglio. Ma quelle sono piccole patatine fritte rispetto alle cose interessanti che lo sviluppo di questo programma significa per noi.

Ecco un paio di idee su cosa potremmo usare questa tecnologia per:

• Hai un importante colloquio di lavoro su Skype e non sei vestito per il successo. Basta usare uno stand dall'aspetto fantasioso mentre fornisci le espressioni facciali e le risposte alle interviste killer.

• Stai guardando una conferenza in diretta da un grande professore in Germania - l'unico problema è che non parli tedesco. Non preoccuparti, grazie a un traduttore in tempo reale che utilizza questo software, puoi vedere il prof pronunciare il suo discorso nella tua lingua nativa senza alcun atroce ritardo nella duplicazione degli effetti visivi.

Guarda l'espressione-swap in azione: