Dentro la Realtà Aumentata Segreta di Pinscreen e CGI

La realtà aumentata e lo scambio di volti sembrano essere candidati caldi per le prossime app mobili; basta guardare l'acquisto di MSQRD da parte di Facebook o l'acquisizione di Looksery da parte di Snapchat. Ma una startup di AR chiamata Pinscreen, attualmente supportata da 1,8 milioni di dollari da Lux Capital e Colopl VR Fund, sta cercando di fare le cose diversamente in questo settore. Inverso Ha parlato esclusivamente con il fondatore di Pinscreen, Hao Li, riguardo a cosa potrebbe essere in vantaggio per questa società segreta.

Potresti non aver sentito parlare di Hao Li, ma probabilmente hai visto la ricerca di questo assistente della USC in azione in diversi film di successo. Mentre lavorava allo studio di effetti speciali Industrial Light & Magic, Li ha aiutato a sviluppare alcuni strumenti che consentivano la cattura delle prestazioni in tempo reale. L'idea era che un attore potesse sedersi davanti a un computer con una webcam, recitare una scena, e quindi quella performance sarebbe stata tradotta - in tempo reale - da un personaggio in CG.

Li ha svolto ricerche approfondite anche in altre aree, compresa la creazione di modelli 3D di persone reali in tempo reale e catturando parti importanti della loro somiglianza, in particolare volti e capelli. Più recentemente, Li ha mostrato ricerche che lui e altri hanno condotto nel catturare una performance da una persona con una sola videocamera, e tradurla in un personaggio digitale.

All'inizio, questo non sembra così nuovo. Sono già in fase di sviluppo numerose soluzioni di tracciamento del volto, sia per le app mobili che per i sistemi più sofisticati come Faceshift (acquistato da Apple nel 2015). Ma molti di questi si basano su sensori di profondità, che la tecnologia di Li non richiede. Questo approccio, dice, è molto diverso.

"Se si dispone di un sensore di profondità, è sufficiente ottimizzare i parametri di un modello di faccia in modo che il modello si adatti all'input 3D il più vicino possibile", spiega Li. "Ma nel caso di un puro ingresso RGB, il mondo intero viene proiettato su un'immagine bidimensionale senza parametri noti della fotocamera come le lunghezze focali. Quindi un modello di faccia 3D accurato deve essere dedotto da questa immagine proiettata ed essere in grado di gestire una vasta gamma di condizioni di illuminazione così come le apparenze di soggetti diversi."

Da qui l'importanza della ricerca di Li sugli avatar 3D. Quando si mappano le facce di un essere umano, molti programmi di mappatura hanno problemi ad affrontare ostacoli visivi come capelli e occhiali. Per evitare questo problema, Pinscreen "ha costruito una rete neurale convoluzionale profonda che può imparare a segmentare una regione del volto in un'immagine completamente non vincolata".

Quindi, qual è Pinscreen che usa questa pazza tecnologia avanzata, comunque?

"Saremo un nuovo tipo di piattaforma di social media / comunicazione con alcune funzionalità AR interessanti", afferma Li. "Non sarà un'app come gli obiettivi Snapchat o MSQRD, che per la maggior parte delle persone è interessante solo per pochi minuti."

Quindi, per ora non è molto più che parole d'ordine. Ma, guardando più in profondità, il suo lavoro precedente suggerisce che stanno sperando di sviluppare la capacità di monitorare il volto di qualcuno nonostante i capelli, gli occhiali o altri oggetti che ostruiscono la vista della singola telecamera. Aggiungi in realtà aumentata e il cielo è il limite per film, social media e giochi.

Sembra piuttosto rivoluzionario, ma è importante notare che Li e il suo team non sono gli unici a fare ricerche in quest'area. La Disney ha recentemente presentato la sua presa sulla cattura delle prestazioni facciali in tempo reale, così come alcuni altri ricercatori con uno strumento chiamato Face2Face. C'è anche il già citato Faceshift, insieme a Facebook e Snapchat, che hanno anche iniziato a mostrare le loro merci.

Quindi cosa rende diversa la tecnologia di Pinscreen? Li suggerisce che la soluzione della sua azienda è "molto più robusta e può dedurre modelli 3D più accurati, dal momento che gestiamo esplicitamente le occlusioni".

"La nostra innovazione più importante è una tecnologia che ci consente di costruire un modello di testa 3D completo, includendo i capelli da qualsiasi immagine automaticamente", afferma. "Questo tipo di attività richiede tradizionalmente un modellatore e un montatore di CG esperti, ma possiamo generarlo in modo completamente automatico. Gli ultimi lavori presentati a SIGGRAPH (la principale conferenza di computer grafica e tecniche interattive) richiedono anche più immagini di input come input: ci concentriamo sulla soluzione con il minimo requisito di input, una singola immagine 2D."

Ovviamente, fino a quando le persone non vedranno e utilizzeranno qualsiasi app da Pinscreen, la giuria rimarrà fuori circa le sue capacità. La differenza qui, però, è che Li ha sicuramente una solida storia di ricerca e innovazione alle spalle, soprattutto nella creazione di avatar digitali.

Li è chiaramente sicuro delle possibilità di Pinscreen nello spazio dei social media. "Dato che la nostra tecnologia democratizzerà la generazione di avatar 3D, avrà applicazioni ovvie nei giochi, applicazioni VR / AR per la comunicazione immersiva o agenti di intelligenza artificiale", dice, "ma penso che creeremo noi stessi l'applicazione più interessante, che è la piattaforma social mediale che stiamo sviluppando.

"Soprattutto," aggiunge, "vogliamo creare qualcosa che permetta alle persone di creare contenuti davvero interessanti senza la costosa pipeline VFX di oggi e utilizzare contenuti AR davvero divertenti per connettersi tra loro".

Sembra che Pinscreen includa la gamma di tecnologie su cui Li e il suo team hanno lavorato. Ma, dice, questa è solo una parte del piano. "La demo tech è in realtà solo una caratteristica di ciò che stiamo progettando di utilizzare", osserva. "Pinscreen sarà qualcosa di molto più grande e la tecnologia sarà una caratteristica interessante all'inizio. Saremo anche molto diversi rispetto ad altri social media platform ".

Per ora, Pinscreen è ancora un po 'un mistero e sembra che dovremo solo aspettare di vedere cosa hanno in serbo.