A un anno, la funzione "In questo giorno" esemplifica il modo in cui A.I. Sta cambiando Facebook

Un anno fa, Facebook ha pubblicato la sua funzione "On This Day". Inverso ha parlato con Manohar Paluri di Computer Vision Research di Facebook su come l'intelligenza artificiale, l'apprendimento automatico e la visione artificiale rendono questa caratteristica più significativa - e come queste aree di ricerca e sviluppo continueranno a migliorare l'esperienza di Facebook negli anni a venire.

Anche se non hai utilizzato tu stesso questa funzionalità, hai visto questi post nel tuo feed delle notizie; hai visto un amico ricomporre un evento dal suo passato su Facebook. Non posso credere che siano passati tre anni da quando quel mago ha tirato fuori un coniglio da un cappello! abbinato a una foto di detto mago che estrae detto coniglio da detto cappello. Qualcosa di simile a quello. E oggi, Facebook condivide la sua memoria. In questo giorno, un anno fa, Facebook ha lanciato On This Day. (Ora, in questo giorno vanta oltre 60 milioni di visitatori giornalieri e 155 milioni si iscrivono alle sue notifiche.)

Ma per Facebook, questo ricordo è meno sentimentale di quanto non sia una pietra miliare. Facebook distribuisce costantemente nuove funzionalità e queste funzionalità vengono costantemente esaminate e ottimizzate. A volte sono gli esseri umani, come Paluri e la sua squadra, a fare il tweaking; altre volte è A.I.s. La maggior parte delle volte, però, è simbiotica. Facebook è come un cyborg, e questo cyborg ne ha uno Ragione d'essere: per rendere la tua esperienza su Facebook come il più piacevole possibile.

La visione del computer, la comprensione del contenuto e A.I. la squadra di Facebook potrebbe essere vista, se lo vorrai, come la scheda madre del cyborg. E Paluri, per continuare la metafora, è una sorta di unità di elaborazione centrale per quella scheda madre. Paluri lavora in computer vision da oltre un decennio, e non è una piccola frittura: ha iniziato a lavorare in SRI, è passato ai laboratori IBM Watson e da lì è saltato su Google. E ora è a Menlo Park su Facebook. Quando si è unito, il suo progetto di internato nel riconoscimento visivo si è trasformato nella "spina dorsale", dice, della tecnologia di comprensione dell'immagine e del video di Facebook. E quel motore di riconoscimento visivo sta diventando sempre più centrale per Facebook.

"Se guardi all'utilizzo di Facebook nel tempo - e questo è un esempio che anche Mark Zuckerberg cita spesso - vedi che i media più ricchi e più ricchi sono condivisi, e la gente li usa per connettersi", dice Paluri. "Parti dal testo, vai alle foto; dalle foto vai ai video e dai video che stiamo andando alla realtà virtuale. Poiché il mezzo di comunicazione diventa più ricco e ricco, è anche importante che gli strumenti raggiungano il livello, che gli strumenti comprendano che cosa è questo contenuto. Se non lo faremo, non saremo in grado di fare meglio nella classifica di Feed di notizie, non saremo in grado di fare meglio nel recupero della ricerca, non saremo in grado di fare meglio nel descrivere le foto per i non vedenti, non saremo in grado di costruire migliori mappe di densità di popolazione."

Post di zuck.

La relativamente nuova centralità dell'intelligenza artificiale, dell'apprendimento automatico e della visione artificiale, dice Paluri, è un po 'una "scommessa strategica", ma una scommessa che lo eccita. Da nessun'altra parte ha lavorato con un feedback e un ciclo di risposta così stretti tra ricerca e ingegneria. "Centralizzandolo, elaboriamo con lo stato dell'arte, spingiamo lo stato dell'arte, e quindi i team di prodotto e il resto dell'azienda possono inserirsi in esso", afferma.

Ora, Paluri gestisce il team di visione artificiale. "L'obiettivo di alto livello per il team è quello di far vedere alle macchine il modo in cui gli esseri umani fanno", spiega Paluri. "E andare oltre, in realtà - andare oltre ciò di cui gli esseri umani sono capaci, per esempio, come riconoscimento a grana fine, per esempio. Pubblichiamo le nostre scoperte nelle principali conferenze, scriviamo blog tecnici e siamo molto aperti su ciò su cui stiamo lavorando. Nel complesso, il nostro obiettivo principale è portare la tecnologia di visione artificiale al resto dei gruppi di prodotti su Facebook."

E il primo prodotto che sta raccogliendo il raccolto della squadra di Paluri sembra essere proprio in questo giorno.

Dietro il semplicistico, innocente velo che è in questo giorno si trova un complesso A.I. e sistema di visione artificiale che perfeziona la tua esperienza mnemonica. Paluri, che - di nuovo - è legato solo tangenzialmente a In questo giorno, spiega perché rivivere i ricordi dei social network può essere una buona cosa:

"La nostalgia è un fenomeno molto positivo. Quindi, vedere la tua foto del matrimonio, ad esempio, in modo estemporaneo - quando non lo stai specificatamente cercando, ma appare solo nel tuo feed di notizie - è un'esperienza estremamente piacevole. Soprattutto quando stai navigando nel presente e una memoria positiva viene fuori dal passato."

"La nostalgia è un fenomeno molto positivo."

Eppure c'è indubbiamente la nostalgia che cade di più sul lato amaro dello spettro agrodolce. "La prima cosa che mi viene in mente", dice Paluri, è: "Dovresti scoprire tutti i ricordi? La risposta intuitiva è no, perché dipende dallo stato attuale, dipende da quella memoria specifica; ci sono molte, molte cose intrinseche. Ecco dove l'A.I. la tecnologia entra in scena."

E ci sono due modi in cui l'A.I. entra, qui: uno, personalizzazione; due, comprensione dei contenuti.

Rispetto a quest'ultimo, la comprensione dei contenuti: "Questi ricordi sono ricordi di testo, eventi della vita, foto che hai caricato o video che hai caricato. Quindi, ora hai questa pletora di contenuti che è di diverse modalità, e capire cosa c'è dentro è estremamente importante essere in grado di apprendere e fornire il giusto insieme di ricordi ".

Inoltre - e non solo per In questo giorno - comprensione dei contenuti e questi A.I. i sistemi aiutano a diffondere l'enorme quantità di informazioni che si trovano su Facebook ogni giorno. (Pensaci: se il feed delle notizie di Facebook assomigliava a quello di Instagram, vedresti può essere due per cento di tutti i post. Piuttosto, ti imbatti in contenuti che probabilmente ti piaceranno, o contenuti che ti permetteranno di trascorrere molto tempo ad assimilare.) E aiuta a filtrare contenuti discutibili, come la pornografia, più della maggior parte degli altri siti online.

"Anche se è una perdita, porta loro un ricordo positivo."

E per quanto riguarda il primo, Paluri spiega: "Per te, forse, guardare i ricordi positivi è buono, e non ti piace niente di negativo. Ma per qualcun altro, forse vogliono essere ricordati del fatto che hanno perso il loro gatto in questo giorno. Anche se è una perdita, porta loro una memoria positiva. "E, in un certo senso, ogni utente di Facebook ha un profilo altamente personalizzato, dietro le quinte, che sa di cosa o non vorrà o non vorrà più ricordare. "Mentre interagisci con i ricordi - mentre condividi, come vuoi, o quando rifiuti - c'è un modello di apprendimento automatico che usa il modulo di comprensione dei contenuti, insieme alle tue preferenze, e personalizza i futuri ricordi che ti saranno serviti “.

Ma non preoccuparti: Facebook vuole essere sicuro che non ti venga ricordata bruscamente una rottura o la morte di un parente. "Non importa quanto sia buono l'A.I. o la tecnologia di apprendimento automatico è, vorremmo ancora dare il controllo all'utente, perché alla fine della giornata, il nostro obiettivo è riemergere i ricordi che a loro piace. "Gli utenti ottengono un interruttore di override:" Se lo sanno, tra questi date, è accaduta una cosa negativa - si sono lasciati, o qualcosa del genere - vogliamo dare loro il pieno controllo di non riaffiorare quei ricordi ".

All'interno delle preferenze per In questo giorno, quindi, puoi dire Non mostrarmi ricordi con così e così perché è un umano spregevole o … degli ultimi tre anni che erano infelici e in nessun modo degni di nota.

Guardando al futuro, Paluri spiega perché è entusiasta di continuare a lavorare sullo sviluppo di questi sistemi e sul miglioramento della qualità della scheda madre di Facebook.

Hai già menzionato altre applicazioni per sistemi di visione e comprensione dei contenuti all'interno di Facebook. C'è qualcos'altro che è ancora in lavorazione - che impiega questi sistemi - che ti eccita?

Tutte queste funzionalità sui video sono qualcosa che mi entusiasma, sicuramente. Questo sicuramente esiste già; è una cosa continua, perché il video è piuttosto grande su Facebook. Ma penso che, a un certo livello, vogliamo diventare più ricchi e più ricchi nel comprenderlo. L'attuale tecnologia di visione artificiale non è ancora presente in termini di descrizione delle immagini come fanno gli umani. Potrebbe dirti che questa foto ha queste cose, che questo è il pixel che appartiene al gatto, e così via - ma è limitato. Ancora non capisce il rapporto tra le cose, e ancora non lo descrive in modo umano.

C'è qualche lavoro là fuori che descrive le immagini - si chiama didascalia delle immagini. Ci sono un sacco di lavori che sono usciti negli ultimi due anni. Ma se si guardano le didascalie generate da questi sistemi, sono molto generali. Non sono descrittivi. Una delle cose che vorremmo, e che arriverà in futuro dalla nostra parte, è descriverle in un modo molto più ricco. Sia per immagini che per video. Se hai un video di due minuti, non vuoi una descrizione di una frase; quello che vuoi è un paragrafo con un senso del tempo per la descrizione, giusto? "Questo è successo, poi è successo, poi è successo", giusto? Questa è una buona comprensione.

Quindi stai cercando di buttarmi fuori dal mio lavoro, stai dicendo. In breve.

Ride No, decisamente no. Sto rendendo il tuo lavoro più interessante.

Ti senti come se Facebook fosse un posto strano per questa ricerca, o è un posto perfetto?

Penso che sia un posto perfetto, perché la comprensione dei contenuti è nel DNA di Facebook. Se guardi all'esplosione dell'uso di Facebook, News Feed è uno dei pilastri che ha permesso a Facebook di diventare un social network sorprendente rispetto a molti altri concorrenti. News Feed, ancora, è il principale canale di distribuzione.

Ma quando vieni a News Feed, non vieni con un intento specifico. Vieni lì per informazioni. Quindi è un po 'importante per noi mostrarti le cose giuste, mostrarti cose significative. Se stai andando ad altri servizi, forse stai andando con un intento, nel qual caso tutto il servizio deve fare è dare la risposta. Ecco, è come se ti dessi la domanda e Ti sto dando la risposta. Quindi, devi essere davvero, davvero buono per qualcuno per continuare a tornare.

Ecco perché A.I. e la comprensione dei contenuti è al centro di Facebook, e perché questo è il posto migliore per farlo. Considerata la quantità di contenuti multimediali disponibili - dato il volume di contenuti su Facebook relativi a immagini e video e il passaggio a un numero sempre maggiore di video e VR - è il posto migliore dove fare A.I. ricerca, visione artificiale e apprendimento automatico.

Non è un posto strano: lo è il posto.