Gli altoparlanti intelligenti possono essere incisi dal suono, dire ai ricercatori di fermarlo

Che cosa succede se ti dicessimo che un hacker potrebbe dare un comando a Amazon Echo senza che tu te ne accorga - o anche dover fare hacking come normalmente pensiamo?

Moustafa Alzantot, un dottore in scienze informatiche candidato all'università della California, Los Angeles afferma che è teoricamente possibile che un attore malintenzionato invii un particolare suono o segnale che di solito passerà inosservato agli occhi degli altri, ma farà vacillare gli algoritmi di deep learning degli A.I.

"Un esempio di un attacco controllerebbe il tuo dispositivo di casa, senza che tu sappia cosa sta succedendo", dice Alzantot Inverso. "Se stai ascoltando musica alla radio e hai un eco seduto nella tua stanza. Se un attore malintenzionato è in grado di trasmettere un segnale audio o musicale creato in modo tale che l'Eco lo interpreti come un comando, questo consentirebbe all'utente malintenzionato di dire, sbloccare una porta o acquistare qualcosa."

È un attacco noto come un contraddittorio, ed è ciò che Alzantot e il resto del suo team mirano a fermare, come descritto nel loro articolo presentato di recente al workshop NIP 2017 Machine Deception.

A.I. non è diverso dall'intelligenza umana che lo ha creato in primo luogo: ha i suoi difetti. I ricercatori di informatica hanno escogitato modi per ingannare completamente questi sistemi alterando leggermente i pixel in una foto o aggiungendo deboli rumori ai file audio. Questi piccoli ritocchi non sono completamente rilevabili dagli umani, ma alterano completamente ciò che un A.I. sente o vede.

"Questi algoritmi sono progettati per tentare di classificare ciò che è stato detto in modo che possano agire su di esso", racconta Mani Srivastava, informatico dell'UCLA, Inverso. "Cerchiamo di sovvertire il processo manipolando l'input in modo che un essere umano vicino senta" no ", ma la macchina sente" sì ". Quindi puoi forzare l'algoritmo a interpretare il comando in modo diverso rispetto a quello che è stato detto."

I più comuni esempi di contraddittorio sono quelli relativi agli algoritmi di classificazione delle immagini, o la modifica di una foto di un cane così lievemente da rendere l'A.I. penso che sia qualcosa di completamente diverso. Le ricerche di Alzantot e Srivastava hanno evidenziato che gli algoritmi di riconoscimento vocale sono anche suscettibili a questi tipi di attacchi.

Nel documento, il gruppo ha utilizzato un sistema di classificazione vocale standard trovato nella libreria open source di Google, TensorFlow. Il loro sistema è stato incaricato di classificare i comandi di una sola parola, quindi ascolta un file audio e tenta di etichettarlo con la parola che è stata detta nel file.

Hanno quindi codificato un altro algoritmo per cercare di ingannare il sistema TensorFlow usando esempi di contraddittorio. Questo sistema è stato in grado di ingannare la classificazione vocale A.I. L'87 percento delle volte usa il cosiddetto black box attack, nel quale l'algoritmo non ha nemmeno bisogno di sapere nulla sul design di ciò che sta attaccando.

"Ci sono due modi per montare questo tipo di attacchi", spiega Srivastava. "Uno è quando, io come l'avversario conosco tutto del sistema ricevente, così ora posso inventare una strategia per sfruttare quella conoscenza, questo è un attacco alla scatola bianca. Il nostro algoritmo non richiede la conoscenza dell'architettura del modello della vittima, rendendolo un attacco alla scatola nera."

Gli attacchi con scatola nera sono meno efficaci, ma sono anche quelli che verrebbero probabilmente usati in un attacco reale. Il gruppo UCLA è stato in grado di raggiungere un tasso di successo così alto dell'87% anche quando non ha adattato il proprio attacco per sfruttare le debolezze dei propri modelli. Un attacco alla scatola bianca sarebbe tanto più efficace nel caos con questo tipo di A.I. Tuttavia, assistenti virtuali come Alexa di Amazon non sono le uniche cose che potrebbero essere sfruttate usando esempi contraddittori.

"Le macchine che fanno affidamento su una sorta di inferenza dal suono potrebbero essere ingannate", ha detto Srivastava. "Ovviamente, Amazon Echo e tale è un esempio, ma ci sono molte altre cose in cui il suono è usato per fare inferenze sul mondo. Hai sensori collegati a sistemi di allarme che assorbono suoni."

La consapevolezza che i sistemi di intelligenza artificiale che recepiscono gli spunti audio sono anche suscettibili agli esempi contraddittori è un ulteriore passo avanti nel rendersi conto di quanto siano potenti questi attacchi. Mentre il gruppo non era in grado di effettuare un attacco trasmesso come quello descritto da Alzantot, il loro lavoro futuro ruoterà attorno alla visione di quanto sia fattibile.

Mentre questa ricerca ha solo testato comandi vocali limitati e forme di attacco, ha evidenziato una possibile venerabilità in gran parte della tecnologia consumer. Questo funge da trampolino di lancio per ulteriori ricerche nella difesa dagli esempi contraddittori e dall'insegnamento A.I. come distinguerli