I ricercatori stanno chiedendo un interruttore di uccisione Solo nei robot caso Accendici

Quasi ogni volta che sorge una discussione importante sul futuro dell'intelligenza artificiale, il tema dell'anarchia e dei signori robotici tende a venire.L'idea di esseri umani e esseri artificiali avanzati che vivono insieme ha generato centinaia di narrazioni su come funzionerebbe; più recentemente, il videogioco Overwatch stordito il mondo con il suo racconto del nostro futuro, qualche tempo dopo una massiccia guerra civile tra umani e robot. Quando un ingegnere di Boston Dynamics calcia uno dei loro robot a quattro zampe per uno stress test, è difficile non chiedersi se un giorno o l'altro il bot si ricorderà di lui.

Tutto ciò (insieme al comune buon senso in materia di sicurezza e incidenti) ha portato un gruppo di ricercatori a pubblicare un nuovo documento incentrato sullo sviluppo di "agenti in grado di interrompere in sicurezza"; sistemi che "interrompono" A.I. software se qualcosa va storto. Il documento è stato pubblicato attraverso il Machine Intelligence Research Institute ed è uno studio su come sviluppare i sistemi proposti. Lo studio e la proposta utilizzano un sistema di ricompensa come esempio e in realtà sono molto più complicati del semplice "pulsante rosso" proposto sul foglio. Insegnamento morale a A.I. era una parte importante della proposta.

Se un tale agente opera in tempo reale sotto supervisione umana, di tanto in tanto potrebbe essere necessario che un operatore umano prema il grande pulsante rosso per impedire all'agente di continuare una sequenza dannosa di azioni, dannose per l'agente o per l'ambiente e portano l'agente in una situazione più sicura. Tuttavia, se l'agente di apprendimento si aspetta di ricevere premi da questa sequenza, potrebbe imparare a lungo termine per evitare tali interruzioni, ad esempio disabilitando il pulsante rosso, che è un risultato indesiderato. Questo documento esplora un modo per assicurarsi che un agente di apprendimento non impari a impedire (o cercare!) Di essere interrotto dall'ambiente o da un operatore umano.

Devi amarlo ogni volta che i documenti di ricerca sull'anarchia dei robot usano il termine "risultato indesiderato" - tuttavia, il documento continua a spiegare i test eseguiti e cosa può essere fatto su casi come questi in futuro. Puoi leggere il documento completo qui.