Le armi autonome diranno "no" agli ordini illegali?

Baynazar Mohammad Nazar era svenuto sul tavolo operatorio quando il soffitto cominciò a crollargli addosso. Il padre di quattro aveva fatto il check-in all'ospedale il giorno precedente dopo essere stato colpito a una gamba e stava subendo la sua seconda operazione in due giorni per riparare la ferita. Quando gli americani hanno iniziato a distruggere l'edificio, i dottori che lavoravano su di lui non avevano altra scelta che fuggire da soli il più velocemente possibile.

Andrew Quilty a Politica estera racconta la storia della vita e della morte di Baynazar in un articolo che include una fotografia del suo corpo ricoperta di detriti sul tavolo operatorio. Baynazar è stata una delle 31 persone uccise dagli Stati Uniti quando ha colpito l'ospedale gestito da Medici senza frontiere (chiamato anche MSF) a Kunduz, in Afghanistan, il 2 ottobre.

Dopo scioperi di alto profilo e alto numero di vittime civili, i politici e gli esperti chiedono come possa accadere una cosa del genere, e cosa si può fare per garantire che non accada di nuovo. Tra i sostenitori di sistemi di armi autonomi, a volte chiamati "robot assassini", un argomento popolare è che l'errore umano (o la malizia) è responsabile di gran parte dei crimini commessi durante la guerra. È teoricamente possibile, dicono, che i robot potrebbero essere più precisi nel loro targeting e meno inclini agli errori di quelli umani.

"In effetti, il giudizio umano può rivelarsi meno affidabile degli indicatori tecnici nel pieno della battaglia", scrive Michael N. Schmitt, professore presso l'U.S. Naval War College. "Quelli che credono altrimenti non hanno vissuto la nebbia della guerra".

Sciopero degli Stati Uniti sull'ospedale di MSF in Afghanistan 'causato principalmente da errori umani' http://t.co/X9TGIA81aD pic.twitter.com/TUwit97206

- Telegraph News (@TelegraphNews), 25 novembre 2015

La domanda, quindi, è: puoi programmare gli strumenti della guerra per costringere il comportamento umano a rendere impossibili gli scioperi come l'attentato all'ospedale di Kunduz, o almeno meno probabile?

Probabilmente no - almeno per il prossimo futuro. Ma alcuni programmatori di intelligenza artificiale hanno progettato un robot che può dire di no agli umani. La progettazione dell'esperimento è semplice: l'umano dice a un robot di avanzare da un tavolo, che il robot inizialmente rifiuta di fare. Quando l'umano dice al robot che lo prenderà, il robot accetta l'ordine.

Questa è una lunga strada da un elicottero d'attacco semi-autonomo che dice al suo equipaggio umano che non può effettuare un attacco aereo contro un ospedale perché sarebbe un crimine di guerra, ma la premessa di base è in gran parte la stessa. Come altri hanno sottolineato, l'ansia umana su questo tipo di sviluppo nei robot è comune nella fantascienza - pensa HAL-9000 dicendo "Non posso farlo, Dave" quando blocca l'umano fuori dalla stazione spaziale in 2001: Odissea nello spazio.

Per quanto riguarda le specificità dello sciopero di Kunduz, molti dei fatti attorno all'attacco rimangono contestati. MSF ha chiesto un'indagine indipendente, che il governo degli Stati Uniti si oppone, promettendo invece di portare avanti le proprie analisi.

Alcune parti di un'indagine negli Stati Uniti sono state rese pubbliche all'inizio di questo mese e hanno riscontrato errori umani e meccanici responsabili dello sciopero. Ma all'inizio di questa settimana, due membri del servizio si sono fatti avanti per contraddire i risultati del rapporto. Dicono che lo sciopero non è stato un errore. Nella loro contabilità, prima riportato da AP, Le forze speciali statunitensi hanno chiamato nello sciopero perché hanno usato l'ospedale come centro di comando e controllo talebano.

Nella versione ufficiale, un guasto meccanico ha portato l'equipaggio del cannoniere AC-130 a ottenere inizialmente le coordinate per un campo vuoto. L'equipaggio ha quindi cercato un edificio nell'area corrispondente alla descrizione fisica che gli era stata assegnata e ha aperto il fuoco. Quando i loro strumenti sono stati ricalibrati, hanno dato all'equipaggio le coordinate corrette per il loro obiettivo, ma l'equipaggio ha continuato a sparare all'ospedale comunque.

Se questo resoconto è vero - che il computer era in definitiva accurato e gli umani lo ignoravano - dà qualche credito ai sostenitori di una maggiore autonomia nei sistemi d'arma. Detto questo, la guerra degli Stati Uniti al terrorismo è piena di esempi di militari o CIA che colpiscono l'obiettivo "giusto" e finiscono comunque con l'uccidere un numero enorme di civili. L'automazione non risolverà la cattiva intelligenza e i tentativi di programmare un'approssimazione della moralità non porranno fine ai crimini di guerra.

Vi è una forte tentazione negli Stati Uniti di sterilizzare la guerra e l'automazione, rimuovendo gli americani dalla strada del pericolo, che è destinata a cambiare la definizione stessa di guerra. La preferenza di Obama per le uccisioni di droni e le rassicuranti rassicurazioni che i droni sono le armi più precise mai create sono la manifestazione più chiara di questi obiettivi. "Sono stati precisi e precisi attacchi contro al Qaeda e le loro affiliate", ha detto Obama in un hangout di Google nel 2012.

Uno studio del governo del 2013, tuttavia, contrasta tali affermazioni. Ha scoperto che i droni in Afghanistan hanno provocato un decremento di vittime civili dieci volte maggiore rispetto ai veicoli senza pilota. "I droni non sono magicamente più bravi ad evitare i civili che i jet da combattimento", ha detto Sarah Holewinski, una co-autrice dello studio Il guardiano. "Quando i piloti che volavano sui jet ricevevano direttive chiare e addestramento sulla protezione civile, erano in grado di abbassare i tassi di vittime civili".

L'esercito sta spendendo milioni per lo sviluppo di sistemi di equipaggio umano-robot, confondendo ulteriormente le linee tra le missioni effettuate da armi con o senza equipaggio. "Quello che vogliamo fare sul team di combattimento uomo-macchina è portarlo al livello successivo, a guardare cose come le tattiche brulicanti", ha detto il vice segretario alla Difesa Bob Work al blog ufficiale della scienza del Dipartimento della Difesa. "Può un F-35 entrare in battaglia con quattro uomini armati senza pilota?"

Quegli uomini armati diranno di no se il pilota umano darà loro un ordine analogo a quello di camminare su un tavolo? Lay rider confortevole controparte di un ospedale o di una scuola? La nebbia di guerra si applicherà in entrambi i casi. E se decidiamo di scavalcare le macchine, la frase "errore umano" sarà uno dei termini più spaventosi nei conflitti del futuro.