Il programma informatico comune predice la recidiva in modo inadeguato come gli umani

Proprio come uno chef professionista o un cardiochirurgo, un algoritmo di apprendimento automatico è buono quanto l'allenamento che riceve. E poiché gli algoritmi assumono sempre più i regni e prendono decisioni per gli umani, stiamo scoprendo che molti di loro non hanno ricevuto la migliore istruzione, poiché imitano i pregiudizi basati sulla razza umana e sul genere e persino a creare nuovi problemi.

Per questi motivi, è particolarmente preoccupante per il fatto che più Stati, tra cui California, New York e Wisconsin, utilizzano algoritmi per prevedere quali persone commetteranno di nuovo reati dopo essere stati incarcerati. Ancora peggio, non sembra nemmeno funzionare.

In un articolo pubblicato mercoledì sulla rivista Progressi scientifici, una coppia di informatici del Dartmouth College ha scoperto che un programma per computer ampiamente utilizzato per prevedere la recidiva non è più accurato rispetto a civili completamente inesperti. Questo programma, denominato Profiling Offender Management Profiling for Alternative Sanctions, analizza 137 diversi fattori per determinare quanto sia probabile che una persona commetta un altro reato dopo il rilascio. COMPAS considera fattori come l'uso di sostanze, l'isolamento sociale e altri elementi che i criminologi teorizzano possono portare alla recidiva, classificando le persone come ad alto, medio o basso rischio.

E certo, la valutazione del rischio suona alla grande. Perché non avere più dati per aiutare i tribunali a determinare chi è un rischio maggiore? Ma quello che hanno scoperto gli informatici di Dartmouth Julia Dressel e Hany Farid è che gli individui non allenati giudicano correttamente il rischio di recidiva con quasi la stessa accuratezza del COMPAS, suggerendo che il presunto potere dell'algoritmo non è effettivamente lì.

In uno studio che includeva solo una piccola parte delle informazioni utilizzate dal COMPAS (sette fattori anziché 137, ed esclusa la razza), un gruppo di volontari umani su internet, presumibilmente senza addestramento nella valutazione del rischio criminale, ha valutato i casi clinici. Hanno calcolato correttamente la recidiva di una persona con un'accuratezza del 67%, rispetto alla precisione del 65% di COMPAS.

Prenditi un momento per lasciarti affondare. Persone non addestrate sul web erano leggermente più brave a prevedere se una persona sarebbe tornata in prigione dello strumento che è letteralmente progettato per prevedere se una persona sarebbe tornata in prigione. E peggiora. Una volta aggiunta la corsa di un imputato, i tassi di falsi positivi e di falsi negativi del volontario erano compresi in pochi punti percentuali di COMPAS. Quindi non solo COMPAS non è così bravo nel predire la recidiva, è altrettanto incline al pregiudizio razziale degli umani. Così tanto per la logica fredda dei computer.

I ricercatori hanno quindi realizzato un modello lineare che corrispondeva al tasso di previsione di COMPAS con solo due fattori: età e numero di precedenti condanne. Giusto per essere chiari, questa previsione sarebbe anche ingiusta, ma dimostra quanto sia COMPAS difettoso.

E mentre questa ricerca è nuova, i grandi takeaway che espone non lo sono. In un'indagine del 2016, ProPublica i giornalisti hanno scoperto che COMPAS non solo è inaffidabile, è in realtà sistematicamente prevenuto contro gli afroamericani, classifica costantemente i neri come un rischio maggiore rispetto ai bianchi che hanno commesso reati più gravi. Si spera che questa nuova ricerca contribuisca a spianare la strada a processi di valutazione del rischio di simulazione nel sistema giudiziario penale.

Il fatto che COMPAS sia nel migliore dei casi inutile e profondamente distorto nel peggiore dei casi suggerisce che le valutazioni del rischio basate sul computer potrebbero approfondire le ingiustizie che il sistema giudiziario dovrebbe affrontare. Poiché i punteggi della valutazione del rischio possono essere applicati in qualsiasi fase del processo di giustizia penale, tra cui stabilire il vincolo di una persona, determinare se gli viene concessa la libertà condizionale, e in alcuni stati, anche per determinare la sentenza di una persona, questa ricerca suggerisce un disperato bisogno di riesaminare l'uso di COMPAS e di altri programmi.