Una banale banconota contraffatta porta all’arresto di Robert Williams. Un errore del software di riconoscimento facciale della polizia di Detroit scatena un incubo kafkiano che rivela quanto gli algoritmi possano essere più razzisti degli umani che li programmano.
È il gennaio 2020 quando Robert Williams viene arrestato nel giardino di casa sua, davanti alla moglie e alle figlie. L’accusa? Aver rubato orologi di lusso da un negozio. Il problema? Williams non c’entra nulla con quel furto. A incastrarlo è stato un algoritmo di riconoscimento facciale che ha confuso il suo volto con quello del vero ladro. Dopo una notte in carcere e ore di interrogatorio, la polizia si rende conto dell’errore: Williams non assomiglia nemmeno lontanamente alla persona ricercata.
“Questo computer pensa che tutti i neri si assomigliano?”, chiede Williams ai detective mostrandogli la foto del sospettato. La sua domanda, apparentemente ironica, nasconde una verità inquietante: gli algoritmi di polizia sono diventati sistematicamente razzisti.
Il software che vede solo i bianchi
La storia di Williams non è un caso isolato, ma la conseguenza prevedibile di una discriminazione algoritmica che pervade i sistemi di sicurezza americani. Il riconoscimento facciale, quella tecnologia che consideriamo neutrale e oggettiva, ha in realtà imparato a “vedere” meglio alcune persone rispetto ad altre.
I numeri sono inequivocabili: secondo lo studio “Gender Shades” del MIT, il tasso di errore per gli uomini dalla pelle chiara è dello 0,8%, mentre per le donne dalla pelle scura sale al 34,7%. Un divario di 40 volte che si trasforma in vite rovinate quando questi sistemi finiscono nelle mani della polizia.
Joy Buolamwini, la ricercatrice del MIT che ha scoperto questo problema, lo ha sperimentato sulla propria pelle: il software di riconoscimento facciale del laboratorio non riusciva a riconoscere il suo volto. “Dovevo letteralmente indossare una maschera bianca per essere rilevata”, racconta Buolamwini, che ha fondato l’Algorithmic Justice League per combattere queste discriminazioni.
L’America degli algoritmi che predicono il crimine
Ma il problema va ben oltre il riconoscimento facciale. In molte città americane, algoritmi sempre più sofisticati vengono utilizzati non solo per identificare i criminali, ma per predire chi commetterà reati futuri.
COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) è uno di questi sistemi. Basato su 137 domande, l’algoritmo assegna un punteggio di rischio ai detenuti che influenza le decisioni dei giudici su libertà provvisoria, sentenze e libertà vigilata.
Un’inchiesta di ProPublica ha rivelato che COMPAS è sistematicamente distorto: i neri classificati erroneamente come “ad alto rischio” erano quasi il doppio dei bianchi (45% contro 23%). Al contrario, i bianchi classificati erroneamente come “a basso rischio” erano quasi il doppio dei neri (48% contro 28%).
Il caso più emblematico è quello di Eric Loomis, arrestato nel 2013. Il giudice ha basato la sua sentenza anche sul punteggio COMPAS, ma Loomis non ha mai potuto sapere come l’algoritmo fosse arrivato a quella valutazione: l’azienda produttrice considera proprietario l’algoritmo.
Chicago e la lista dei futuri criminali
Chicago ha fatto un passo oltre: lo Strategic Subject Algorithm compila una “heat list” di 1.500 persone che, secondo l’algoritmo, hanno maggiori probabilità di commettere reati. I punteggi vanno da 0 (basso rischio) a 500 (alto rischio).
La lista permette alla polizia di controllare costantemente i movimenti di questi individui e di intervenire se fanno “qualcosa di sospetto”. Il problema? L’84% delle persone nella lista di Los Angeles (che usa un sistema simile) è afroamericano o latino, in una città dove gli afroamericani rappresentano solo il 9% della popolazione.
Ancora più inquietante: circa la metà di queste persone non era mai stata arrestata per possesso di armi e il 10% non aveva mai avuto contatti con la polizia. Sono nel database solo per una previsione algoritmica. Questo solleva questioni profonde sulla sorveglianza predittiva e i suoi rischi.
PredPol: quando la matematica diventa razzista
PredPol, usato in oltre 60 dipartimenti di polizia americani, promette di prevedere dove avverranno i crimini con precisione quasi scientifica. L’algoritmo analizza i dati storici sui reati e indica le “zone calde” dove concentrare le pattuglie.
Il problema è che PredPol finisce per perpetuare e amplificare la discriminazione esistente. Come funziona? L’algoritmo apprende dai dati storici di arresti, ma sappiamo che la polizia arresta più persone nei quartieri delle minoranze etniche. Questo porta l’algoritmo a dirigere sempre più pattuglie in quelle aree, generando più arresti, che a loro volta “confermano” la previsione dell’algoritmo.
È quello che gli esperti chiamano “feedback loop discriminatorio”: l’algoritmo replica e amplifica i pregiudizi esistenti, trasformandoli in profezie che si autorealizzano.
In città spazialmente segregate come quelle americane, anche l’indirizzo di casa diventa un indicatore di etnia e reddito. PredPol può quindi imparare a essere razzista senza mai utilizzare esplicitamente categorie come razza o classe sociale.
Il bias nascosto nei dati
Il problema alla radice è che gli algoritmi imparano dai nostri dati, e i nostri dati riflettono le disuguaglianze della società. Come spiega un esperto: “Se a un bambino insegni per decenni che le persone di colore vanno trattate male, quel bambino crescerà seguendo questi insegnamenti. Lo stesso vale per gli algoritmi”.
I dati sui crimini non sono neutri: riflettono decisioni umane su chi arrestare, dove pattugliare, cosa considerare sospetto. Quando la polizia controlla più spesso determinati quartieri, ovviamente troverà più crimini in quelle zone, anche se il tasso di criminalità reale è simile ovunque.
Uno studio ha dimostrato che i maschi afroamericani e ispanici tra 14 e 24 anni rappresentano solo il 5% della popolazione americana, ma subiscono il 41% dei controlli di polizia. Il 90% di questi controlli si conclude con un rilascio per innocenza. Ma nel frattempo, questi giovani finiscono nei database come “contatti con la polizia”, alimentando gli algoritmi predittivi. L’ACLU ha documentato ampiamente come queste pratiche alimentino circoli viziosi di discriminazione.
L’Italia e KeyCrime: un approccio diverso?
Anche l’Italia ha il suo algoritmo di polizia predittiva: KeyCrime, sviluppato da Mario Venturi e utilizzato dalla Questura di Milano. I risultati sembrano positivi: le rapine a supermercati, negozi e farmacie sono calate del 57%.
A differenza dei software americani, KeyCrime utilizza molti più dati personali, concentrandosi sui singoli individui piuttosto che solo sulle zone geografiche. Come spiega lo stesso Venturi: “La raccolta meticolosa di queste informazioni è finalizzata a individuare dei tratti caratterizzanti l’evento criminoso, quindi colui che l’ha commesso”.
Tuttavia, proprio questo approccio più invasivo solleva interrogativi su privacy e sorveglianza. Se i dati di addestramento contengono bias, anche KeyCrime rischia di perpetuarli.
Le conseguenze legali della discriminazione algoritmica
Il problema della discriminazione algoritmica sta finalmente arrivando nelle aule di tribunale. Nel 2021, il Tribunale di Bologna ha condannato l’algoritmo “Frank” di Deliveroo per discriminazione nei confronti dei riders, stabilendo un precedente importante: per la prima volta un algoritmo veniva ritenuto legalmente responsabile.
Negli Stati Uniti, class action come quella contro Workday stanno moltiplicandosi. L’azienda è accusata di utilizzare algoritmi che discriminano candidati in base a razza, età e disabilità nei processi di assunzione. Questo evidenzia come l’IA nel futuro del lavoro possa creare nuove forme di discriminazione.
New York ha approvato una ordinanza rivoluzionaria: i datori di lavoro non possono utilizzare “strumenti automatizzati per decisioni lavorative” senza che abbiano superato un audit sui bias nell’ultimo anno. È la prima legge del genere negli Stati Uniti.
L’Europa reagisce con l’AI Act
L’Unione Europea ha risposto con l’AI Act, il primo regolamento completo sull’intelligenza artificiale al mondo. Le nuove norme includono disposizioni specifiche contro la discriminazione algoritmica:
- Articolo 5: vieta l’uso di AI che possa creare discriminazioni ingiustificate, specialmente nei processi decisionali che riguardano persone
- Articolo 10: impone che i dati utilizzati per addestrare algoritmi siano privi di bias e rappresentativi della popolazione
Per i sistemi di riconoscimento facciale nei luoghi pubblici, l’AI Act richiede “procedure più rigorose di valutazione” e “autorizzazioni che affrontano i rischi specifici”. Un passo importante verso la regolamentazione dell’intelligenza artificiale.
Il costo umano dell’algoritmo razzista
Dietro ogni statistica c’è una storia umana. Robert Williams ha dovuto spiegare alle sue figlie perché papà era stato arrestato. Ha perso una giornata di lavoro, ha subito l’umiliazione dell’arresto pubblico, ha dovuto affrontare l’ansia di un procedimento penale.
Kylese Perryman, il giovane rappresentato dall’ACLU del Minnesota, ha vissuto un incubo simile: arrestato e detenuto basandosi esclusivamente su un’identificazione facciale sbagliata.
Questi non sono “errori del sistema” o “falsi positivi” accettabili. Sono vite rovinate da algoritmi che hanno imparato i nostri pregiudizi e li applicano con la spietata efficienza delle macchine.
Come fermare la discriminazione algoritmica
La soluzione non è eliminare gli algoritmi, ma renderli più giusti. Gli esperti suggeriscono diverse strategie:
Diversificare i team di sviluppo: Include persone con background diversi per intercettare bias che potrebbero passare inosservati.
Migliorare i dataset: Garantire che i dati di addestramento rappresentino effettivamente tutta la popolazione, non solo i gruppi dominanti.
Audit indipendenti: Controlli esterni regolari per identificare discriminazioni emergenti.
Trasparenza algoritmica: Rendere comprensibili i criteri decisionali, almeno per chi ne subisce le conseguenze.
Supervisione umana: Mantenere sempre un controllo umano sulle decisioni critiche, specialmente in ambito penale.
Controllo dei feedback loop: Interrompere i circoli viziosi che amplificano i bias esistenti.
Il futuro della giustizia algoritmica
Alcune aziende hanno già preso posizione. Dopo le proteste per George Floyd, IBM ha ritirato completamente la sua tecnologia di riconoscimento facciale, dichiarando che “non fornirà più tecnologie di riconoscimento facciale ai dipartimenti di polizia per la sorveglianza di massa e la profilazione razziale”.
Microsoft e Amazon hanno temporaneamente sospeso la vendita di questi sistemi alle forze dell’ordine, in attesa di una regolamentazione più chiara.
Ma il problema va oltre le singole aziende. Come sottolinea Joy Buolamwini: “Non si tratta solo di correggere algoritmi difettosi, ma di affrontare i problemi strutturali che quei difetti mettono in luce”.
Verso un’intelligenza artificiale più giusta
L’intelligenza artificiale non è neutra: è uno specchio che riflette i bias, le disuguaglianze e le priorità della società che la crea. Gli algoritmi razzisti non sono un bug del sistema, ma una caratteristica che emerge dai dati discriminatori con cui li addestriamo.
La sfida non è creare un’IA “perfettamente neutrale” – obiettivo probabilmente irraggiungibile – ma sviluppare sistemi che promuovano attivamente equità e giustizia. Questo richiede:
- Riconoscimento del problema: Ammettere che la discriminazione algoritmica esiste ed è diffusa
- Responsabilità condivisa: Programmatori, aziende, istituzioni e società civile devono lavorare insieme
- Controllo democratico: I cittadini devono avere voce in capitolo su come vengono utilizzati questi sistemi
- Giustizia riparativa: Chi ha subito discriminazioni algoritmiche deve poter ottenere risarcimenti
Come dice Robert Williams, l’uomo arrestato per errore a Detroit: “Se la tecnologia non può distinguere tra un nero e un altro, forse non dovrebbe essere utilizzata dalla polizia”.
È una lezione che va oltre la tecnologia: in una società democratica, gli strumenti di potere devono essere giusti per tutti, o non dovrebbero esistere.
La discriminazione algoritmica non è una fatalità tecnologica. È una scelta umana che possiamo e dobbiamo cambiare. Come sottolineano i principi dell’etica dell’intelligenza artificiale, dobbiamo costruire sistemi che rispettino la dignità umana e promuovano l’equità per tutti.
Per rimanere aggiornati su questi temi cruciali, organizzazioni come l’AI Now Institute e la Partnership on AI pubblicano regolarmente ricerche e linee guida per uno sviluppo responsabile dell’intelligenza artificiale.