Il sistema di welfare automatizzato della Danimarca, gestito dalla Udbetaling Danmark (UDK), sta sollevando preoccupazioni significative riguardo alla discriminazione nei confronti di gruppi vulnerabili, tra cui persone con disabilità, individui a basso reddito, migranti, rifugiati e minoranze razziali. Il nuovo rapporto di Amnesty International, Coded Injustice: Surveillance and Discrimination in Denmark’s Automated Welfare State, mette in evidenza come l’uso massivo di algoritmi di rilevamento delle frodi, combinato con pratiche di sorveglianza di massa, stia minando i diritti individuali, la privacy e creando un clima di paura tra i beneficiari del welfare.
L’Intelligenza Artificiale come Strumento di Controllo
Secondo Amnesty International, l’approccio automatizzato della Danimarca per identificare frodi nei benefici sociali tramite l’intelligenza artificiale sta spingendo a una sorveglianza invadente e a un controllo eccessivo delle persone, particolarmente delle categorie più vulnerabili. Il sistema, basato sull’uso di circa 60 modelli algoritmici, è stato progettato per individuare potenziali frodi nei benefici sociali, ma i metodi di rilevamento e le modalità con cui i dati vengono raccolti e analizzati pongono forti interrogativi su equità e necessità. I cittadini danesi vengono monitorati su una serie di dati personali, che includono lo stato di residenza, il luogo di nascita, la cittadinanza, i legami familiari, e perfino la loro storia di viaggi. Questi dati sono spesso utilizzati come proxy per caratteristiche sensibili come etnia, orientamento sessuale o origine nazionale, mettendo a rischio la privacy dei singoli.
Sorveglianza di Massa: Un Sistema di Controllo Sociale
Hellen Mukiri-Smith, ricercatrice di Amnesty International sui diritti umani e l’intelligenza artificiale, ha dichiarato che l’utilizzo di queste tecnologie sta trasformando il sistema di welfare danese in un “sistema di punizione”, anziché di protezione per le persone vulnerabili. L’ampia raccolta e fusione dei dati non solo è invasiva, ma è anche inadeguata rispetto alle finalità dichiarate. Amnesty ha infatti scoperto che il trattamento dei dati da parte di UDK e ATP non è proporzionato né giustificato, violando potenzialmente i diritti fondamentali alla privacy e alla dignità.
In particolare, i modelli algoritmici utilizzano parametri come il “legame con l’estero” per determinare i gruppi da investigare, discriminando, di fatto, persone in base a fattori come la nazionalità e lo status di migrante. Questo approccio ha creato una situazione in cui le persone provenienti da Paesi non appartenenti all’UE, o quelle con origini etniche non nordiche, sono sistematicamente soggette a un controllo più severo, alimentando un ciclo di esclusione e discriminazione.
Algoritmi Discriminatori e Ineguaglianze Strutturali
I modelli utilizzati da UDK e ATP non solo riflettono, ma anche amplificano le disuguaglianze preesistenti nella società danese. Algoritmi come “Really Single”, che si occupano di identificare frodi legate a pensioni e sussidi per l’infanzia, si basano su criteri vaghi come “modelli di vita atipici”. Questo lascia ampio margine di interpretazione arbitraria, colpendo in particolare persone con disabilità che vivono separatamente dai propri partner a causa delle loro condizioni, o persone anziane in relazioni a distanza, e le famiglie multigenerazionali, una pratica comune tra le comunità migranti.
Il rischio è che le famiglie e le persone che non rientrano nei modelli tradizionali di abitazione o relazione siano etichettate come sospette di frode, senza una chiara giustificazione. I sistemi automatizzati non solo alimentano questo tipo di discriminazione, ma lo fanno in modo opaco, senza adeguato controllo pubblico o trasparenza.
Impatti Psicologici e Socioeconomici
Le persone oggetto di sorveglianza sentono un forte impatto psicologico. Amnesty ha intervistato diversi beneficiari che hanno descritto l’esperienza come un continuo stato di paura, temendo che ogni loro mossa venga monitorata e possa portare a un’indagine. “È come stare alla fine di una pistola”, ha detto un intervistato, descrivendo la costante paura di essere accusato ingiustamente. Questo clima di incertezza e ansia ha effetti deleteri sulla salute mentale delle persone, con alcuni che riportano depressione e stress dovuti all’incessante controllo.
Un Sistema di Scoring Sociale?
La possibilità che il sistema di welfare danese funzioni come un “sistema di scoring sociale”, un concetto che rientra nella nuova legislazione europea sull’intelligenza artificiale, è un’altra preoccupazione sollevata da Amnesty. Il sistema potrebbe finire per classificare gli individui in base al rischio di frode, con l’intelligenza artificiale utilizzata per prendere decisioni che influenzano direttamente la loro vita. Questo solleva interrogativi su come i diritti fondamentali, come la protezione dei dati personali, la privacy e la non discriminazione, vengano violati in nome della lotta contro la frode.
Nonostante le obiezioni di Amnesty, che sostiene che l’utilizzo di parametri come la cittadinanza violi la privacy e costituisca un trattamento discriminatorio, UDK ha risposto sostenendo che l’uso di questi dati non rappresenti una violazione. Tuttavia, Amnesty insiste sul fatto che l’approccio danese non solo è problematico, ma dovrebbe essere fermato finché non venga garantita una maggiore trasparenza e un audit esterno per esaminare gli algoritmi in modo indipendente.
La Necessità di Regolamentazione e Trasparenza
Amnesty International ha esortato la Commissione Europea a chiarire, nell’ambito del AI Act, quali pratiche debbano essere considerate come sistemi di scoring sociale, sostenendo che le attuali pratiche della Danimarca potrebbero essere in violazione delle normative sull’intelligenza artificiale. Inoltre, Amnesty chiede alle autorità danesi di smettere immediatamente di utilizzare parametri come l’affiliazione straniera o i dati proxy nella valutazione dei rischi legati alle frodi, fino a quando non sarà garantita una sorveglianza adeguata e un controllo rigoroso.
In un contesto di diritti umani e normative europee, la Danimarca ha l’obbligo di proteggere la privacy, l’uguaglianza e la non discriminazione. Questi diritti non solo sono fondamentali per una società giusta, ma sono anche essenziali per garantire che tutti abbiano un accesso equo ai benefici sociali e alle cure sanitarie.