Come combattere la discriminazione algoritmica? Una guida di AutoCheck

Ci troviamo di fronte a sistemi decisionali automatizzati quasi ogni giorno e potrebbero essere discriminanti, senza che nemmeno ce ne accorgiamo. Una nuova guida aiuta a riconoscere meglio tali casi e supportare le persone colpite.

Il nostro nuovo rapporto “Sistemi decisionali automatizzati e discriminazione” esamina in modo più approfondito la discriminazione algoritmica: cos’è, come è causata e cosa si può fare al riguardo. Con istruzioni complete, diagrammi e casi di studio, la guida offre ai consulenti antidiscriminazione e alle persone colpite un’introduzione di base all’argomento e li supporta nella ricerca di aiuto con liste di controllo, fonti e informazioni di contatto.

Uno dei maggiori problemi nella lotta alla discriminazione da parte dei sistemi algoritmici è che spesso passa inosservata e le persone colpite – nella maggior parte dei casi – non sanno di essere state discriminate. Ma quando i sistemi algoritmici decidono in modo discriminatorio o suggeriscono decisioni discriminanti, molte persone sono potenzialmente interessate, perché tutte le decisioni seguono lo stesso schema. Questi rischi sono sistematici e l’impatto complessivo sulla società può essere ampio.

Questa pubblicazione fa parte del progetto AutoCheck , finanziato dall’Agenzia federale tedesca per la lotta alla discriminazione. L’obiettivo del progetto è ridurre questa mancanza di consapevolezza sviluppando istruzioni e strumenti concreti e completi per i centri di consulenza antidiscriminazione. Vogliamo supportare i dipendenti degli uffici di consulenza antidiscriminazione per valutare e riconoscere meglio i rischi, e quindi supportare meglio le persone colpite. La project manager e autrice del rapporto, Jessica Wulf, ha iniziato a ricercare casi e condurre interviste con consulenti ed esperti anti-discriminazione nel febbraio 2021. La guida e i corsi di formazione si basano su questo corpus completo di lavoro.

I casi di studio discussi nel rapporto mostrano quanto sia necessario aggiornare urgentemente le leggi tedesche contro la discriminazione. Nel 21. secolo digitale, in cui il processo decisionale algoritmico permea la nostra vita quotidiana – sia durante gli acquisti online che quando si richiede un prestito, il quadro giuridico per agire contro la discriminazione algoritmica deve rispondere alle sue esigenze speciali – in particolare alla sua invisibilità e spesso anche alla mancanza di responsabili. Gli organismi contro la discriminazione hanno bisogno di maggiori diritti e risorse per sostenere meglio le persone colpite.

Come dovrebbe essere riformato il quadro giuridico tedesco, Allgemeine Gleichbehandlungsgesetz (AGG) ?

Meccanismi di ricorso collettivo
I gruppi di interesse e le associazioni hanno la capacità di scoprire la discriminazione algoritmica, attirare l’attenzione su di essa e intraprendere azioni legali contro di essa attraverso il loro lavoro specializzato. Tuttavia, ciò richiede la possibilità di meccanismi di ricorso collettivo in modo che, ai sensi dell’AGG, non solo le persone colpite possano agire contro possibili discriminazioni.

Maggiore trasparenza e responsabilità chiare in caso di sospetta discriminazione
È necessario garantire maggiore trasparenza e responsabilità chiare in caso di sospetta discriminazione da parte dei sistemi ADM, ad esempio rafforzando l’obbligo di fornire informazioni agli organismi antidiscriminazione e alle persone interessate e creando procedure di audit e possibilità di ricorso per le persone colpite.

Ampliare le aree di applicazione e le caratteristiche di discriminazione nell’AGG
Un ampliamento delle aree di applicazione e le caratteristiche di discriminazione dell’AGG è fondamentale per quanto riguarda la discriminazione algoritmica. Le cosiddette variabili proxy possono essere utilizzate nei sistemi ADM al posto delle caratteristiche protette dall’AGG come base per il processo decisionale. Ad esempio, un sistema ADM utilizzato nei processi di richiesta di lavoro potrebbe non respingere le persone in base alla loro età, poiché l’età è una caratteristica protetta ai sensi dell’AGG. Tuttavia, come variabile proxy, il sistema potrebbe utilizzare in modo problematico la durata dell’esperienza lavorativa precedente per identificare comunque le persone anziane ed escluderle dal processo di candidatura.

Il governo tedesco deve riconoscere la necessità di agire in merito alla discriminazione algoritmica e creare una protezione sufficiente per le persone colpite nell’ambito della valutazione pianificata dell’AGG.

27/6/2022 https://www.diario-prevenzione.it/