La profilazione e il processo decisionale automatizzato

Il processo decisionale automatizzato è disciplinato dall’art. 22 del Regolamento EU/2016/679 che prevede che l’interessato abbia il diritto di non essere sottoposto ad una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona, quali il rifiuto automatico di una domanda di credito online o pratiche di assunzione (o licenziamento) elettronica senza interventi umani.

Anzitutto occorre intendersi su cosa sia un processo decisionale automatizzato: si tratta di una decisione assunta da un algoritmo, senza intervento umano.

Tale trattamento comprende la «profilazione», che consiste in una forma di trattamento automatizzato dei dati personali che valuta aspetti personali concernenti una persona fisica, in particolare al fine di analizzare o prevedere aspetti riguardanti il rendimento professionale, la situazione economica, la salute, le preferenze o gli interessi personali, l’affidabilità o il comportamento, l’ubicazione o gli spostamenti dell’interessato, ove ciò produca effetti giuridici che la riguardano o incida in modo analogo significativamente sulla sua persona.

L’algoritmizzazione delle procedure coinvolge aspetti della vita sempre più quotidiani, come l’analisi dei curriculum nella ricerca di candidati a posizioni lavorative:

La ricerca su Google, servizi come Meetic, sistemi di e-commerce più banali come l’acquisto di libri su Amazon, nascondono dietro interfacce grafiche pulite per l’ignaro cliente, potenti algoritmi nascosti alla vista dell’utente.

Le aziende possono, ad esempio, analizzare la voce quando l’abbonato chiama il call center e collegarla al profilo di credito, per determinare se abbinare quel particolare dato biometrico allo status di “cliente ideale” o di cliente inaffidabile e trattare l’utente di conseguenza.

Epagogix, il cui nome deriva dalla Epagòge aristotelica, tradotta poi da Cicerone come “Inductio” si avvale di applicazioni avanzate di intelligenza artificiale che risalgono dal particolare al generale. Epagogix consiglia le case di produzione cinematografica su quali sceneggiature acquistare, quali film abbiano maggiori possibilità di successo al botteghino e quali possano ambire a vincere l’Oscar, e tutto ciò sulla base di analisi predittive basate sui successi passati.

Anche i viticoltori esprimono giudizi algoritmici, sulla base di analisi statistiche del tempo e altre caratteristiche di buone e cattive annate.

Ora, finché si tratta di analizzare le potenzialità di successo di film o vini, la posta in gioco non appare così alta, ma quando gli algoritmi iniziano a colpire la possibilità di occupazione, l’avanzamento di carriera, la salute, il credito e l’istruzione, allora meritano un controllo decisamente maggiore.

Alcuni ospedali negli Stati Uniti utilizzano sistemi basati su big data per determinare quali pazienti siano ad alto rischio, utilizzando dati ben al di fuori delle cartelle cliniche tradizionali.

Anche a livello governativo le valutazioni algoritmiche di pericolosità potrebbero portare a condanne più lunghe per i detenuti, o a no-fly list per i viaggiatori. Il punteggio di credito costituisce il criterio-guida per muovere ingenti somme di denaro in finanziamenti e mutui, ma i metodi utilizzati dai marcatori rimangono opachi.

Il mutuatario medio potrebbe perdere decine di migliaia di euro nel corso della vita, a causa di dati errati o ingiustamente trattati.

Si può presumere, che come già negli Stati Uniti, alcuni tribunali saranno propensi ai sensi dell’art. 22 a concedere richieste di rilevamento dell’algoritmo solo se il danneggiato ha accumulato una certa quantità di prove di discriminazione.

Ma, e qui si entra nel paradosso centrale della responsabilità algoritmica, se il giudice deve prendere una decisione su un algoritmo sconosciuto e impenetrabile, ci si chiede quale potrà mai essere la base per un sospetto iniziale di discriminazione algoritmica in capo all’interessato.

Ad ogni modo, l’art. 22 al par. 2, sembrerebbe vanificare quanto prescritto al par. 1, affermando che l’interessato non possa chiedere di non essere sottoposto a decisione algoritmizzata se la decisione:

1. a) sia necessaria per la conclusione o l’esecuzione di un contratto tra l’interessato e un titolare del trattamento;
2. b) sia autorizzata dal diritto dell’Unione o dello Stato membro cui è soggetto il titolare del trattamento, che precisa altresì misure adeguate a tutela dei diritti, delle libertà e dei legittimi interessi dell’interessato;
3. c) si basi sul consenso esplicito dell’interessato.

Ora, al di là di un obbligo di legge che preveda l’obbligo di algoritmizzazione di una decisione che incida sui cittadini, che al momento appare ipotesi del tutto residuale, non v’è chi non veda il rischio insito nelle previsioni di cui alle lettere a) e c).

Nella lettera a) di fatto si vanifica quanto prima detto, a favore, ad esempio di istituti di credito, finanziarie, colossi delle telecomunicazioni, ecc. Se l’Interessato deve richiedere un mutuo, la banca è autorizzata ad assumere tutte le decisioni algoritmizzate che meglio crede, senza neppure chiedere il consenso.

Mentre far basare, come fa la lett. c), la legittimità del trattamento sul consenso dell’interessato, appare quanto meno indice di ingenuità.

Alcune metodologie di acquisizione di dati risultano essere troppo invasive e mascherate da un consenso fittizio. I candidati che sono alla disperata ricerca di un lavoro acconsentiranno a farsi videoregistrare in bagno pur di avere un’occupazione, e se non si pone un freno a tali pratiche si arriverà ad episodi sempre più frequenti di contrattualizzazione del trattamento dei dati nel rapporto di lavoro.

Il legislatore, tuttavia, tenta di mitigare tali conseguenze prevedendo al par. 3 che nei casi di cui al paragrafo 2, lettere a) e c), il titolare del trattamento debba attuare misure appropriate per tutelare i diritti, le libertà e i legittimi interessi dell’interessato, comprendente, almeno, il diritto di ottenere l’intervento umano da parte del titolare del trattamento, di esprimere la propria opinione e di contestare la decisione. Ma tali previsioni appaiono meramente programmatiche al confronto della realtà dei fatti.

Un altro tentativo di mitigazione si rinviene nel par. 4 allorquando il Regolamento prescrive al Titolare di non assumere decisioni algoritmizzate se esse si basano su categorie particolari di dati personali di cui all’art. 9. Tuttavia anche qui è prevista un’eccezione alla mitigazione. Infatti il Titolare torna a poter assumere decisioni automatizzate, anche sui dati sensibili, purché vi sia il consenso dell’interessato – con tutti i problemi che un consenso di fatto coartato, come visto, può produrre – oppure vi sia il perseguimento di un interesse pubblico rilevante sulla base di una norma di legge e sempreché siano in vigore misure adeguate a tutela dei diritti, delle libertà e dei legittimi interessi dell’interessato.

In conclusione, al fine di garantire un trattamento corretto e trasparente nel rispetto dell’interessato, tenendo in considerazione le circostanze e il contesto specifici in cui i dati personali sono trattati, è opportuno che il titolare del trattamento utilizzi procedure matematiche o statistiche appropriate per la profilazione, metta in atto misure tecniche e organizzative adeguate al fine di garantire, in particolare, che siano rettificati i fattori che comportano inesattezze dei dati e sia minimizzato il rischio di errori e al fine di garantire la sicurezza dei dati personali secondo una modalità che tenga conto dei potenziali rischi esistenti per gli interessi e i diritti dell’interessato e che impedisca tra l’altro effetti discriminatori nei confronti di persone fisiche sulla base della razza o dell’origine etnica, delle opinioni politiche, della religione o delle convinzioni personali, dell’appartenenza sindacale, dello status genetico, dello stato di salute o dell’orientamento sessuale, ovvero che comportano misure aventi tali effetti (Cons. 71).