A quanti di voi è capitato di entrare in banca per chiedere un prestito, come per esempio un mutuo per acquistare casa? Sapevate che da quel momento siete diventati individui “ibridi”? Sì, perché da un lato, avete continuato a essere la “persona in carne e ossa” che ha parlato con il consulente: avete raccontato della casa che volevate comprare, mostrato la proposta di acquisto e motivato la richiesta di denaro, consegnato i documenti reddituali e cercato di convincere della vostra possibilità, e volontà, a ripagare il debito. Dall’altro lato, però, siete diventati anche il “profilo digitale” che si è tratteggiato nel pc del consulente.

In quel pc vengono riportati solo alcuni dati tra quelli scambiati durante l’interazione faccia a faccia, altri vengono pescati dalla centrale rischi, un istituto privato che raccoglie i dati di tutti coloro che hanno una qualsiasi esposizione debitoria. Questo vostro profilo digitale, costruito mescolando dati raccolti a voce con quelli estratti dai database, viene per così dire valutato da un algoritmo di Intelligenza Artificiale, che emette una sorta di “punteggio di rischio che il cliente sia un cattivo pagatore” valutando le caratteristiche: se il punteggio emesso sarà basso, il consulente può proseguire nel processo di concessione del credito, se è invece elevato, dovrà fermarsi e negare la concessione.

Diventa quindi importante capire quali caratteristiche l’algoritmo valorizza e quali penalizza per valutare l’affidabilità creditizia. Le ricerche in ambito sociologico hanno mostrato da tempo che queste valutazioni dipendono fortemente dal sistema sociale in cui sono costruite: ci sono paesi che premiano la capacità di produrre reddito, altri, come l’Italia, in cui viene pesato maggiormente il tipo di contratto di lavoro, e questo provoca ad esempio un’esclusione delle forme contrattuali atipiche (meno stabili o strutturate), a parità di reddito, che caratterizzano le nuove generazioni, a loro discapito. In generale, le perplessità riguardano la capacità degli algoritmi di valutare situazioni “fuori standard” rispetto all’idealtipo modello di famiglia male breadwinner (con il papà che guadagna per la famiglia), contribuendo a perpetuare disuguaglianze intersezionali in merito a genere, etnia, orientamento sessuale, età, territorio di provenienza, ecc.

Un altro problema riguarda le dissonanze che si possono venire a creare tra il profilo in carne e ossa e il profilo digitale di questo cliente ibrido: non sono rari i casi in cui il consulente avrebbe fiducia nel cliente, ma l’algoritmo lo respinge. In passato, bastava la fiducia del consulente, opportunamente formato a compiere la cosiddetta valutazione economico-sociale; oggi il sistema rifiuta questo tipo di fiducia, sostituendola, spesso completamente, con quella nell’apparato tecnico di calcolo del credit scoring. I parametri su cui l'Intelligenza Artificiale si basa per questo calcolo sono tuttavia sconosciuti per i valutati, e spesso per gli stessi operatori.

Come ricercatrici e ricercatori in sociologia ci chiediamo non solo se in questo nuovo contesto sia migliorata la tenuta del sistema del credito, ma anche quali siano le ricadute sulla popolazione in termini di inclusione finanziaria. Inoltre, ci interessa capire cosa pensano dei nuovi sistemi di valutazione gli operatori e le operatrici in banca e i loro clienti. Per rispondere a queste domande, conduciamo analisi di dati secondari - già raccolti e messi a disposizione dagli istituti di credito, gli organi di sorveglianza o gli istituti di statistica - e, parte difficile ma molto interessante, conduciamo le cosiddette “etnografie” in banca: passiamo cioè molto tempo nelle filiali, osservando strumenti e pratiche nella concessione del credito, e conduciamo interviste discorsive.

Quello che i dati ci mostrano è soprattutto una maggiore esclusione sistematica di alcuni segmenti della popolazione: questo significa che vengono valutate negativamente non le persone, ma dei gruppi di persone indipendentemente dal loro comportamento (a meno che non vogliamo assumere, ad esempio, che tutti i migranti e i giovani non pagano i debiti!). Dal punto di vista di chi lavora in banca, l’IA rischia di sminuire le competenze e rendere gli operatori dei semplici rilevatori di dati, mentre chi richiede un prestito, soprattutto se fa parte delle categorie maggiormente svalorizzate, vive l’assegnazione del punteggio (scoring) come uno stigma che genera ansia e malessere.

Dunque l’algoritmo è solo produttore di ineguaglianza nell’accesso al credito? No, l’algoritmo sottende un giudizio morale che viene presentato come oggettivo: dipende dal modo in cui è stato costruito, dai valori sociali in lui incorporati. Occorre allora tenere in considerazione che l’algoritmo non è un oracolo che predice chi non restituirà il debito, ma uno strumento che può incorporare stereotipi e pregiudizi.

I risultati della sua applicazione dipendono dalla consapevolezza con cui è applicato: dalla valutazione degli effetti sociali della sua applicazione, da come viene equilibrato di conseguenza e dalla previsione periodica di modifiche, anche se costituiscono un costo per la banca. Conoscere come funziona questo sistema di valutazione e sviluppare una regolamentazione adeguata può rendere gli algoritmi in banca strumenti utili, invece che discriminatori e generatori di malessere sociale.