Dietro consiglio di un nostro lettore Wagied DavidsWagied Davids ci siamo imbattuti su un paper interessante UNDERSTANDING AND MITIGATING RISKS OF GENERATIVE AI IN FINANCIAL SERVICES. L’ossessione per l’intelligenza artificiale generativa (GenAI) responsabile sembra oggi il nuovo passatempo preferito di Bloomberg, e non solo. Xian Teng, Sergei Yurovski, Iyanuoluwa Shode, Chirag S. Patel, Arjun Bhorkar, Naveen Thomas, John Doucette, David Rosenberg, Mark Dredze della Johns Hopkins University, e David Rabinowitz hanno firmato uno studio che sa tanto di SOS lanciato da una torre d’avorio che scricchiola. La loro tesi, pubblicata con il timbro solenne di Bloomberg, è chiara: se vogliamo sviluppare prodotti GenAI per la finanza senza farci esplodere tra le mani uno scandalo legale o regolamentare, dobbiamo smetterla di giocare ai filosofi e iniziare a sporcarci le mani con il fango della realtà normativa.
Oggi il dibattito su cosa sia una “risposta sicura” di un modello di intelligenza artificiale sembra appiattirsi su tre buzzword nauseanti: tossicità, bias e fairness. Argomenti perfetti per keynote da quattro soldi e paper peer-reviewed destinati a essere ignorati dal mercato. Secondo gli autori, però, la vera tragedia si consuma lontano dai riflettori: nei settori verticali, come la finanza, dove l’AI non può permettersi il lusso di errori estetici, ma deve rispondere a codici legali precisi, regolamenti ossessivi e standard di governance corporativa che fanno sembrare il GDPR una poesia d’amore.
Nel documento si propone una tassonomia del rischio dei contenuti AI su misura per il mondo dei servizi finanziari. Un piccolo miracolo metodologico che cerca di distinguere tra rischi che fanno male alla reputazione e rischi che ti fanno finire in tribunale. Si parla di rischi legati alla manipolazione del mercato, divulgazione non autorizzata di dati sensibili, compliance bancaria e rispetto delle regole antiriciclaggio. Insomma, roba concreta, roba che fa sudare freddo i general counsel e i chief compliance officer delle istituzioni finanziarie.
Ma non finisce qui: con una mossa che definirei quasi punk, gli autori hanno voluto testare i tanto decantati “guardrail” open-source — quei filtri di sicurezza che promettono di proteggere i modelli da comportamenti disfunzionali. Ebbene, i risultati sono stati impietosi: questi guardrail non beccano nemmeno la metà dei rischi reali che il team ha identificato. Un bagno di sangue tecnico, altro che “alignment” ottimale.
Utilizzando attività di red-teaming, ovvero squadre addestrate per stressare e ingannare i sistemi AI, Bloomberg e i suoi complici accademici hanno dimostrato che la gran parte dei contenuti rischiosi passa tranquillamente sotto il radar delle soluzioni esistenti. È come se avessero messo una zanzariera su una diga rotta. E il paradosso più amaro è che l’industria continua a illudersi che bastino soluzioni generaliste, “one size fits all”, per ambiti dove il minimo errore si paga a suon di milioni di dollari e sentenze federali.
Questo lavoro, con la sua crudele lucidità, lascia capire che la strada verso un’AI veramente “compliant” nel settore finanziario è ancora lunga e tutta in salita. Non basterà sventolare certificazioni ISO, bias benchmark o paper accademici per salvarsi. Servirà ingegnerizzare sistemi end-to-end che partano dalle normative specifiche e integrino la gestione del rischio nei modelli stessi, prima ancora di pensare alla user experience.
Se vi interessa andare a fondo — ammesso che abbiate lo stomaco — potete leggere il documento originale su Bloomberg AI Research.