Il paradosso degli algoritmi, oracoli infallibili o strumenti fuori controllo?

Se pensiamo alla parola Borsa è probabile che la prima immagine che ci venga in mente sia ancora un recinto di uomini in mezze maniche che si urlano sopra in una caotica compravendita di titoli e azioni. Peccato che in realtà una buona parte delle operazioni finanziarie siano oggi affidate a plotoni di algoritmi che ingurgitano dati da tutte le parti, combattono tra loro miliardi di battaglie invisibili e piazzano o annullano ordini alla velocità della luce, anche diecimila volte al secondo. E allora, davanti alle dinamiche incontenibili di questo movimento, la questione è: che spazio rimane per il controllo umano?

Il ricorso alle intelligenze artificiali sta cambiando in modo dirompente settori come la finanza, il lavoro, la salute, il marketing e in generale le nostre relazioni. I benefici quasi sempre sono incontestabili: previsioni monetarie più accurate, cure su misura per ogni singolo paziente, servizi cuciti sui bisogni dei destinatari e via dicendo. Ma come la mettiamo quando le cose non vanno nel verso giusto? È possibile, per dire, che un hacker avveleni i codici degli algoritmi per ottenere vantaggi personali, come una valutazione favorevole nell’accesso al credito o la contraffazione di un sistema di riconoscimento vocale o facciale? È possibile che l’intelligenza artificiale sia viziata dai pregiudizi umani e, per esempio, finisca per sovrastimare il rischio d’insolvenza di un cliente soltanto perché di etnia o classe sociale non gradite dallo sviluppatore? Ma soprattutto è possibile, come nel caso da cui siamo partiti, che siano gli algoritmi stessi a creare grovigli di nuovi algoritmi con esiti del tutto imprevedibili dagli elementi di partenza?

Stefano Quintarelli, imprenditore, informatico, deputato della scorsa legislatura e oggi membro del gruppo di esperti sull’Intelligenza artificiale della Commissione europea, è uno degli ospiti di “Banche & Sicurezza”, l’evento promosso dall’ABI che si svolgerà a Milano il 21 e 22 maggio dedicato al mondo della sicurezza digitale e fisica (vedi box e vai sul sito dell'evento).

Per lui, il pericolo maggiore su cui alzare la guardia è la possibilità di creare a tavolino situazioni volutamente anomale, non immaginabili dai programmatori al momento della scrittura dei codici, proprio per alterare i risultati della macchina. “Se mentre guido – spiega Quintarelli – mi accorgo di una striscia di carta igienica in mezzo alla strada, è quasi certo che come umano me ne avveda e tiri dritto. Per un algoritmo, invece, è probabile che quello stesso pezzo di carta sia considerato un ostacolo: e magari che di conseguenza il software scelga di inchiodare la macchina provocando un incidente. In pratica, è ipotizzabile che, a fini malevoli, vengano introdotti in un certo ambiente situazioni o problemi che oggi non hanno senso o che reputiamo irrilevanti, ma che la macchina non sa gestire, proprio perché nessuno ha pensato ad addestrarla. Con esiti devastanti”. Ad esempio immaginiamo un sistema automatico di produzione spam il cui scopo non è quello classico di tentare il furto di credenziali, a cui ormai abboccano in pochi, ma di ingannare le intelligenze artificiali che gestiscono la posta elettronica, confonderle e aprirsi dei varchi per eventuali frodi. Oppure pensiamo a un modo per eludere il riconoscimento facciale, con cui accedere a un portafoglio online, ritagliando un cartoncino con una serie di puntini che l’algoritmo interpreta come gli zigomi del titolare, sbloccando l’accesso a un malintenzionato.

Ma accanto alle azioni illecite o criminali degli umani bisogna mettere in conto anche quelle imponderabili delle macchine. Le tecniche di machine learning, ormai, sono arrivate a un livello di avanzamento tale che sono gli stessi algoritmi di base a creare nuovi algoritmi in totale autonomia: si gestiscono da soli, attingono da librerie software, evolvono come sistemi biologici dotati di vita propria. E quando arrivano a un risultato o a una decisione, neppure i loro sviluppatori hanno spesso la più pallida idea di come i software ci siano riusciti. Un universo di codici che nessuno capisce fino in fondo. A New York, per esempio, alcuni ricercatori hanno di recente affidato a un sistema di intelligenza artificiale la diagnosi precoce di una serie di tumori. I metodi con cui il software analizzava i pazienti risultavano in prima battuta del tutto incomprensibili ai medici. Ma, alla verifica finale, le previsioni della macchina sono state più corrette di quelle dei camici bianchi. E allora la domanda, che si tratti della nostra salute o del conto in banca, resta aperta: chi affronterebbe una cura delicata o l’investimento di tutti i propri risparmi soltanto perché la risposta arriva da una sorta di pronunciamento biblico fatto di bit?

Risponde Quintarelli: “L’errore è pensare le intelligenze artificiali come qualcosa di simile all’intelligenza umana, una sorta di replica delle nostre capacità di osservare, comunicare e ragionare. In realtà si tratta di sistemi statistici, modelli matematici che identificano correlazioni e risolvono problemi specifici. E bisogna accettare piccoli margini di errore”. Come a dire: anche quando prendiamo un farmaco leggiamo sul bugiardino che c’è tutta una serie di possibili effetti collaterali. Ma ci assumiamo il rischio perché valutiamo favorevolmente il rapporto con i benefici per la nostra salute. “L’importante – continua Quintarelli – è informarsi. Se apro un conto in banca la prima cosa che chiedo è quanto costa uscirne. Con lo stesso spirito, prima di accettare le meraviglie degli algoritmi, dovremmo poter chiedere: cosa succede se la macchina sbaglia?”.

E l’errore della macchina, voluto da qualcuno per suoi interessi, involontario o determinato dalla macchina stessa, pone un altro grave problema: quello della responsabilità. “Non tanto quella civile – argomenta Quintarelli – visto che in questo caso possono intervenire le assicurazioni. Quanto quella penale, che per sua natura è soggettiva. Immaginiamo un algoritmo che guida l’esoscheletro con cui un anziano riesce a camminare. Finché non ci sono problemi ok, tutti contenti. Ma se il software dovesse produrre un movimento inatteso, causando la morte del malcapitato, chi è che finisce in galera? Il proprietario della casa di riposo o la ditta produttrice? Sono problemi che richiedono soluzioni estremamente articolate”.

Come articolate sono anche le questioni etiche delle intelligenze artificiali. Che indirizzo dare all’algoritmo se, in una situazione di vita reale, c’è da scegliere non tra il bene e il male, ma tra due tipi di bene? Ad esempio, salvaguardare il guidatore della vettura e travolgere una mamma con la carrozzina o viceversa? Su questo le prime norme di comportamento arriveranno dal codice etico che la Commissione europea presenterà a giorni, dopo una lunga consultazione pubblica. Mentre sempre dall’Europa, grazie al Regolamento Gdpr sulla privacy, sono da qualche mese in vigore le disposizioni che impongono agli sviluppatori di tutelare i dati personali già nel momento in cui i software vengono disegnati. E di valutare l’impatto degli algoritmi sulle nostre vite prima che realizzino scenari finora immaginati – per fortuna – soltanto nei film di fantascienza.