Harari: l'IA può intrappolarci in una rete informativa?
Nexus e le reti informative: hackeraggio, mitologie e storie della civiltà umana all'epoca delle Intelligenze Artificiali
In un twit, la tesi di Nexus1, ultimo libro di Yuval Noah Harari, è la seguente: dato che gli esseri umani hanno costruito la propria civiltà sulla base delle storie che si sono raccontati e attraverso la costruzione di potenti reti informative, un agente inorganico - l’Intelligenza Artificiale - che ha la capacità, per sua natura, di inserirsi in queste reti, può costituire un rischio esistenziale alla nostra sopravvivenza.
Il primo passo sono le storie. Per chi fosse a digiuno di Sapiens, Harari rilegge la storia dell'uomo sulla sua capacità di creare reti astratte di storie che hanno permesso a piccole tribù di ominidi di scalare la capacità di convivenza, superando la dimensione del villaggio dove tutti conoscono (e si fidano di) tutti e fondando città, stati e imperi. Le storie sono la mitologia che ci unisce, e possono declinarsi nell'idea di appartenenza a una civiltà, a un ceppo linguistico o a una religione, ma possono anche essere le leggi e la moneta, l'idea di istituzione e di politica, l'approccio alla sessualità e, più in generale, la cultura. In breve, un'immensa rete di costrutti astratti che ci lega e ci permette di cooperare per sconfiggere i nemici esistenziali alla nostra sopravvivenza (la fame, le malattie, il freddo, le fiere, …).
L’essere umano è anche animale di tecnica, e nella tecnologia della scrittura abbiamo trovato lo strumento per scalare le storie sulle grandi dimensioni (la Bibbia, ad esempio), e accumulare, immagazzinare e organizzare le informazioni. Come nasce la burocrazia? Con la necessità di reperire le informazioni seguendo cataloghi, parametri e, più in generale, metadati con la quale sono state archiviate. Ad esempio, cosa fanno gli avvocati oggi? Conoscono perfettamente il modo di ritrovare e collegare tra loro informazioni complesse dislocate in un archivio immenso che noi chiamiamo, per semplicità, corpo normativo.
Mitologia e burocrazia, storie e scrittura. Su questi principi primi si costruisce la tesi del libro. La rete informativa avvolge i nostri cervelli: non possiamo accendere o spegnere le connessioni che abbiamo perché è il costrutto astratto nel quale siamo immersi e che ci è tramandato da chi viene prima di noi. E la scrittura è il mezzo più potente di propagazione.
Nel racconto breve La verità del fatto, la verità della sensazione2, Ted Chiang descrive così la scrittura:
Di solito non la pensiamo in questi termini, ma la scrittura è una tecnologia, e ciò significa che una persona alfabetizzata è qualcuno i cui processi mentali sono tecnologicamente mediati. Siamo diventati dei cyborg cognitivi non appena abbiamo imparato a leggere speditamente […] Quando la conoscenza viene trasmessa solo oralmente, una cultura può modificare facilmente la propria storia. Anche se non è intenzionale, è inevitabile […] L’idea che i resoconti del passato non dovrebbero cambiare, deriva dal rispetto che ripongono le culture alfabetizzate nella parola scritta
Nel racconto, il piccolo Jijingi impara da Moseby, missionario europeo, a leggere e scrivere. Jijingi, figlio del capo villaggio di una tribù ancorata alla tradizione orale, si ritrova poco alla volta espulso dalla propria comunità perché il suo pensiero si plasma inevitabilmente sulla solidità della scrittura, abbandonando l’arte orale, dove la verità si plasma sul momento, sul contesto, sulle persone.
A quel punto Jijingi ricordò qualcosa del linguaggio Europeo, e capì cosa confondeva tanto Moseby. “Nella nostra lingua ci sono due parole per quello che voi definite “vero”. La prima, mimi, indica quello che è giusto, e la seconda, vough, indica quello che è preciso. In una controversia i suoi protagonisti riferiscono cosa considerano giusto, quindi ciò che dicono è mimi. I testimoni sono però tenuti a dire precisamente cosa è successo, quindi ciò che dicono è vough. Comunque, se i protagonisti si rifanno a mimi piuttosto che a vough, non significa che stiano mentendo”
[…]
Il rapporto valutativo degli Europei era vough, esatto e preciso, non era però abbastanza per risolvere la questione. La scelta del clan di unirsi doveva essere giusta per la comunità, doveva essere mimi, e solo gli anziani potevano decidere cosa fosse mimi. Era loro responsabilità decidere cosa fosse meglio per il clan Shangev. Chiedere a Sabe di delegarla alla carta equivaleva a chiedergli di agire contro ciò che considerava giusto.
La scrittura intrappola in una rete informativa organizzata e strutturata, non mutabile sull’onda delle memorie e delle sensazioni. Le leggi, le storie, la mitologia, tutto ciò che è scritto rimane nel tempo, si adatta sì al cambiamento, ma non possiamo discostarvici se non a fronte di cambiamenti marginali (o di rivoluzioni che le rifiutano in toto). Quando il 14 luglio 1789 i parigini prendevano la Bastiglia, ma ancora di più con la riunione alla sala della Pallacorda, si stavano ribellando a una rete che intrappolava ogni cittadino francese in uno dei tre stati di rappresentanza, stabiliva chi era nobile e chi no, imponeva il sovrano perché scelto da Dio per dinastia di sangue.
Il progressivo stratificarsi delle reti informative e delle storie che ci raccontiamo crea le istituzioni. Ci sono istituzioni imponenti come gli Stati, ma anche istituzioni più piccole, ma non meno importanti, come la famiglia, la comunità, un’azienda o un’associazione. E nessuna istituzione contemporanea potrebbe esistere senza la capacità della scrittura di solidificare la storia che avvolge quelle reti.
Qui si inserisce il fulcro del libro: se una tecnologia come l’IA è in grado di gestire (e quindi reperire, organizzare e sintetizzare) la massa informativa del mondo, ed è altrettanto capace di generare contenuti attraverso il linguaggio naturale, che è il nostro sistema operativo di base, cosa le impedisce di influenzare, hackerare, modificare a suo piacimento le nostre reti? Se una tecnologia è in grado di inserirsi in un dibattito pubblico generando informazioni distorte, veritiere, ma non vere, inondando e comunicando in modo capillare perché ogni umano toccato ascolti quel che risuona meglio al proprio pensiero, cosa le impedisce di influenzare un’elezione, un referendum o l’intera vita comunitaria di una società?
Già in Capitalismo della Sorveglianza3, Shoshana Zuboff rifletteva sulla capacità delle grandi aziende quali Google o Meta di influenzare il proprio pubblico attraverso la rete. Attenzione: l’influenza di cui parla Zuboff non è il semplice cambiare idea o acquistare un prodotto di una marca o di un’altra sulla scia dell’esposizione a pubblicità e messaggi di varia natura, ma una modifica profonda, intima, di idee, pensieri e credenze. Il punto di Zuboff sta lì: quando l’esposizione a messaggi e contenuti è troppo ridondante perché possa essere processato dal nostro cervello, avvolto sempre più in campane di vetro (si potrebbe parlare di reti ad alto coefficiente di clusterizzazione4), l’essere umano può creare illusioni che si distaccano inesorabilmente dalla realtà di cui è parte.
Una persona difficilmente si accorge dell’essere avvolto da una bolla: se tutti i miei contatti e i contenuti a cui sono esposto mi parlano di danni da vaccini, è difficile per me resistere alla tentazione di pensare che i vaccini mi possano far male. E questo è un esempio superficiale. Se la mia famiglia, i miei amici, i conoscenti, finanche persone che non conosco ma che incrocio per strada, mi dicono che il Re è stato scelto da Dio, difficilmente riuscirò a pensarla diversamente. Se l’intera società in cui sono immerso si basa su un libro sacro per stabilire le proprie leggi, è difficile utilizzare il pensiero critico per mettere in dubbio questo assunto: io neanche mi accorgo del fatto che sia un’ipotesi, figuriamoci metterla in dubbio.
I social media, ad esempio, agiscono esattamente così. Mi allontano dall’esempio che cita Harari sul caso dei disordini islamofobi in Myanmar5 nel 2021, e guardo più al nostro mondo; nell’articolo di questo blog A 20 anni dalla nascita di Facebook, siamo ancora contenti dei social media? avevo raccolto diverse statistiche sull’influenza dei social sugli esiti politici in Europa e negli Stati Uniti:
6% degli adulti statunitensi raccolgono informazioni regolarmente su social media di notizie alternative; 65% degli utenti di questi media dichiarano di aver trovato una community di persone con punti di vista simili sulla società e la politica; tra il 20 e il 25% degli account più rilevanti sui social media alternativi sono supporter di Trump, si dichiarano patrioti e fortemente religiosi […] Gli utenti dei social media alternativi sono estremamente contrari a filtrare e verificare fonti e contenuti per bloccare fake news e contenuti offensivi. In generale, la libertà di poter condividere notizie false viene prima del verificare la bontà o meno della notizia stessa.
Le campane di vetro esistono da sempre: anche testi sacri come i Vangeli hanno creato campane di vetro nella società romana dell’Antichità. Ma la differenza sostanziale tra oggi e duemila anni fa è la capacità pervasiva della tecnologia e, oggi, la sua potenzialità generativa.
Nel libro Miele6, l’autore inglese Ian McEwan immagina la storia di una donna reclutata dall’MI5 in piena Guerra Fredda per avviare una lotta culturale contro il blocco sovietico. Il libro si sviluppa intorno all’idea che i blocchi sovietico e occidentale non si guerreggiavano solamente per procura su lontani territori di confine, né con storie alla James Bond tra testate nucleari e spionaggio, ma anche attraverso un incessante lavoro culturale, fatto di pubblicazioni, opuscoli, giornali finanziati da una parte e dall’altra per influenzare l’opinione pubblica. Inutile dire che il campo di gioco era il blocco occidentale, l’unico con la permeabilità culturale tipica delle democrazie liberali.
La storia è affascinante perché quella guerra si combatteva tra libri e mostre, finanziando autori e case editrici: oggi sarebbe (è) molto più semplice, e molto meno dispensiosa, perché passa attraverso la produzione di contenuti di bassa qualità, ad alta targettizzazione e a volumi pressoché infiniti. Alcuni la definiscono cognitive warfare7 e l’IA è uno degli strumenti con la quale già oggi si combatte.
L’IA non è la sola generazione di linguaggio e parole8, ma è gestione di informazioni destrutturate in contesti complessi, è agente decisionale anche se incosciente del motivo delle proprie decisioni9. Decisioni, per altro, che nessun umano sarebbe in grado di spiegare attraverso passaggi logici consequenziali; un esempio già presente in finanza è l’high-frequency trading, o, in via sperimentale, nei tribunali americani per valutare alcuni aspetti dell’imputato sulla base delle informazioni pubbliche, ma disperse, che definiscono una parte rilevante della sua vita.
Agente decisionale, tecnologia di produzione contenuti attraverso linguaggio naturale e grande archiviatore e gestore di informazioni destrutturate: in breve, per Harari, l’IA è una tecnologia capace di occupare - seppure virtualmente - tutti i nodi su cui si basa la civiltà umana, senza neanche permetterle di accorgersene. Ci sono già tecnologie che avvolgono interamente la vita sociale delle persone; pensiamo ai sistemi di credito sociale in Cina, in cui la cultura e la percezione dello Stato è profondamente diversa dalla nostra, ma pensiamo, solo per ipotesi, se un giorno si volesse (per motivi di efficienza) raccogliere in un unico nodo tutte le informazioni che costituiscono la nostra vita (conto corrente, stato di salute, lavoro, patrimonio): di fatto sarebbe possibile avere pieno controllo e visibilità di noi nella nostra interezza, cosa che, finora, in Occidente, è impedito dalla divisione dei poteri e dall’eterogeneità dei nodi informativi.
Ho letto diverse recensioni su Nexus, anche prima di iniziarne la lettura.10 Forse i tempi e i ritmi della società moderna non permettono di assorbire con le giuste tempistiche un pensiero che affonda in strati di lettura di varia ampiezza e profondità, ma di tutte le recensioni, al netto forse del The Economist, ho notato un fattore comune: derubricare, come oramai la nostra contemporaneità ama fare con qualunque fenomeno, Harari alla semplice posizione del doomer11, dello scettico, della Cassandra. In realtà lo stesso autore si pone su posizioni di dubbio, di riflessione, di avvertimento, ma non di condanna: Harari non nega mai i benefici di una tecnologia che ci sta permettendo di sintetizzare nuove proteine, individuare prima di qualsiasi umano lo svilupparsi di un tumore, o che può sviluppare un’infinità di scenari per aiutarci ad affrontare le sfide ambientali del nostro tempo, o magari a superare i limiti della fisica e della scienza contemporanea per un nuovo salto tecnologico12.
Consiglio di leggere il libro ✅
Harari pone dei dubbi. E mi preme sottolineare: dubbi di natura non tecnologica (chi legge Harari per una risposta sull’IA ha sbagliato libro), ma sociale, etica, politica, partendo da uno sguardo sistemico delle strutture che compongono la civiltà umana, senza rischiare di affondare nei silos disciplinari nei quali si è strutturata la conoscenza negli ultimi duecento anni.
Consiglio di leggerlo. Consiglio di assorbirlo con calma senza farsi prendere dalla fretta di giungere all’Epilogo, e consiglio di usare spirito critico: non è solo un libro, ma una palestra per la mente, tanto utile quanto rara in un’epoca di domande e certezze twittate in qualche decina di caratteri.
Bonus track: la Pop Culture e l’IA
Sarò brevissimo. Ci sono tanti film e libri di fantascienza che toccano il tema, ed è inutile ripetere quel che molti altri autori consigliano13.
Sul tema delle reti onnipresenti e dell’IA agente decisionale che avvolge gli esseri umani in un’intricata (e subdola) rete di bugie, consiglio il film Eagle Eye. E’ un mappazzone hollywoodiano, quindi non guardatelo come guardereste l’autoriale Ex Machina o l’epico Matrix. Tra le fila di un plot che parte bene e si perde male verso la fine, il film presenta, però, un piccolo spunto interessante: l’IA protagonista della storia ha il carattere di agente decisionale che sembra cosciente, ma in realtà replica all’infinito uno scopo originario che le è stato affidato dai suoi creatori, sfuggendo poi al controllo (tema archetipico di Frankestein).
E’ interessante perché questa storia replica il paradosso filosofico delle graffette che si pone Nick Bostrom in Superintelligenza14, ripreso in Nexus e fermo sulla mia scrivania in attesa di lettura: nel paradosso, Bostrom si immagina un’IA a cui viene affidato il compito di massimizzare la produzione di graffette, compito che porterà la macchina a distruggere l’intero pianeta (e a costruire tecnologie per l’esplorazione spaziale) per il solo scopo di raccogliere le risorse necessarie a produrre graffette all’infinito.15
Sono paradossi, sono film di fantascienza. Ma come ogni aspetto della nostra vita, è sempre utile provare a immaginare scenari estremi, paradossi e avanzare a dubbi e tentoni, proprio per evitare di intrappolarsi in reti istituzionalizzate di cui fatichiamo anche a rivelare i presupposti e gli assunti da cui si diramano.
Y. N. Harari, Nexus, 2024 (in italiano da settembre 2024)
La storia è tratta dalla raccolta Respiro, 2019 (in italiano dal 2021)
The Age of Surveillance Capitalism, Shoshana Zuboff, 2019, in italiano dal 2023
Nella Network Analysis, gruppi ad alto coefficiente di clusterizzazione sono quelle reti in cui i nodi parlano quasi esclusivamente tra loro. In un’azienda sono uffici molto isolati, ma nella realtà di tutti i giorni possono essere sette, nuclei familiari molto stretti o comunità di amici chiuse verso l’esterno
2012
Anche su questo, rimando all’articolo A 20 anni dalla nascita di Facebook, siamo ancora contenti dei social media?
Sto facendo qualche esperimento di prosa lunga: per ora, ChatGPT è un ottimo centometrista, ma ancora un mediocre maratoneta. Le capacità linguistiche restano comunque sbalorditive, in particolare se si usa la lingua inglese
Su questo ho letto e ascoltato opinioni diverse, ma Harari nel libro chiarisce molto bene il suo punto di vista: l’essere agente non significa essere cosciente, e tutto l’impianto del libro si basa sull’assunto dell’IA come tecnologia dotata di potere decisionale, ma non cosciente
La differenza tra Boomer e Doomer sull’IA è ben descritta nell’articolo With Sam Altman’s return, a shift in AI from idealism to pragmatism, The Economist, 25 novembre 2023, LINK
In questo senso, una visione da Boomer è quella di Sam Altman, CEO di OpenAI, il quale indica la nascita dell’Intelligence Era in un recente articolo sul proprio blog: LINK
Il mio preferito rimane Ex Machina
2014
E’ ovviamente più complesso, ma il succo è questo.