• Paolo Benanti

Abbiamo un problema: l'AI pensa come un capitalista

Jonnie Penn, un dottorando che studia l'intelligenza artificiale all'Università di Cambridge ed è affiliato al Berkman Klein Center for Internet & Society dell'Università di Harvard, propone in un recente editoriale sull'Economist di guardare alle intelligenze artificiali mettendo in luce come queste siano nate dal processo decisionale organizzativo delle grandi compagnie e dal modo con cui è organizzato il potere statale. Manca in tutto questo una riflessione etica. L'AI ha bisogno dell'etica. Qui una sintesi del suo pensiero.



L'intelligenza artificiale è ovunque ma è considerata in un modo totalmente antistorico. Per comprendere l'impatto che l'AI avrà sulla nostra vita, è fondamentale valutare il contesto in cui questo campo è stato sviluppato. Dopo tutto, le statistiche e il controllo statale si sono evoluti di pari passo per centinaia di anni.



Guardiamo all'informatica. Le sue origini sono state rintracciate non solo nella filosofia analitica, nella matematica pura e nella riflessione di Alan Turing, ma forse sorprendentemente, nella storia della pubblica amministrazione. In "The Government Machine: A Revolutionary History of the Computer" dal 2003, Jon Agar dell'University College di Londra illustra lo sviluppo del servizio civile britannico, passando da 16.000 dipendenti nel 1797 a 460.000 nel 1999. Ha notato una strana somiglianza tra il funzionamento della burocrazia umana e quella del computer elettronico digitale.


Entrambi i sistemi hanno elaborato grandi quantità di informazioni utilizzando una gerarchia di regole predefinite ma adattabili. Eppure l'uno precedeva l'altro. Ciò ha suggerito un legame significativo tra l'organizzazione delle strutture sociali umane e gli strumenti digitali progettati per servirle. Agar traccia un legame con le origini stesse dell'informatica: il Difference Engine di Charles Babbage negli anni 1820 in Gran Bretagna. Era stato sovvenzionato dal governo, nella speranza che avrebbe servito il suo sponsor. I progetti di Babbage, osserva Agar, devono essere visti come "materializzazioni delle attività statali".


Questa relazione tra i sistemi informatici e le strutture organizzative umane riecheggia nella storia dell'AI. Negli anni '30 e '40, Herbert Simon (nella foto sotto), un politologo dell'Università di Chicago che in seguito insegnò alla Carnegie Mellon University, iniziò a sviluppare un resoconto "scientifico" dell'organizzazione amministrativa. Simon aveva studiato con Rudolf Carnap, un membro del Circolo dei positivisti logici di Vienna. Questo è il motivo che sosteneva la sua convinzione che le teorie esistenti mancassero di empirismo. La sua tesi di dottorato nel 1947 era intitolata "Comportamento amministrativo", un libro che forniva un quadro attraverso il quale tutte le attività all'interno di un'organizzazione potevano essere comprese usando una matrice di processi decisionali.



Herbert Simon: un capostipite

Simon ha continuato a dare enormi contributi in una serie di settori: non solo scienze politiche ed economiche, ma informatica e intelligenza artificiale. Coniò il termine "soddisfacente" (per accettare il bene piuttosto che lottare per l'ottimale) e sviluppò l'idea di "razionalità limitata" per la quale vinse un premio Nobel in economia nel 1978. Ma negli anni '50, Simon era un consulente presso la RAND Corporation, un influente think tank supportato dall'Aeronautica americana.


Alla RAND, Simon e due colleghi - Allan Newell, un giovane matematico, e J. Clifford Shaw, un ex attuario assicurativo - hanno cercato di modellare un modo per risolvere i problemi umani in termini che un computer potesse far funzionare. Per fare ciò, Simon prese in prestito elementi dal quadro che aveva sviluppato in "Comportamento amministrativo". Per far "pensare" un computer come un essere umano, Simon lo fece pensare come una società.


Il prodotto del lavoro del trio era una macchina virtuale chiamata Logic Theorist, annunciata come il primo prototipo funzionante di intelligenza artificiale. I tabulati del Logic Theorist in funzione furono presentati al progetto di ricerca estiva sull'intelligenza artificiale di Dartmouth del 1956, l'evento dove per la prima volta si parlò di intelligenza artificiale. Nelle note della conferenza di Dartmouth, un partecipante ha scritto che il Logic Theorist ha contribuito a risolvere il temuto problema di dare una dimostrazione agli sponsor: una cosa essenziale, perché si era molto scettici all'epoca sul fatto che l'AI potesse funzionare.



Un anno dopo la conferenza di Dartmouth, Simon e Newell hanno presentato i loro risultati come "Heuristic Problem Solving: The Next Advance in Operations Research". L'indizio chiave è nel titolo: la "ricerca operativa" è un campo emerso in Gran Bretagna durante la seconda guerra mondiale per applicare principi scientifici e statistiche al fine di ottimizzare le attività militari e, successivamente, per gli usi aziendali. La ricerca operativa è la branca della matematica applicata in cui problemi decisionali complessi vengono analizzati e risolti mediante modelli matematici e metodi quantitativi avanzati come supporto alle decisioni stesse. Quindi AI significava affari.


In un discorso ai professionisti della ricerca operativa a Londra nel 1957, Simon identificò Frederick Taylor, il padre del movimento di gestione scientifica, e Charles Babbage, come i padri intellettuali di questo campo. "I fisici e gli ingegneri elettrici avevano poco a che fare con l'invenzione del computer digitale", ha detto Simon. "Il vero inventore era l'economista Adam Smith". Spiegò le connessioni: Gaspard de Prony, un ingegnere civile francese, iniziò a "fabbricare" logaritmi usando le tecniche tratte da "La ricchezza delle nazioni" di Smith. Babbage, ispirato a Prony, convertì questa intuizione in hardware meccanico. A metà degli anni '50, Simon lo trasformò in codice software.


La tradizione continua. Molti sistemi di intelligenza artificiale contemporanea non imitano tanto il pensiero umano quanto le menti meno fantasiose delle istituzioni burocratiche; le nostre tecniche di apprendimento automatico sono spesso programmate per ottenere scala, velocità e precisione sovrumane a scapito dell'originalità, dell'ambizione o della morale a livello umano.


Il capitalismo è nel codice

Questi flussi che hanno partecipato alla storia dell'AI - il processo decisionale aziendale, il potere statale e l'applicazione della statistica alla guerra - non sono assolutamente espliciti nella comprensione pubblica dell'AI.


Mentre le notizie di scoperte tecniche o di esperti che esprimono paure sulle AI sono percepite come un appello all'autorità delle scienze naturali o dell'informatica rispetto a quella, per esempio, delle scienze "soft", per prendere in prestito la terminologia di Simon, come le scienze politiche, le scienze gestionali o persino l'economia, il campo per il quale fu chiamato a Stoccolma per ritirare il suo premio Nobel.



Forse a causa di questa impressione sbagliata, oggi continuano i dibattiti pubblici su quale valore le scienze sociali potrebbero apportare alla ricerca dell'intelligenza artificiale. Secondo Simon, l'AI stessa è nata nelle scienze sociali.


David Runciman, un'esperto di scienze politiche dell'Università di Cambridge, ha sostenuto che per comprendere l'AI, dobbiamo prima capire come opera all'interno del sistema capitalista in cui è inserita. Secondo Runciman: "le corporazioni sono un'altra forma di macchina dal pensiero artificiale in quanto progettate per essere in grado di prendere decisioni da sole".


"Molte delle paure che le persone hanno ora riguardo alla prossima era dei robot intelligenti sono le stesse che hanno avuto sulle aziende per centinaia di anni", afferma Runciman. La preoccupazione è che si tratta di sistemi che "non abbiamo mai davvero imparato a controllare".


Dopo la fuoriuscita di petrolio della BP del 2010, ad esempio, che ha ucciso 11 persone e devastato il Golfo del Messico, nessuno è andato in prigione. La minaccia contro cui Runciman mette in guardia è che le tecniche di intelligenza artificiale, come i libri di gioco per sfuggire alla responsabilità aziendale, saranno utilizzate impunemente.


Oggi, ricercatori pionieristici come Julia Angwin, Virginia Eubanks e Cathy O'Neil rivelano come i vari sistemi algoritmici calcolano l'oppressione, erodono la dignità umana e minino i meccanismi democratici di base come la responsabilità se progettati in modo irresponsabile. Il danno non deve essere deliberato; set di dati distorti usati per addestrare modelli predittivi causano anche il caos. Potrebbe essere, dato il dispendioso lavoro richiesto per identificare e affrontare questi danni, che qualcosa di simile all'"etica come servizio" emergerà come una nuova forma di lavoro a domicilio. Cathy O'Neil, ad esempio, ora gestisce un proprio servizio di controllo degli algoritmi.



Negli anni '50, dopo aver coniato il termine "intelligenza artificiale" per la conferenza di Dartmouth, John McCarthy, uno dei primi pionieri del campo, scrisse nei suoi appunti: "Una volta che un sistema di epistemologia è programmato e funziona, nessun altro verrà preso sul serio a meno che non porti anche a programmi intelligenti". Da questo punto di vista, lo slogan di DeepMind,"Risolvi l'intelligenza. Usala per risolvere tutto il resto”, sembra quasi imperativo.


Il suggerimento di McCarthy era che l'influenza, non l'autorità, potesse decidere il consenso scientifico nel suo campo. DeepMind non deve "risolvere" l'intelligenza (supponendo che una cosa del genere sia persino possibile) deve solo eclissare la concorrenza. Oggi esiste un nuovo slogan di Deep Mind. Il nuovo slogan è: "Risolvi l'intelligenza. Usala per rendere il mondo un posto migliore”. Il nuovo slogan suggerisce che anche Deep Mind è consapevole della necessità della diplomazia nella visione della totalità basata sull'AI di questa stagione.


Stephen Cave, direttore del Leverhulme Center for the Future of Intelligence, ha dimostrato che la definizione di intelligenza è stata usata nel corso della storia come strumento di dominio. Aristotele fece appello alla "legge naturale" della gerarchia sociale per spiegare perché donne, schiavi e animali dovevano essere soggiogati da uomini intellettuali. Per fare i conti con questo retaggio di violenza, la politica dell'agenzia corporativa e computazionale deve fare i conti con domande profonde derivanti dalla cultura su razza, genere, sessualità e colonialismo, tra le altre aree di identità.



Una promessa centrale dell'intelligenza artificiale è che consente la categorizzazione automatica su larga scala. L'apprendimento automatico, ad esempio, può essere usato per distinguere un neo canceroso da uno benigno. Questa "promessa" diventa una minaccia se diretta alle complessità della vita quotidiana. Le etichette negligenti possono opprimere e fare del male quando affermano falsa autorità. Per protestare contro le etichette inadeguate che vengono utilizzate per "conoscere" il mondo, molti giovani oggi sfidano con orgoglio le categorizzazioni indesiderate, specie nell'ambito dell'identità sessuale.


Macchine che ci ripensano

Può sorprendere che manchi una borsa di studio sulle storie sociali, materiali e politiche delle origini dell'intelligenza artificiale. In effetti, molto è stato scritto sulla storia dell'intelligenza artificiale, tra cui Simon nel 1996 e Newell nel 2000, tra gli altri. La maggior parte di queste storie, tuttavia, segue uno schema ristretto, vedendolo "principalmente in termini intellettuali", nelle parole di Paul Edwards, uno storico delle tecnologie dell'informazione.


Le due storie quasi ufficiali dell'AI sono ciascuna una storia di idee: “Machines Who Think” di Pamela McCorduck, che “ha forgiato il modello per la maggior parte delle storie successive” dopo la sua pubblicazione iniziale nel 1979; e "AI: The Tumultuous History" di Daniel Crevier, pubblicato nel 1993. Entrambi i libri si basavano principalmente su interviste approfondite con ricercatori chiave per costruire le loro narrazioni.



Nessuno dei due, forse come risultato, ha cercato di comprendere l'AI nel suo più ampio contesto, incorporato nell'ascesa della ricerca operativa, della "grande scienza", delle scienze attuariali e del finanziamento militare americano come si è evoluto dalla seconda guerra mondiale. Espulsa da queste storie, l'AI può apparire separata dal suo contesto storico e politico.


Senza questo contesto, l'intelligenza artificiale può anche apparire separata dai sistemi di conoscenza che l'hanno creata. Nel suo discorso del 1957 con i professionisti della ricerca operativa, Simon celebrava la diversità del passato dell'AI. Descrisse i contributi dei tessitori francesi e dei meccanici del telaio Jacquard, nonché di Smith, de Prony, Babbage e dei suoi pari nelle scienze "soft", assommandosi a un "debito" che rimane da rimborsare.


Quella nuova conoscenza poteva nascere così inaspettatamente, e da così tanti luoghi, era ciò che eccitava Simon per il suo lavoro e può stimolarci a pensare allo stesso modo oggi. L'AI moderna può fare di più che rispecchiare il dogma organizzativo che ha caratterizzato la sua nascita, può anche riflettere la nostra umanità.