Una storia vera Quando l'amico più caro di Eugenia Kuyda, Roman Mazurenko, è morto in un incidente d'auto, Eugenia ha deciso di costruirgli un memoriale. Ha raccolto tutti i messaggi di testo che le aveva inviato e ha convinto i suoi amici e parenti a fare lo stesso. Alla fine, Kuyda, che di mestiere sviluppa software, ha raccolto oltre 8.000 righe di testo che fotografavano gli interessi, i pensieri e la personalità di Mazurenko. Questa era la materia prima che le serviva per addestrare una rete neurale che la mettesse in grado di parlare come Mazurenko e di rispondere ai messaggi come se lui stesso stesse scrivendo.
"Roman bot", il risultato di questa rete neurale addestrata sui messaggi di Roman, è stato pubblicato sulla piattaforma chatbot di Kuyda, Luka, nel 2016. Tutto ciò che un utente doveva fare era aggiungere l'utente @Roman e iniziare a conversare con la simulazione. In questa maniera poteva conoscere la vita e la carriera di Mazurenko e, nelle speranze di Eugenia, percepire qualcosa del suo temperamento. Il ritmo delle parole e il tipo di risposte imitavano con cura l'amico di Kuyda. Era un memoriale sperimentale, un fac-simile digitale. Alcuni lo chiamavano un fantasma. In un post di Facebook, Kuyda ha descritto l'esperienza che provava nel chattare con il bot: parlare con "l'ombra di una persona".
Eugenia racconta che la tecnologia non era perfetta e un sacco di volte @Roman ha detto qualcosa che non aveva senso, ma ciò che la sua squadra aveva fatto "non era possibile solo un anno prima e in un futuro molto vicino sarà in grado di fare molto di più. "
Parlando nei nostri telefoni, potremmo un giorno sentire le voci dei defunti che ci parlano? Nel 2018, Google ha presentato il suo sistema Duplex. Presentato come "un sistema di AI per realizzare compiti reali al telefono, "Duplex funziona sfruttando una rete neurale ricorrente (RNN), insieme alla tecnologia di riconoscimento vocale automatico dell'azienda, per richiamare in modo convincente le aziende per conto degli utenti.
La cosa più impressionante - e per alcuni, sconvolgente - è il modo in cui Google Duplex parla con parole quasi umane. La tecnologia Google Duplex è costruita per sembrare naturale, per rendere confortevole la conversazione. La compagnia ha fatto si che la sua AI intercali il discorso con una serie di fonemi come "hmm" e "uh" che imitano le pause e le intonazioni del linguaggio naturale. Questo diffusore reattivo suona più umano di una normale chiamata a un risponditore automatico.
Oggi il "Roman bot" di Kuyda genera una parvenza del suo amico defunto con il testo. A cosa porterebbe questo approccio se potesse essere dotato di funzioni avanzate come quelle che Google sta realizzando con Duplex? Il colosso di Montain View ha più volte detto che il suo sistema sarà trasparente e comunicherà sempre la sua natura di bot durante le chiamate. Tuttavia da più parti c'è la sensazione che sia stata raggiunta una linea di confine cruciale nello sviluppo di bot in grado di avere conversazioni artificiali. Potrebbe un bot AI imparare ad appropriarsi dei ritmi vocali e delle caratteristiche, come i tic della personalità, di individui specifici? Se oggi parliamo nei nostri telefoni, potremmo un giorno invece che chiamare qualcuno sentire le voci di persone defunte che ci parlano?
L'idea di preservare una persona attraverso i suoi discorsi non è nuova. In un saggio del 1878, Thomas Edison si disse certo che il suo fonografo - il primo dispositivo in grado di riprodurre il suono registrato - avrebbe "annientato il tempo e lo spazio e imbottigliato per i posteri la semplice espressione dell'uomo".
Se oggi guardiamo fuori dalla finestra vedremo che tempo e spazio devono ancora essere annientati, ma il desiderio dietro quella dichiarazione è ancora persistente. Dal lavoro di antropologi come John Peabody Harrington, che ha catturato il discorso dei nativi della California su cilindri di cera, fino a progetti come BBC Voices che cercano di realizzare l'archiviazione del panorama linguistico di vari paesi, abbiamo già da tempo cercato di preservare le persone attraverso le registrazioni delle loro conversazioni.
Negli ultimi anni, una collaborazione tra l'Institute for Creative Technologies della University of Southern California e la Shoah Foundation ha spinto tutto questo in una nuova dimensione. Il progetto New Dimensions in Testimony (NDT) ha creato circa una dozzina di "biografie interattive" dei sopravvissuti all'Olocausto, basate su ampie interviste riprese su un palcoscenico speciale e girate con visuali a 360 gradi. La testimonianza di ciascuno di questi individui viene utilizzata per creare una proiezione digitale che, grazie alla tecnologia del linguaggio naturale, può rispondere alle domande del pubblico.
Se un visitatore dovesse chiedere a un sopravvissuto se crede in Dio o in che modo si è nascosto ai nazisti, il sistema prende in considerazione la domanda e riproporrà una parte rilevante dell'intervista girata in precedenza. Modificando il modo in cui sono tenuti insieme questi frammenti si vuole dare l'impressione al visistatore di avere una conversazione senza pause con un testimone della storia. L'istituto Shoah dice: "A partire da ora, molto tempo dopo che l'ultimo sopravvissuto ci avrà lasciato, Dimensions in Testimony sarà in grado di fornire una preziosa opportunità per conoscere un sopravvissuto ponendogli alcune domande direttamente".
Alcuni di questi sistemi interattivi sono stati presentati in alcuni musei. L'Illinois Holocaust Museum ha costruito un teatro permanente per ospitare le testimonianze come parte del suo centro Take a Stand. L'USC Shoah Institute ha anche costruito un sistema attorno alla testimonianza di un sopravvissuto del massacro di Nanchino, mentre l'USC Institute for Creative Technologies ha utilizzato la tecnologia di base per collaborare con l'esercito americano su un progetto che consente ai soldati di intervistare una vittima di una violenza sessuale.
Cosa succede se si dovesse applicare una tecnologia come quella di Google Duplex? Potremmo generare discorsi convincenti e forse potrebbe funzionare bene con una "biografia interattiva"?
L'approccio registrato usato con NDT ha il vantaggio di essere una produzione di qualità ed essere basato su materiale autentico. L'approccio parlato generato da bot AI ha il vantaggio di essere in grado di creare nuovi contenuti a basso costo senza bisogno di ulteriore accesso alla persona originale. Questa può essere una caratteristica importante se si avesse bisogno di nuovi contenuti come per esempio, una reazione specifica a una domanda che non avrebbe potuto essere concepita al momento della registrazione. Certo il problema di cosa sia vero, cosa sia verosimile e cosa plausibile può essere enorme e vanificare sforzi come quelli di queste istituzioni storiche.
Mentre un sistema in grado di generare risposte può rendere il suo soggetto più reattivo, Tessere in grado di costruire reazioni in autonomia vorrebbe dire mettere parole nella bocca di qualcun altro. Potrebbe diventare difficile o impossibile sapere se qualcuno ha effettivamente detto qualcosa o meno. L'autenticità è un problema importante, quindi probabilmente non è una buona idea sfocare la linea di demarcazione tra testimonianza e parlato digitalmente generato mediante un AI.
Virginia Dignum, professore associato di intelligenza artificiale sociale presso la Delft University of Technology, è convinta di questo: "Non penso che una AI usata per simulare le persone dovrebbe essere sviluppata per trovare qualsiasi tipo di risposta. Il sistema dovrebbe essere consapevole dei limiti di ciò che 'sa' su quella persona. Se la persona che ha fornito la testimonianza non ha mai detto nulla, ad esempio, sul suo colore preferito, il sistema non dovrebbe cercare di dare una risposta, ad esempio, estrapolandola dai colori dei vestiti dell'intervistato. Dovrebbe essere chiaro all'utente che la simulazione ha lo scopo di parlare di una situazione specifica".
Il bot può assomigliare a una persona, ma in fondo è solo una silhouette. Gli obiettivi di NDT sono decisamente storici, offrendo al pubblico uno spaccato di eventi, come l'Olocausto e il massacro di Nanchino, ancorati a testimonianze individuali. Quando si tratta dei soggetti del progetto, il sistema ha un'idea chiara di ciò che "sa" di queste persone. Ma potrebbe essere costruito un sistema per avere una comprensione più generale di un individuo? Delle sue paure, dei suo desideri, dei suoi sentimenti più intimi e delle sue idee sul mondo?
Non è difficile immaginare che prima o poi qualcuno possa tentare di sviluppare tali sistemi per 'sostituire' i propri cari defunti avendo un bot con cui intessere una interazione emotiva. Non è facile capire se tali usi delle AI siano bene o male. Tuttavia se sviluppiamo questi simulacri digitali, queste personalità sintetiche che vogliono ricalcare persone realmente esistite, è necessario un forte dibattito pubblico.
Sembra assolutamente necessario una forte revisioni etica, psicologica e sociale tanto del modo con cui si voglio realizzare, quanto della commercializzazione e degli effetti che questi bot ingenereranno nelle persone. Un processo simile a quello che facciamo quando vengono introdotti nuovi farmaci nel mercato: questi bot possono rendere le vite si qualcuno meno sole, generare dipendenza o dare vita a psicosi o paranoie non prevedibili.
Nel 2017 Eugenia Kuyda ha fatto un ulteriore passo avanti, ha sviluppato Replika, un'app che consente agli utenti di parlare con un Bot AI. Pian piano che si usa Replika, grazie allo scambio di centinaia di messaggi di testo, il sistema apprende l'approccio dell'utente a diversi soggetti di conversazione, alimentando la sua rete neurale in modo da imitare il modo e l'approccio al discorso. "Parla con qualcuno che ascolta sempre", dice la software house, descrivendo Replika come "uno spazio sicuro per condividere pensieri e sentimenti senza paura di essere giudicati".
L'approccio di fondo ha molto in comune con il memoriale di Kuyda al suo amico defunto, tranne che il sistema imparando proprio dall'utente vivo, mettendo insieme un simulacro della sua personalità dall'elaborazione delle sue domande. Come ha detto Kuyda sulla sua versione di Roman Mazurenko, il risultato è un'ombra. Può assomigliare a una persona, ma in definitiva è solo una silhouette. Cosa proverebbero i conoscenti e gli amici di chi ha addestrato Replika nell'interagire con questa copia virtuale dell'utente dopo che questo è deceduto?
Queste capacità e questi scenari che si aprono grazie alla potenza pervasiva delle AI iniziano a creare dei problemi sull'etica dei nostri "resti digitali". Più si digitalizza la realtà e le nostre attività più i dati che generiamo nelle nostre esistenze chiedono di essere gestiti anche dopo la nostra scomparsa. Ci vuole poco a immaginare quanto grande potrebbe essere un business degli affetti legato a bot digitali dei cari defunti. La questione non è solo sinistra e inquietante è talmente disruptive delle relazioni sociali e dell'approccio alla morte che chiede di essere riflettuta con calma.
“Anche se è eccessivo, e persino pericoloso, dire che noi siamo i nostri dati”, non molto tempo fa illustrava Stefano Rodotà, “è tuttavia vero che la nostra rappresentazione sociale è sempre più affidata a informazioni sparse in una molteplicità di banche dati”. Così le tracce che disseminiamo nella rete plasmano la nostra “anima informazionale”, la quale è per alcuni versi più completa e analitica di quella “spirituale” consegnataci dalla tradizione. Sempre che si sia disposti ad ammetterla, la spirituale. O comunque più ricca della nostra coscienza, che tende necessariamente a selezionare e a dimenticare. L’anima informazionale invece no. Ricorda tutto, come in Funes el memorioso di Borges.
Quasi che il web possa rappresentare il nuovo Purgatorio dell’attuale società cyber-magico-religiosa: una cabina di depressurizzazione tra vita e morte, in cui le anime degli estinti possano albergare ancora un po’ ed essere evocate attraverso una pratica necromantica sì, ma addomesticata da riti, procedure e click.
È quello che di fatto è successo a Roman, il cui “spirito” – essenzialmente, i messaggi di chat – dopo la morte, è stato implementato in un apposito chatbot dall’amica Eugenia. Che l’ha imprigionato come un genio in una lampada. “Come stai, Roman?” gli chiede. “Bene, solo un po’ giù di corda” le risponde lui da un Purgatorio fatto di bit. E il loro rapporto durerà per sempre, come nelle favole. Le quali, beninteso, possono essere anche gotiche, visto che il fatto – reale come le mie mani che stanno pestando sulla tastiera e come i vostri occhi che si stanno sgranando per leggere queste parole – ha tratto spunto da Be Right Back, episodio della seconda stagione Black Mirror, la serie televisiva distopica britannica guardata da Eugenia.
La chatbot con la personalità del caro estinto di fatto potrebbe essere l'equivalente religioso di una mummia egizia. Solo che questa è tecnologicamente evoluta: il tentativo, al contempo raffinatissimo e maldestro, di mantenere in vita ciò che non lo è.
Forse più del ricevere risposte è il parlare stesso che è importante. Nella città giapponese di Otsuchi c'è un telefono scollegato in una cabina di vetro. È stato costruito dal garden designer Itaru Sasaki, dopo la morte di suo cugino nel 2010. Quando il 10% della popolazione di Otsuchi è stata uccisa dalle inondazioni causate dallo tsunami del 2011, Sasaki ha aperto il telefono al pubblico. Lì, su una collina a picco sul mare, potevano comporre il numero della loro amata e avere una conversazione che poteva essere sempre a senso unico.
Si ritiene che migliaia di persone in questi anni siano andati alla cabina di vetro, verso il kaze no denwa, o "telefono del vento". Quando si tratta dei nostri cari che ci hanno lasciato, forse è meglio che a parlare sia la memoria.
"Sono tutte azioni che compio interiormente nell'enorme palazzo della mia memoria. Là dispongo di cielo e terra e mare insieme a tutte le sensazioni che potei avere da essi, tranne quelle dimenticate. Là incontro anche me stesso e mi ricordo negli atti che ho compiuto, nel tempo e nel luogo in cui li ho compiuti, nei sentimenti che ebbi compiendoli. Là stanno tutte le cose di cui serbo il ricordo, sperimentate di persona o udite da altri. Dalla stessa, copiosa riserva traggo via via sempre nuovi raffronti tra le cose sperimentate, o udite e sulla scorta dell'esperienza credute; non solo collegandole al passato, ma intessendo sopra di esse anche azioni, eventi e speranze future, e sempre a tutte pensando come a cose presenti" (Agostino d'Ippona, Confessiones X,8,14).