• Paolo Benanti

Se il Covid-19 fa ammalare le AI

Il nostro insolito comportamento on line durante la pandemia sta confondendo e facendo fallire i modelli di AI che avevamo sviluppato per gestire tutto il commercio online. I modelli di apprendimento automatico sono addestrati sul comportamento statisticamente normale dei consumatori. Con la pandemia e il lockdown questi algoritmi iniziano a mostrare crepe, costringendo gli esseri umani a intervenire per cercare di sistemare le anomalie. Guardiamo a cosa è successo per far emergere alcuni elementi notevoli.



Nella settimana tra il 12 e il 18 aprile, i primi 10 termini di ricerca su Amazon.com erano: carta igienica, mascherina per il viso, disinfettante per le mani, asciugamani di carta, spray Lysol, salviette Clorox, mascherina, Lysol, maschere per la protezione dai germi e mascherina N95. Le persone non erano solo alla ricerca di prodotti per proteggersi dal Covid-19 ma stavano comprando troppo e alla rinfusa. La maggior parte delle persone in cerca di mascherine ha finito per acquistare il nuovo #1 Best Seller di Amazon: "Face Mask, Pack of 50".



Quando il Covid-19 ha colpito, abbiamo iniziato a comprare cose che non avevamo mai comprato prima. Il cambiamento è stato improvviso: i pilastri della top ten di Amazon -custodie per telefoni, caricabatterie per telefoni e Lego - sono stati buttati fuori dalle classifiche in pochi giorni. Nozzle, una società di consulenza con sede a Londra specializzata in pubblicità algoritmica per i venditori Amazon, ha catturato il rapido cambiamento in questo semplice grafico.



Ci sono voluti meno di una settimana alla fine di febbraio per i primi 10 termini di ricerca Amazon in più paesi per essere sostituiti con prodotti relativi a Covid-19. È possibile monitorare la diffusione della pandemia da quello che abbiamo acquistato: gli articoli hanno raggiunto il primo picco in Italia, seguiti da Spagna, Francia, Canada e Stati Uniti. Il Regno Unito e la Germania sono in ritardo. "È una transizione incredibile nell'arco di cinque giorni", afferma Rael Cline, CEO di Nozzle. Gli effetti dell'increspatura sono stati osservati nelle catene di approvvigionamento al dettaglio.


Ci permettiamo di fare un inciso: anche gli andamenti aggregati degli acquisti possono essere un ottimo indice per monitorare eventuali nuovi picchi di Covid-19 come le acque delle fogne cittadini. Insomma i dati aggregati sono strumenti molto potenti da non sottovalutare in una strategia di medio termine per la gestione dell'andamento di una pandemia.


Tornando al nostro tema dobbiamo però rilevare che questa onda anomala nei dati ha anche influenzato l'intelligenza artificiale, causando intoppi e interruzioni nel funzionamento degli algoritmi che girano dietro le quinte nella gestione dell'inventario, rilevamento di frodi, marketing, e altro ancora. I modelli di apprendimento automatico addestrati sul normale comportamento umano stanno ora scoprendo che il normale è cambiato e alcuni non funzionano più come dovrebbero.



Quanto è grave la situazione dipende da chi si ascolta. Secondo Pactera Edge, una società di consulenza globale per l'AI, "l'automazione è finita in una spirale". Altri dicono che stanno tenendo d'occhio i sistemi automatizzati e che questi sono in grado di reggere, intensificando solo gli interventi con una correzione manuale quando necessario.


Ciò che è chiaro è che la pandemia ha rivelato quanto le nostre vite siano intrecciate con l'AI, esponendo una delicata co-dipendenza in cui i cambiamenti al nostro comportamento cambiano il modo in cui funziona l'AI e i cambiamenti nel modo in cui funziona l'AI cambiano il nostro comportamento. Questo è anche un promemoria del fatto che il coinvolgimento umano nei sistemi automatizzati rimane fondamentale. "Non puoi mai sederti e dimenticare quando ti trovi in circostanze così straordinarie", dice Cline.


I modelli di apprendimento automatico sono progettati per rispondere alle modifiche. Ma la maggior parte sono anche fragili; si comportano male quando i dati di input differiscono troppo dai dati su cui sono stati addestrati. È un errore supporre che si possa creare un sistema Ai e lasciarlo funzionare andandosene, dice Rajeev Sharma, vicepresidente globale di Pactera Edge: "l'AI è un motore vivente e respirante".


Sharma ha parlato con diverse aziende alle prese con casi di AI ribelle. Un'azienda che fornisce salse e condimenti ai rivenditori in India aveva bisogno di aiuto per riparare il suo sistema di gestione automatica dell'inventario quando gli ordini sfusi hanno "rotto" i suoi algoritmi predittivi. Le previsioni di vendita del sistema su cui la società si basava per riordinare le scorte non corrispondevano più a ciò che stava effettivamente vendendo. "L'algoritmo non è mai stato addestrato su un picco come questo, quindi il sistema dava i numeri" racconta Sharma.



Un'altra azienda utilizza un'AI per valutare il sentiment degli articoli contenenti notizie e fornisce raccomandazioni giornaliere di investimento in base ai risultati. Ma con le news che al momento sono più cupa del solito, il consiglio sarà molto distorto, dice Sharma. Una grande società di streaming che ha avuto un improvviso afflusso di abbonati affamati di contenuti sta avendo anche problemi con i suoi algoritmi di raccomandazione, continua nel suo racconto. L'azienda utilizza l'apprendimento automatico per suggerire contenuti pertinenti e personalizzati agli spettatori in modo che continuino a tornare. Ma l'improvviso cambiamento dei dati degli abbonati stava rendendo le raccomandazioni del suo sistema meno accurate.


Molti di questi problemi con i modelli di apprendimento sorgono perché sempre più aziende acquistano sistemi di apprendimento automatico, ma non hanno il know-how interno necessario per mantenerli. La riqualificazione di un modello in condizioni dinamiche che portano flussi di dati troppo difformi dal normale può richiedere un intervento umano esperto.


L'attuale crisi ha anche dimostrato che le cose possono peggiorare rispetto agli scenari del caso peggiore inclusi nei set di formazione. Sharma pensa che più AI dovrebbero essere addestrati non solo sugli alti e bassi degli ultimi anni, ma anche su eventi strani come la Grande Depressione degli anni '30, il crollo del mercato azionario del Black Monday nel 1987 e la crisi finanziaria del 2007-2008. "Una pandemia come questa è un trigger perfetto per costruire migliori modelli di apprendimento automatico" sostiene convinto Sharma.


Anche così però l'algoritmo sarà affidabile entro alcuni limiti operatici e il modello non può essere pronto a gestire qualsiasi variazione dei dati. Come legge generale, ricorda David Excell, fondatore di Featurespace, una società di analisi del comportamento che utilizza l'AI per rilevare le frodi con carta di credito, se un sistema di apprendimento automatico non vede quello che si aspetta di vedere, allora si avranno dei problemi. Forse sorprendentemente, Featurespace non ha visto la sua AI andare troppo male. Le persone stanno ancora comprando cose su Amazon e si iscrivono a Netflix come facendo prima, ma non stanno comprando articoli di big-ticket o spendendo in nuovi luoghi, che sono i comportamenti che possono sollevare sospetti. "Il comportamento di spesa delle persone è una contrazione delle loro vecchie abitudini", afferma Excell.



Secondo Excell, gli ingegneri dell'azienda dovevano solo intervenire per adeguarsi all'aumento delle persone che acquistavano attrezzature da giardino e utensili elettrici. Questi sono i tipi di acquisti anomali a medio prezzo che gli algoritmi di rilevamento delle frodi potrebbero rilevare. "Penso che ci sia sicuramente più supervisione", dice Excell. "Il mondo è cambiato e i dati sono cambiati."


Ottenere il tono giusto nei discorsi

Phrasee con sede a Londra è un'altra azienda di AI che è stata toccata dal cambio. Utilizza l'elaborazione del linguaggio naturale e l'apprendimento automatico per generare copie di email di marketing o annunci di Facebook per conto dei suoi clienti. Assicurarsi che tenga il tono giusto nella sua produzione di testo fa parte del suo lavoro. La sua AI funziona generando un sacco di frasi possibili e poi processarle attraverso una rete neurale per scegliere quelle migliori. Ma poiché la generazione in linguaggio naturale può andare molto male,Phrasee ha sempre degli esseri umani per controllare ciò che entra ed esce dalla sua AI.


Quando il Covid-19 ha iniziato a creare il panico, Phrasee si è resa conto che era necessaria più sensibilità del solito e ha cominciato ad applicare filtri aggiuntivi. L'azienda ha vietato frasi specifiche, come "diventare virale" e non consente un linguaggio che si riferisca ad attività non praticabili, come "abbigliamento da festa". Ha anche eliminato emoji che possono essere letti come troppo felice o troppo allarmante. E ha anche abbandonato termini che possono acuire l'ansia, come "OMG", "essere preparati", "fare scorta" e "prepararsi". "La gente non vuole che il marketing li faccia sentire ansiosi e timorosi sotto pressione", racconta Parry Malm, CEO dell'azienda.


Come microcosmo per l'industria al dettaglio nel suo complesso, tuttavia, non si può battere Amazon. In Amazon è anche dove alcune delle più sottili regolazioni nel dietro le quinte sono state fatte. Amazon, e i 2,5 milioni di venditori di terze parti che nella piattaforma collaborano per soddisfare la domanda dei clienti, sta facendo piccole modifiche ai suoi algoritmi per contribuire a diffondere il carico.



La maggior parte dei venditori Amazon si affidano ad Amazon per soddisfare i loro ordini. I venditori conservano i loro articoli in un magazzino Amazon e Amazon si occupa di tutta la logistica, consegnando a casa delle persone e gestendo i resi. La piattaforma di Seattle promuove quindi i venditori i cui ordini si riescono ad evadere. Se si cercasse un articolo specifico, ad esempio una consolle Nintendo Switch, il risultato visualizzato nella parte superiore, accanto al pulsante principale "Aggiungi al carrello", è più probabile che provenga da un fornitore che utilizza la logistica di Amazon rispetto a uno che non lo fa.


Ma nelle ultime settimane Amazon ha capovolto il processo, dice Cline. Per alleggerire la domanda sui propri magazzini, i suoi algoritmi ora sembrano più propensi a promuovere i venditori che gestiscono in proprio le consegne.


Mercati volatili

Questo tipo di regolazione sarebbe difficile da fare senza l'intervento manuale. "La situazione è così volatile", dice Cline. "Stavi cercando di ottimizzare la risposta per la carta igienica la scorsa settimana, e questa settimana tutti vogliono comprare puzzle o attrezzature da palestra".


Le modifiche che Amazon fa ai suoi algoritmi poi hanno effetti a catena sugli algoritmi che i venditori utilizzano per decidere quanto spendere per la pubblicità online. Ogni volta che viene caricata una pagina web con annunci, si svolge un'asta super veloce in cui gli offerenti automatizzati decidono tra loro chi può riempire ogni casella dell'annuncio. L'importo che questi algoritmi decidono di spendere per un annuncio dipende da una miriade di variabili, ma alla fine la decisione si basa su una stima di quanto il visitatore, cioè gli occhi umani sulla pagina, vale per loro. Ci sono molti modi per prevedere il comportamento dei clienti, inclusi non solo i dati sui tuoi acquisti passati, ma anche il cluster in cui le aziende pubblicitarie ti hanno messo sulla base della tua attività online.



Ma uno dei migliori indici di predizione se qualcuno che fa clic su un annuncio comprerà il prodotto è quanto tempo il venditore dichiara che ci vorrà per consegnarlo, dice Cline. Così Nozzle sta parlando con i clienti per regolare i loro algoritmi per prendere in considerazione questo fattore. Ad esempio, se ritieni di non poter consegnare più velocemente di un concorrente, potrebbe non valere la pena provare a superarli in un'asta pubblicitaria. D'altra parte, se sai che il tuo concorrente ha esaurito le scorte, allora puoi portare a casa una vittoria a buon mercato sapendo che non faranno offerte.


Tutto questo è possibile solo con un team dedicato che tenga sotto controllo le cose, dice Cline. La situazione attuale è un occasione preziosa per coscientizzare la dinamica e il reale funzionamento dei sistemi automatici che abbiamo sviluppato. Molti pensano che tutti i sistemi automatizzati possano funzionare da soli. "Hai bisogno di un team di data science in grado di collegare ciò che sta succedendo nel mondo a ciò che sta succedendo agli algoritmi", conclude Cline.


Questi esempi ci rivelano come l'impatto di una pandemia è stato sentito in lungo e in largo, anche in quei meccanismi algoritmi, molto influenti sulla nostra vita, che tuttavia in tempi più tranquilli rimangono nascosti. Sembra giunto il momento di fare un punto etico-politico di quei sistemi appena trattati e chiedere come potrebbero essere progettati meglio, resi più resilienti e implementati in modo che siano sicuri per le persone. Se vogliamo che le macchine siano affidabili dobbiamo partire da un approccio algor-etico.