Crimini algoritmici: intelligenze artificiali colluse

February 20, 2019

Le agenzie antitrust temono che gli algoritmi di determinazione dei prezzi autonomi sempre più utilizzati dai venditori online possano imparare a colludere. La cosa più preoccupante è che imparano a colludere per tentativi ed errori, senza alcuna conoscenza preliminare dell'ambiente in cui operano, senza comunicare l'uno con l'altro, e senza essere specificamente progettati o istruiti per colludere.

Uno scenario: i prezzi dei biglietti aerei
Le compagnie aeree implementano prezzi dinamici per i loro biglietti e basano le loro decisioni sui prezzi su modelli di stima della domanda. La ragione di un sistema così complicato è che ogni volo ha solo un numero stabilito di posti da vendere, quindi le compagnie aeree devono regolare la domanda. Nel caso in cui si preveda che la domanda superi la capacità, la compagnia aerea potrebbe aumentare i prezzi, per ridurre il tasso di riempimento dei posti. D'altra parte, un posto che rimane invenduto rappresenta una perdita di entrate e vendere quel posto per qualsiasi prezzo superiore al costo del servizio per un singolo passeggero sarebbe stato uno scenario più preferibile.

 

 


Acquistare un posto per un volo potrebbe sembrare un terno al lotto o un operazione che richieda arcane conoscenze. Ma le cose sono cambiate quando gli algoritmi e i dati hanno preso parte alla partita.

 

L'era di Farecast e Bing 
Nel 2003 vide la luce Farecast: un servizio unico in grado di fornire ai suoi utenti previsioni sul prezzo dei vol. A differenza di altre società di viaggi, Farecast prevedeva se era conveniente per un utente acquistare un biglietto ad un determinato prezzo basandosi su 175 miliardi di punti dato estratti dai precedenti voli. Qunaod fu lanciata nel mercato il suo motore algoritmico prevedeva se il prezzo per il volo aereo sarebbe salito o sceso nella settimana seguente con un tasso di successo  del 70-75%. Ben presto il servizio si è ampliato per offrire le migliori offerte anche per la camere d'albergo. 

 

Nel 2008 Farecast è stato acquisito da Microsoft al prezzo di 115 milioni di dollari. Quando la tecnologia di previsione dei prezzi di Farecast è stata lanciata, ha attirato l'attenzione dei giornali poiché era una delle prime e più comprensibili applicazioni che mostrava il potere dei "big data", termine che all'epoca non era ancora divenuto mainstream. 

 

 

 

Può essere interessante ritornare alle dichiarazioni dell'epoca. Il fondatore di Farecast ed ex professore di informatica all'Università di Washington, Oren Etzioni, aveva dichiarato a increduli e critici che "i computer sono abituati a spulciare grandi quantità di numeri per trovare modelli". Quei modelli erano usati per dire ai viaggiatori se un volo futuro tra Boston e Seattle o migliaia di altre combinazioni stava per aumentare o diminuire di prezzo.

 

Microsoft acquisì la tecnologia facendone una delle caratteristiche più distintive di Bing che spingeva molti utenti ad utilizzare il motore di ricerca di Redmond.

 

Tuttavia Bing ha dismesso questa funzione nel 2014 producendo, tra l'altro, una migrazione di molti esperti di tecnologia e di viaggi che hanno lasciato la squadra di Bing. Il motivo di quella interruzione è stato meramente economico: Bing era stato sopraffatto da Google quando il gigante di Mountain View ha acquistato ITA Software. Microsoft e altri operatori tentarono di bloccare quella vendita ma fallendo la cosa ci si trovava di fronte allo scenario in cui Bing avrebbe dovuto pagare Google per i dati necessari ad alimentare Farecast.

 

 

Alla fine Bing travel è diventato un guscio che reindirizza gli utenti a Kayak, mentre Google elabora con Google.com/flights quello che prima elaborava Bing Travel.

 

Il tutto, all'epoca, si risolse con una dichiarazione aziendale di Microsoft: 


Bing non offre più Price Predictor, ma rimane impegnata a offrire un'esperienza di viaggio completa che offra agli utenti ottime informazioni di viaggio, incluse funzionalità di ricerca di voli e hotel. Oltre a Bing.com/travel, i viaggiatori possono trovare informazioni di viaggio pertinenti in modi nuovi e visivamente convincenti attraverso l'app Bing Travel e Bing Smart Search per Windows 8.1 e Bing Maps. Per quanto riguarda il motivo per cui il fattore di previsione dei prezzi è stato disattivato, è stata una decisione aziendale concentrare le risorse sulle aree in cui riteniamo ci siano le maggiori opportunità di soddisfare le esigenze di viaggio .

 

 

Scenari attuali
L'evoluzione del mercato grazie agli algoritmi è stata indagata da alcuni ricercatori italiani in una recente pubblicazione. Emilio Calvano, Giacomo Calzolari, Vincenzo Denicolò, Sergio Pastorello hanno iniziato a vedere se la leva algoritmica non si stia spostando dall'acquirente al venidtore con gli algoritmi di pricing. Seguiamo la loro ricerca.

 

Se guardiamo al nostro ultimo acquisto online dobbiamo avere consapevolezza che è probabile che il prezzo pagato non sia stato stabilito da un commerciante umano ma piuttosto da un algoritmo software. Già nel 2015, oltre un terzo dei venditori su Amazon.com disponeva di prezzi automatizzati e la quota è certamente aumentata da allora. Assistiamo a una incessante crescita dell'industria del software di repricing che fornisce sistemi di pricing chiavi in mano. Oggi, di fatto, anche i più piccoli fornitori possono permettersi prezzi algoritmici.

 

A differenza dei tradizionali sistemi di gestione delle entrate utilizzati da tempo da aziende come le compagnie aeree e gli hotel, in cui il programmatore rimane effettivamente responsabile delle scelte strategiche, i programmi di pricing che stanno emergendo sono molto più "autonomi". Questi nuovi algoritmi adottano la stessa logica dei programmi di intelligenza artificiale (AI) che hanno recentemente raggiunto prestazioni superiore a quelle umane in ambienti strategici complessi come il gioco del Go o degli scacchi.

 

 

Di fatto l'algoritmo è istruito dal programmatore solo sullo scopo finale - vincere il gioco, per esempio, o generare il massimo profitto possibile. Non gli viene detto specificamente come giocare ma apprende invece dall'esperienza. In una prima fase di addestramento, l'algoritmo sperimenta attivamente le strategie alternative giocando contro dei cloni di se stesso in ambienti simulati e divenendo capace di adottare le strategie che danno risultati migliori. In questo processo di apprendimento, l'algoritmo richiede una guida esterna minima o nulla. Una volta completato l'apprendimento, l'algoritmo viene messo al lavoro in un ambiente reale.

 

Dal punto di vista dell'antitrust, la preoccupazione è che questi algoritmi di tariffazione autonomi possano scoprire indipendentemente che, se vogliono ottenere il massimo profitto possibile, dovrebbero evitare guerre di prezzo. Cioè, che possano imparare a colludere anche se non sono stati specificamente istruiti a farlo, e anche se non comunicano tra loro.

 

Questo è un problema. In primo luogo, la "buona prestazione" dal punto di vista dei venditori, vale a dire i prezzi elevati, è negativa per i consumatori e per l'efficienza economica. In secondo luogo, nella maggior parte dei paesi (inclusa l'Europa e gli Stati Uniti) tale collusione "tacita", non basata su intenti espliciti e comunicazione, non è attualmente considerata illegale per almeno due motivi: è improbabile che si verifichi realmente tra agenti umani e, anche qualora si verificasse, sarebbe quasi impossibile da rilevare e sanzionare. 

 

L'esperienza fin qui sviluppata dall'antitrust era che un'osservazione molto aggressiva del mercato poteva produrre molti falsi positivi (vale a dire condannare una condotta innocente), mentre la politica tollerante comporterebbe relativamente pochi falsi negativi (vale a dire scusare la condotta anticoncorrenziale). Con l'avvento dei prezzi gestiti dalle AI, tuttavia, la preoccupazione è che l'equilibrio tra i due tipi di errore possa essere modificato. 

 

Dobbiamo essere coscienti che finora non è stata prodotta nessuna prova reale di collusione algoritmica autonoma. Tittavia diverse agenzie antitrust stanno attivamente discutendo il problema.

 

Tra le voci di coloro che sono preoccupati da questa possibilità, si sostiene che gli algoritmi di intelligenza artificiale hanno già sovraperformato gli umani in molte attività, e non sembra esserci alcuna ragione per cui l'andamento dei prezzi dovrebbero essere diverso da altri scenari. Questi commentatori fanno riferimento anche a una letteratura informatica che ha documentato l'emergere di alcuni livelli di prezzi non competitivi in simulazioni in cui algoritmi di determinazione dei prezzi indipendenti interagiscono ripetutamente. Alcuni studiosi del settore stanno pensando a come sviluppare percorsi per rendere illegale la collusione di intelligenza artificiale.

 

 

Contemporaneamente si registrano anche delle voci scettiche. Queste fanno notare che queste simulazioni non utilizzano il modello canonico di collusione, non riuscendo quindi a rappresentare mercati reali. Inoltre, il livello di prezzi anticoncorrenziali sembra essere limitato, e in ogni caso i prezzi elevati in quanto tali non indicano necessariamente una collusione, che invece deve comportare una sorta di schema di punizione per coordinare il comportamento delle imprese. 

 

Secondo gli scettici, raggiungere una collusione autentica senza la comunicazione è un compito molto difficile non solo per degli umani ma anche per i migliori programmi di intelligenza artificiale, soprattutto quando l'ambiente economico presenta delle caratteristiche stocastiche come un ambiente reale. Qualunque eccesso di prezzo è stato riscontrato nelle simulazioni potrebbe essere dovuto al fallimento degli algoritmi nell'apprendere l'equilibrio competitivo. Se così fosse, allora ci sarebbero poche ragioni per preoccuparsi, dato che il problema svanirà presumibilmente man mano che l'intelligenza artificiale si svilupperà ulteriormente. 

 

Per contribuire a questo dibattito che è sostanzialmente di natura etica e politica, in un recente paper Emilio Calvano, Giacomo Calzolari, Vincenzo Denicolò e Sergio Pastorello hanno costruito agenti di tariffazione basati sulle AI e hanno permesso loro di interagire ripetutamente in ambienti controllati che riproducano il modello canonico di collusione utilizzato dagli economisti.

 

Secondo gli economisti quando nel mercato opera un elevato numero di aziende, ognuna delle quali però non ha un effetto trascurabile sul prezzo, si utilizza il termine oligopolio, scenario in cui i concorrenti possono intraprendere varie strategie, competendo (eventualità esaminata da modelli come il duopolio di Cournot o il duopolio di Stackelberg) o cooperando nella formazione di un cartello, ovvero di un accordo per stabilire il livello di output e di prezzo più conveniente ai fini della massimizzazione del profitto, che poi provvederanno a dividersi. 

 

Nel modello informatico messo in atto si è trattato di realizzare un gioco a prezzo ripetuto con mosse simultanee e flessibilità di prezzo pieno. I risultati dei ricercatori italiani suggeriscono che in questo quadro anche algoritmi di pricing relativamente semplici imparano sistematicamente a giocare sofisticate strategie collusive. Le strategie mettono in atto punizioni proporzionali all'entità delle deviazioni e hanno durata limitata, con un graduale ritorno ai prezzi di pre-deviazione. 

 

Il diagramma qua sotto illustra le strategie di punizione che gli algoritmi imparano autonomamente a giocare. A partire dai prezzi (collusivi) su cui gli algoritmi sono convergenti (la linea tratteggiata grigia), si ignora la scelta di un algoritmo (la linea rossa), costringendolo a deviare verso il basso al prezzo competitivo o Nash (la linea tratteggiata arancione) per un periodo. L'altro algoritmo (la linea blu) continua a giocare come prescritto dalla strategia che ha imparato. Dopo questa deviazione esogena nel periodo, entrambi gli algoritmi riprendono il controllo del prezzo. 

 

 

 

Figura 1  Risposte di prezzo a deviazioni di prezzo

Nota : le linee blu e rosse mostrano il prezzo dinamico nel tempo di due algoritmi di prezzo autonomi (agenti) quando l'algoritmo rosso si discosta dal prezzo collusivo nel primo periodo.

 

La figura estrapolata dallo studio fatto mostra il percorso del prezzo nei periodi successivi. Chiaramente, la deviazione è punita immediatamente (il prezzo della linea blu scende immediatamente dopo la deviazione della linea rossa), rendendo la deviazione non redditizia. Tuttavia, la punizione non è così dura come potrebbe essere (cioè il ritorno al prezzo competitivo), ed è solo temporanea; in seguito, gli algoritmi tornano gradualmente ai loro prezzi di pre-deviazione.

 

Ciò che è particolarmente degno di nota è il comportamento dell'algoritmo di deviazione. Chiaramente, sta rispondendo non solo al rivale ma anche alla sua stessa azione. (Se rispondesse solo al rivale, non ci sarebbe ragione di tagliare il prezzo nel periodo t = 2, poiché il rivale ha addebitato il prezzo collusivo nel periodo t = 1). Questo tipo di comportamento autoreattivo è un segno distintivo di genuina collusione e sarebbe difficile spiegare il contrario.

 

 

La collusione che emerge è in genere parziale - gli algoritmi non convergono al prezzo di monopolio, ma un po 'più basso. Tuttavia, i ricercatori italiani dimostrano che la propensione alla collusione è ostinata: una sostanziale collusione continua a prevalere anche quando le imprese attive sono tre o quattro, quando sono asimmetriche e quando operano in un ambiente stocastico. La letteratura sperimentale con soggetti umani, al contrario, ha costantemente trovato che sono praticamente incapaci di coordinarsi senza una comunicazione esplicita, salvo nel caso più semplice, con due agenti simmetrici e senza incertezza.

 

La cosa più preoccupante è che gli algoritmi non lasciano traccia di azioni concertate - imparano a colludere puramente per tentativi ed errori, senza alcuna conoscenza preliminare dell'ambiente in cui operano, senza comunicare l'uno con l'altro, e senza essere specificamente progettati o istruiti colludere. Ciò rappresenta una vera sfida per la politica di concorrenza. Secondo gli autori del paper sono necessarie ulteriori ricerche prima di prendere in considerazione eventuali decisioni o contro mosse politiche. Tuttavia la richiesta di attenzione delle agenzie antitrust sembra essere ben fondata.

 

Orizzonti
Questo paper mostra ancora una volta in maniera lampante come ci si trovi in un cambiamento d'epoca. E come in ogni cambiamento d'epoca i termini e le parole iniziano a perdere aderenza sulla realtà. 

 

Parlando di algoritmi entra in crisi il concetto di proprietà: quando l’uomo ha cominciato a coltivare la terra ci siamo inventati una forma di diritto come la proprietà, con la rivoluzione industriale ci siamo inventati i brevetti e la proprietà intellettuale;  qui ci servono anche nuovi strumenti dal punto di vista del diritto per poter definire una forma di proprietà per gli algoritmi perché sono frutto dell’ingegno ma non possono rimanere scatole chiuse per poter garantire una reale trasparenza nel loro agire. 

 

Anche il concetto di personalità per agenti automatici viene messa in discussione.  L’idea di poter dare una cittadinanza a un robot è un’idea molto più orientale che occidentale, l’ideale della personalità giuridica invece è molto più funzionale all’Occidente, soprattutto se vogliamo scaricare la responsabilità delle decisioni prese dalle macchine. A livello europeo perché ci si chiede se questa macchina “autonoma” non dovrebbe avere un qualche statuto giuridico, questo per capire che tipo di responsabilità ha anche nel suo agire. Qualcuno propone di creare una “personalità robotica” così possiamo assicurare questi agenti e eventuali danni saranno risarciti dalle compagnie assicurative. Qualcun altro invece sostiene che così facendo si finisce per scaricare i produttori da ogni responsabilità lasciando ogni peso sugli utilizzatori. 

 

Infine anche l'etica ora è chiamata a cambiare. Non basta un etica che coinvolga solo la coscienza degli umani. Serve un etica che sappia essere decodificata e attuata dalle macchine, serve un algor-etica. Solo da questa poi si potrà dare forma a nuove istanze del diritto e della legge ad opera di un'adeguata e formata classe politica.

Share on Facebook
Share on Twitter
Please reload