• Paolo Benanti

Algoritmi, profilazione e tutela degli utenti vulnerabili: il caso Facebook


Secondo alcuni documenti connessi a procedimenti giuridici emersi recentemente, Facebook sarebbe stata a conoscenza che alcuni suoi utenti, dei bambini, spendevano ciecamente i soldi dei loro genitori su giochi online connessi alla piattaforma. I dirigenti dell'azienda pensavano a una soluzione, ma, stando a quanto emerso dai documenti, poi avrebbero deciso di non fare nulla per non diminuire le entrate.

I documenti, che provengono da una causa legale collettiva - una class action -, sono stati segnalati per la prima volta dal sito di notizie investigative Reveal. Il report di Reveal si fonda su oltre 135 pagine di documenti, tra cui dei memo interni di Facebook dal 2010 al 2014. L'analisi mostra come emerga una strategia chiara: l'azienda avrebbe deliberatamente scelto di non aiutare i genitori a interrompere la spesa dei loro figli fatta con acquisti ingannevoli o ad ottenere indietro i loro soldi.

Per focalizzare il problema dobbiamo ritornare ai fatti dell'epoca. Il problema inizia con giochi come Angry Birds di Rovio, PetVille di Zynga e Ninja Saga di Emagist Entertainment. Questi sono tutti giochi che seguono un business model che da allora è collaudato e molto diffuso: sono gratuiti per il download, ma sono costruiti in modo da offrire situazioni in cui è possibile spendere soldi per avanzare nel gioco. Questi pagamenti - torniamo a dire reali - sono pensati per apparire come degli oggetti all'interno del gioco, ed è estremamente facile per un bambino non rendersi conto di quello che sta facendo quando fa click nel gioco per continuare la sua partita.

Come dicevamo questo è un modello di business noto da anni. Gli effetti sono stati più volti portati all'attenzione dei media. Fece scalpore nel 2015 quando l'attore Jack Black, partecipando al The Tonight Show, raccontò che suo figlio aveva speso, senza rendersene conto, 3.000 euro per tali acquisti.

Tornando ai dati, ci sono documenti che mostrano come alcuni bambini abbiano speso 6.500 dollari con questa formula. Il sistema prende nome, tra gli sviluppatori, di modello con acquisti in-game.

Le carte analizzate da Reveal mostrano degli elementi che meritano di essere analizzati. Facebook ha iniziato ad indicare internamente questi utenti - bambini ad alto profilo di spesa -, riferendosi ai bambini con un linguaggio tipico dei casinò per i clienti ad alta spesa: erano "balene" - whales -. I loro acquisti sono invece classificati come "frode amichevole". Dai carteggi emerge anche che le lamentele dei genitori sarebbero rimaste inascoltate dal gigante dei social network, costringendole a passare attraverso agenzie come il Better Business Bureau o addirittura a pagare pesanti commissioni di chargeback alle società di carte di credito per recuperare parte dei loro soldi.

Di fatto Facebook ha profilato i bambini come giocatori seriali e ha deciso non solo di non tutelare i giovani utenti ma addirittura di utilizzare questo dato per aumentare i profitti.

Dalle carte emergerebbe che nel 2011 un dipendente di Facebook di nome Tara Stewart avrebbe iniziato a cercare delle vie su come prevenire questi pagamenti. "Non sembra che appaia sempre come del "vero" denaro agli occhi di un minore", ha osservato.

Secondo i documenti del tribunale, Stewart e il suo team hanno deciso di richiedere una carta di credito per ogni acquisto: l'acquirente avrebbe dovuto inserire le prime sei cifre della propria carta prima che la vendita fosse completata. Il sistema sembrava funzionare guardando alle richieste dei genitori di rimborsi e riaddebiti per chargeback. Definendo il sistema un buon "primo passo", Stewart ha notato che "costringe il minore a dimostrare di essere in possesso della carta di credito".

Ma le indagini di Stewart hanno anche dimostrato che questo sistema sarebbe costato una decurtazione notevole degli introiti a Facebook. Un precedente studio interno aveva mostrato che in un periodo di tre mesi, dal 12 ottobre 2010 al 12 gennaio 2011, i bambini avevano speso 3,6 milioni di dollari in questi giochi. Da quello che sappiamo il sistema di Stewart non è stato mai implementato.

I rapporti di Reveal, che vale la pena di leggere per intero, indagano in modo approfondito su come queste aziende nascondessero gli acquisti da bambini e genitori allo stesso modo, solo per farglieli trovare successivamente sulla bolletta telefonica. Questa modalità è andata avanti fino a un'accordo extragiudiziale del 2016.

"Facebook collabora con genitori ed esperti per offrire strumenti per le famiglie che navigano su Facebook e sul web", ha detto la società in un comunicato. "Come parte di questo lavoro, esaminiamo regolarmente le nostre pratiche e nel 2016 abbiamo concordato di aggiornare i nostri termini e fornire risorse dedicate per le richieste di rimborso relative agli acquisti effettuati da minori su Facebook".

Questa storia potrebbe essere un caso dei tanti che si aggiungono alla tutela dei consumatori. Forse però ci sono una serie di elementi che vale la pena di mettere in evidenza.

Una prima questione riguarda il meccanismo di fondo che emerge da parte del colosso dei social: la profilazione. Per profilazione dell'utente si intende correntemente l'insieme di attività di raccolta ed elaborazione dei dati inerenti agli utenti di servizi (pubblici o privati, richiesti o forzosi) per suddividere l'utenza in gruppi di comportamento.In ambito commerciale, la profilazione dell'utente è uno strumento del cosiddetto marketing mirato, che fa ampio uso di questa e altre tecniche per ottenere accurate analisi dei potenziali clienti, operando spesso al limite del legalmente consentito, quando non oltre.

La massiccia diffusione delle TIC, di Internet e il crescente uso delle reti sociali hanno aumentato e semplificato l'attività di profilazione degli utenti. Un esempio concreto è rappresentato dal pulsante "mi piace" di Facebook: il suo uso, analizzato alla luce di appositi algoritmi, consente di profilare gli utenti del servizio, raffinandone le identità digitali.

Oggi che siamo tutti profilati e soggetti alle Analytics che utilizzano algoritmi che interpretano il nostro profilo di preferenze e di comportamento per inserirci in categorie, finalmente gli utenti cominciamo ad avere sempre più perplessità, quasi un rigetto per la profilazione. La vera novità è che dopo un lunghissimo periodo in cui i social network hanno perpetrato uno sfruttamento intensivo per finalità di business della conoscenza delle abitudini, dei gusti, delle preferenze e perfino degli spostamenti degli utenti (e delle organizzazioni), nell'ultimo anno ci sono dei segnali di discontinuità rispetto al passato.

Quali sono?

Per esempio negli Stati Uniti un’importante multinazionale come la Mattel si è vista costretta a ritirare il lancio di un prodotto innovativo come Aristotle, il primo assistente virtuale pensato per i piccoli di casa, a causa delle proteste e delle accuse di rischio di invasione della privacy dei bambini e di una profilazione inconsapevole dei minori e delle loro famiglie. Un’inversione di tendenza storica. Altro esempio significativo è ciò che è avvenuto in Germania con l’Autorità Garante delle Telecomunicazioni che ha messo al bando Cayla, una bambola interattiva, perché questo giocattolo in realtà rappresentava un dispositivo in grado di registrare e trasmettere dati personali e conversazioni private in modo occulto, violando la locale legge nazionale sulle telecomunicazioni. Ma oltre a questo, poteva profilare le preferenze dei bambini e dei loro genitori (sul cibo, sui vestiti, sui cartoni animati, sui giocattoli, ecc.).

La profilazione consiste nell’operazione di gestione, grazie a strumenti software automatici, di enormi masse di dati personali degli utenti e di applicazione di algoritmi che identificano e segmentano le identità reali delle persone in identità potenziali e astratte, a ciascuna delle quali si possono attribuire caratteristiche specifiche, gusti e preferenze e si associano, infine, previsioni di comportamento e preferenze di acquisto o di tendenza sociale.

L’effetto di questa attività è che ad un individuo verranno associate, in modo del tutto inconsapevole e senza il suo consenso, previsioni mirate che tratteggiano un’identità digitale magari completamente fuorviante rispetto alla realtà. Dati sensibili come quelli anagrafici, genetici, sanitari, comportamentali, insomma tutto lo scibile di un individuo potrebbe essere soggetto alla profilazione digitale, ingabbiando la sua identità.E potrebbe capitare che un istituto di credito potrebbe arrivare a negare un prestito o l’incremento di un fido ad un interessato solo perché convinta della sua inaffidabilità, frutto di una profilazione errata.

In questo caso i social network profilano gli utenti, dei bambini e hanno il potere di ingabbiarli in percorsi che massimizzano i guadagni forzandoli con meccanismi di natura emotiva - tutte le dinamiche del gioco - a giocare per fare cassa. In altri termini i bambini

Gli algoritmi predittivi diventano, però, anche produttivi di una realtà.

I bambini sono non solo l'oggetto di questo meccanismo e modello di business ma un vero e proprio laboratorio dove poter sperimentare la forza degli algoritmi di profilazione e il funzionamento dei meccanismi emotivi-cognitivi delle user experience.

Il sempre maggior numero di casi in cui soggetti digitali con enorme potenza forzano soggetti vulnerabili ci porta a pensare che questo sbilanciamento di potere necessita di nuove tutele e nuove garanzie, specie per le fasce più deboli e indifese della popolazione digitale.

Infine dobbiamo chiederci se possiamo pensare ancora a un ambiente neutrale in cui si consumino relazioni virtuali tra utenti e platform. Gli episodi che emergono ci fanno capire che l'algoritmo, inteso come sottostrato che rende possibile le interazioni nel virtuale non è neutrale e come tale va valutato, bilanciato e regolato.

Sempre con più urgenza abbiamo bisogno di un algor-etica.


0 visualizzazioni