AI razziste? Google e i toni della pelle

Dopo il licenziamento nel 2020 di Timnit Gebru responsabile del team Ethical AI di Google/Alphabet numerose critiche da diverse associazioni per l'inclusione sociale e numerosi ricercatori nel campo dell'AI hanno lasciato il colosso di Mountain View. La scorsa settimana in un annuncio alla annuale conferenza I/O per gli sviluppatori, Google ha detto che un nuovo sistema con dieci toni della pelle rimodelleranno l'approccio dell'azienda all'IA. Per anni l'industria tecnologica si è affidata a una scala di sei tonalità per classificare i toni della pelle. L'alternativa open source del gigante della ricerca potrebbe cambiare le cose. Ma basterà del codice a compensare le ingiustizie? La brutta vicenda del licenziamento di Gebru e le ombre che ne derivano sono problemi solo di software o di cultura aziendale?

---

Uno dei problemi che affligge le intelligenze artificiali sono degli errori sistematici di valutazione che possono produrre giudizi sulle persone assimilabili a dei veri e propri pregiudizi umani. La macchina formula una decisione non per parametri significativi come, per esempio, i titoli di studio, i dati sanitari o il reddito ma per elementi pregiudizievoli come il sesso, la zona di residenza, la nazionalità.

Questi errori, in inglese bias, possono portare a delle vere e proprie forme di ingiustizia sociale se non previsti e controllati. In particolare, un errore particolarmente grave, per la lunga storia di razzismo dei secoli passati, è quello connesso al colore della pelle. Per anni le aziende tecnologiche si sono affidate alla cosiddetta scala Fitzpatrick per classificare i toni della pelle per i loro algoritmi di visione computerizzata. Progettato originariamente per i dermatologi negli anni '70, il sistema comprende solo sei tonalità di pelle, una possibile causa dei ben documentati fallimenti dell'intelligenza artificiale nell'identificazione delle persone di colore.

La scorsa settimana Google ha annunciato che sta iniziando a incorporare uno standard di dieci toni di pelle in tutti i suoi prodotti, chiamato scala Monk Skin Tone (MST), da Google Search Images a Google Photos e oltre. Questo sviluppo ha il potenziale di ridurre i bias nei set di dati utilizzati per addestrare l'intelligenza artificiale in qualsiasi ambito, dall'assistenza sanitaria alla moderazione dei contenuti.

Google ha segnalato per la prima volta l'intenzione di andare oltre la scala Fitzpatrick lo scorso anno. Internamente, il progetto risale a uno sforzo dell'estate 2020 di quattro donne di colore di Google per far sì che l'IA "funzioni meglio per le persone di colore", secondo un thread su Twitter di Xango Eyeé, product manager responsabile dell'IA dell'azienda. Alla conferenza Google I/O di quest’anno, svoltasi nella seconda settimana di maggio, l'azienda ha illustrato l'impatto che il nuovo sistema potrebbe avere sui suoi numerosi prodotti. Google renderà inoltre open source l'MST, il che significa che potrebbe sostituire Fitzpatrick come standard industriale per la valutazione della correttezza delle telecamere e dei sistemi di visione computerizzata.

Se Google dovesse adottare la scala dei dieci toni della pelle in tutte le sue linee di prodotti, ciò potrebbe avere implicazioni per una valutazione equa degli algoritmi utilizzati nei risultati di ricerca di Google, negli smartphone Pixel, negli algoritmi di classificazione di YouTube, nelle auto a guida autonoma Waymo e altro ancora.

La scala cromatica codificata fino ad oggi nella tecnologia può portare a risultati poco dignitosi per le persone con la pelle scura, come ad esempio Google Foto che etichetta erroneamente le foto di persone di colore come gorilla, distributori di sapone razzisti e immagini stereotipate generate automaticamente. Un algoritmo sviluppato da Google per identificare le lesioni non includeva le persone con la pelle scura. È stato riscontrato che i sistemi di guida autonoma identificano le persone con la pelle scura in modo molto meno affidabile rispetto a quelle con la pelle bianca. La cosa più famosa è che un documento di ricerca del 2018, di cui è stato coautore l'ex responsabile del team Ethical AI Timnit Gebru, ha concluso che gli algoritmi di riconoscimento facciale realizzati dalle principali aziende hanno avuto risultati peggiori sulle donne con la pelle scura, un lavoro dettagliato nel documentario Coded Bias.

Dopo il licenziamento di Gebru da parte di Google alla fine del 2020, i gruppi Black in AI e Queer in AI si sono impegnati a non ricevere più fondi da Google e il rapporto sulla diversità dell'azienda del 2021 ha rilevato che i tassi di abbandono sono più alti tra le donne nere e native americane.

Non sappiamo se la scala di Monk produrrà gli effetti sperati nel software, quello che ci auguriamo è che l’eradicazione dei pregiudizi dal cuore dell’uomo non sia mai un compito delegato alla macchina ma passi da un impegno educativo globale.