Palantir vede tutto, ma con quali occhi? Riflessioni sulla necessità di un’AI etica

a cura di Rosie Audino, esperta in filosofia e comunicazione della scienza e della salute

Il caso Palantir Technologies ci porta al cuore del dibattito sull’intelligenza artificiale contemporanea: non si tratta più di chiedersi se queste tecnologie debbano esistere, ma come renderle etiche, trasparenti e inclusive. Sistemi di questo tipo, infatti, non si limitano a leggere dati o fare previsioni: intervengono sempre più spesso nella realtà operativa, influenzando decisioni sanitarie, logistiche e amministrative. 

Nell’ultimo periodo Palantir Technologies, tra le aziende più influenti nel settore dell’analisi dei dati per governi e grandi organizzazioni, è tornata al centro del dibattito pubblico dopo la pubblicazione del proprio manifesto etico. Il passaggio più discusso riguarda l’idea che, in un contesto globale sempre più complesso e instabile, sistemi tecnologici avanzati possano assumere un ruolo centrale nei processi decisionali, non sostituendo la politica ma affiancandola con strumenti basati sui dati, considerati più rapidi ed efficienti rispetto ai tradizionali processi deliberativi. La tecnologia sviluppata da Palantir non è soltanto predittiva: è anche operativa. Può supportare decisioni in tempo reale integrando enormi quantità di informazioni eterogenee. In un contesto pandemico, ad esempio, una piattaforma di questo tipo può combinare dati epidemiologici, mobilità della popolazione, disponibilità di posti letto e capacità ospedaliere per prevedere sovraccarichi, ottimizzare risorse e migliorare la distribuzione di vaccini e personale sanitario. Il vantaggio è evidente: nelle emergenze, la velocità decisionale può avere un impatto diretto sulla salvaguardia delle vite umane. Proprio questa capacità, però, apre anche interrogativi profondi: affidare sempre più potere decisionale a infrastrutture tecnologiche significa concentrare nelle mani di pochi soggetti privati strumenti capaci non solo di leggere la realtà, ma anche di orientarla. Non è un caso che il nome richiami le Palantír, la pietra veggente, del Signore degli anelli, le sfere che permettono di osservare eventi lontani e possibili futuri. Ma la loro caratteristica fondamentale è l’ambiguità: non esiste una visione neutrale, perché ciò che appare dipende sempre da chi guarda e da chi influenza la visione dall’altro lato. È una metafora potente perché introduce un punto chiave: anche i sistemi algoritmici non si limitano a registrare la realtà, ma la interpretano attraverso strutture costruite dall’uomo. 

Come al solito Kant l’aveva già previsto 

Ed è qui che entra in gioco Immanuel Kant. Sì, lo so: qualcuno a questo punto ha già iniziato a scrollare su IG. Ma il concetto è sorprendentemente attuale. Per Kant noi non conosciamo mai la realtà “in sé” (noumeno), ma solo il fenomeno, cioè la realtà così come ci appare attraverso le strutture della nostra mente: spazio, tempo e categorie come causalità. Detto in modo semplice: la realtà non è mai accessibile in forma pura, ma sempre filtrata. L’esempio dei folletti aiuta molto. Se in questa stanza ci fossero dei folletti con sensi e strutture mentali diverse dalle nostre, probabilmente vedrebbero lo stesso tavolo in modo completamente differente. Non perché uno abbia ragione e l’altro torto, ma perché diversa sarebbe la struttura attraverso cui interpretano il mondo. Ed è qui che Kant diventa attuale. Anche gli algoritmi non osservano il mondo in modo neutrale: lo leggono attraverso dati, categorie e modelli progettati da esseri umani. Nel caso dei sistemi digitali, però, questi “filtri” non sono universali come nelle strutture cognitive umane, ma sono incorporati direttamente nell’architettura del software. E la domanda diventa inevitabile: chi definisce queste categorie?

Il layer sul mondo reale

Palantir Technologies utilizza i grafi di dati, una modalità di rappresentazione che organizza le informazioni come una rete di nodi e connessioni. I nodi rappresentano elementi (persone, ospedali, farmaci, eventi), mentre i collegamenti descrivono le relazioni tra questi elementi. Questa struttura consente di passare da dati isolati a una vera e propria rete dinamica, una “mappa delle relazioni” del sistema osservato. In ambito sanitario, ad esempio, permette di integrare informazioni provenienti da ospedali, laboratori e pronto soccorso, creando una visione unificata e aggiornata in tempo reale. Per esempio, durante la pandemia di COVID-19, questi sistemi sono stati utilizzati per monitorare la diffusione dei contagi, prevedere la pressione sugli ospedali e supportare la gestione delle risorse sanitarie. Come si evince, il sistema non si limita a raccogliere informazioni: attribuisce rilevanza alle connessioni, rendendo alcune relazioni più visibili e influenti di altre nei processi decisionali.

L’algoritmo non è neutro

Ed eccolo finalmente: lui, gli si dedicano articoli, tesi, arringhe e perfino lettere d’amore. Sì, avete capito bene: l’algoritmo. L’insieme di istruzioni matematiche che permette di analizzare grandi quantità di dati e individuare pattern, cioè schemi ricorrenti che emergono solo quando si osservano molte informazioni insieme. Questi pattern si formano attraverso l’addestramento su grandi volumi di dati: più esempi il sistema analizza, più impara quali associazioni tendono a ripetersi. Il punto critico come potete immaginare sono i dati. I problemi principali sono due: la mancanza di dati, quando alcune categorie sono poco rappresentate; e i dati distorti, quando le informazioni riflettono pregiudizi, errori o pratiche storicamente sbilanciate. 

Invisibilità algoritmica

Se vi siete persə i nostri articoli sul tema, vi consigliamo di recuperarli sul nostro blog (Blog Geen | Salute, tecnologia e innovazione equa, efficace ed efficiente): storicamente, molti trial clinici sono stati condotti soprattutto su uomini e su popolazioni occidentali o maggioritarie, con una rappresentazione limitata di donne e minoranze etniche. Questo genera una doppia conseguenza: da un lato mancano dati per alcuni gruppi, dall’altro i dati esistenti possono essere distorti. Per esempio, alcune patologie cardiovascolari nelle donne sono state a lungo sotto diagnosticate perché i sintomi “tipici” erano costruiti su modelli maschili. In questo caso non manca il dato, ma manca una rappresentazione corretta del fenomeno. Un algoritmo addestrato su queste informazioni rischia quindi di replicare queste distorsioni, riducendo l’accuratezza diagnostica. Allo stesso modo, condizioni cliniche meno rappresentate nei dataset relativi a minoranze possono essere sottovalutate o interpretate come meno probabili. Il risultato non è solo un errore tecnico, ma una riduzione della visibilità statistica di interi gruppi. Quando questi sistemi vengono utilizzati per triage, priorità o allocazione delle risorse, il rischio è che tali distorsioni si traducano in effetti concreti sulla qualità delle cure. In altre parole, la tecnologia rischia di scalare, cioè di rendere sistemiche queste disuguaglianze. 

Una rappresentazione fedele della realtà è possibile 

‍

Come abbiamo detto, la tecnologia non si limita a leggere la realtà: la ricostruisce a partire dai dati disponibili. Ma proprio qui nasce il punto critico, se i dati non sono rappresentativi, anche la realtà che il sistema restituisce sarà inevitabilmente incompleta, perché alcune persone o categorie rischiano di restare fuori dal modello. Noi di Geen.ai abbiamo fatto nostro questo messaggio e abbiamo sviluppato un approccio di “inclusivity by design”, in cui la qualità della rappresentazione dei dati è centrale. L’idea è che solo dati davvero rappresentativi permettono di costruire una visione della realtà sanitaria che includa tutti e tutte, senza esclusioni implicite. Strutturando i dati in modo sensibile alle differenze di genere, cliniche e socio-demografiche, il sistema riesce a restituire una fotografia più completa della popolazione. Il risultato non è solo tecnico: è clinico ed etico insieme. Una rappresentazione più fedele della realtà significa infatti ridurre il rischio di amplificare disuguaglianze e garantire percorsi di cura più equi e accurati per tutte le persone. 

‍

BIBLIOGRAFIA: 

Palantir posts mini-manifesto denouncing inclusivity and ‘regressive’ cultures | TechCrunch 

Palantir e il governo dei dati: come gli algoritmi ridefiniscono la realtà | Scienza in rete 

Palantir: con Policlinico Gemelli per sviluppo medicina digitale e Data Science - Il Sole 24 ORE 

Palantir’s NHS England contract ‘opens door to government abuse of power’, health bosses told | Palantir | The Guardian 

‍

‍