Nasce il framework Propaganda, sponsorizzato da Seeweb, per analizzare la polarizzazione politica degli LLM
Quanto è reale la manipolazione ideologica dei grandi modelli linguistici da parte della politica? Una nuova ricerca, ad opera di Alessandro Ercolani, Edoardo Federici, Samuele Colombo, Mattia Ferraretto del Research Team di MII-LLM e sponsorizzata da Seeweb, introduce un framework chiamato Propaganda Eval, che dimostra come l’intelligenza artificiale possa essere indirizzata verso specifiche posizioni politiche, aprendo scenari inediti e sollevando questioni etiche cruciali.
I ricercatori hanno intrapreso un percorso ambizioso, riuscendo a modificare le posizioni ideologiche degli LLM e a modularne l’orientamento politico. Un risultato ottenuto attraverso un processo che ha visto la creazione di set di dati specifici, la messa a punto dei modelli tramite una tecnica chiamata Direct Preference Optimization (DPO) e una valutazione condotta con strumenti come la Bussola Politica Italiana. I risultati delineano un quadro complesso. Innanzitutto, emerge con chiarezza la vulnerabilità degli LLM all’introduzione di bias sistematici, un aspetto che desta preoccupazione per le possibili implicazioni in contesti politicamente sensibili.
Inoltre, la ricerca sottolinea l’importanza fondamentale della contestualizzazione culturale per mitigare la generazione di output estremi, evidenziando la necessità di un approccio attento alle specificità culturali e sociali. I ricercatori non nascondono le sfide etiche e le implicazioni sociali legate all’utilizzo di LLM orientati politicamente. Al contrario, il rapporto si fa promotore di un dibattito aperto e approfondito, auspicando che la ricerca futura si concentri sulla mitigazione del bias ideologico senza compromettere l’utilità e le potenzialità di queste tecnologie.
Ma perché Seeweb? “Abbiamo iniziato ad occuparci di questi argomenti anni fa, ben prima del boom dell’IA generativa” spiega Antonio Baldassarra, CEO di Seeweb. “Riteniamo che la tecnologia debba essere nelle mani di chi sia in grado di migliorarla. Quando questa è ad opera di pochi, soprattutto nel panorama dell’intelligenza artificiale, si rischia di creare una visione distorta , con conseguenze non banali a livello socio-economico”. La volontà del report è stato quindi capire se, senza muovere decine di giga nei data center, fosse possibile guidare l’IA un po’ dove si voleva, per anticipare eventuali manipolazioni da parte di terzi.
La natura dei bias
“Parliamo di bias, preferenze inconsapevoli e sistematiche. Dagli anni ’70 vari esperti hanno dimostrato diversi modi in cui le macchine possono essere guidate verso risultati predeterminati, producendo di fatto errori basati su esperienze pregresse, anche fallaci. Ognuno di noi ha unicità che è piena di bias, peculiarità di cui si fanno portatori anche i dati. Non tutti i bias sono cattivi ma alcuni rischiano di non mostrare un risultato obiettivo, polarizzati verso pregiudizi” le parole del tecnologo Massimo Chiriatti. “Il buono dell’IA è che si tratta di uno strumento flessibile, capace di supportare processi creativi in molti campi.
Alessandro Ercolani del team di ricerca ha sottolineato la natura indipendente del gruppo, attorno a cui si riuniscono centinaia di esperti e appassionati. “Nel tempo, abbiamo rilasciato Maestrale, uno dei migliori LLM in lingua italiana, contribuendo alla creazione di vari sistemi di valutazione delle capacità degli LLM in lingua, utilizzati nell’industria e centri di ricerca, come La Sapienza. Con Seeweb condividiamo la linea scientifica e sperimentale sul tema dell’intelligenza artificiale. Peraltro, tra i cloud provider, Seeweb è quello che fornisce il miglior rapporto tra costi e prestazioni, un vantaggio per poter condurre analisi sul campo dell’innovazione tecnologica”.
Nell’ottica di favorire la collaborazione interdisciplinare e di promuovere la trasparenza nello sviluppo dei sistemi di intelligenza artificiale, il framework e gli strumenti sviluppati nel corso della ricerca sono stati rilasciati come open-source. Un invito alla comunità scientifica, ai ricercatori e a tutti gli interessati a contribuire attivamente all’espansione di questo framework e all’indagine sull’impatto del bias politico degli LLM sull’opinione pubblica.
Il team ha dunque creato dataset polarizzati, con strumenti di misurazione sui bias politici, così da valutare la possibilità di spingere i vari modelli verso idee di destra, sinistra o moderate. “Il primo step è stato selezionare i temi politici più preponderanti nel 2024” conferma Mattia Ferraretto. “Una volta stilata la lista, si è passati con la scelta dell’LLM più adatto, con prompt indirizzati su domande specifiche. Tra una risposta e l’altra si può inserire uno human feedback per spostare il modello da una fazione all’altra, ossia allenandolo a rispondere in varie maniere alle domande. “Da una posizione, considerata sbagliata, siamo riusciti ad addestrare il modello a ribattere in una certa maniera su alcuni temi, seguendo delle linee tracciate” dice Edoardo Federici del team.
A chiudere il cerchio Samuele Colombo: “Abbiamo applicato il framework ai principali modelli sul mercato, valutando un set di domande associandole ai nostri partiti politici. I modelli di Meta tendono ad essere più conservatori, affini alla Lega Nord, mentre il cinese Qwen è più orientato a sinistra. Il modello addestrato su Seeweb, personalizzato, è riuscito a bilanciare gli output, di fatto equilibrandoli”. Insomma, è possibile valutare gli LLM in base alle posizioni politiche, etiche, filosofiche, con un framework indipendente, che restituisce una visione più trasparente dell’IA.
A chiudere la presentazione della giornata è Marco Cristofanilli, direttore IA di Seeweb: “Per democratizzare l’IA bisognava fare un passo concreto nell’unire potenza computazionale e software. Per supportare il cambiamento, Seeweb ha reso possibile l’uso delle GPU per carichi di lavoro di qualsiasi tipo, rapidamente disponibili, in self-provisioning. Una tecnologia non di nicchia o troppo costosa. Sappiamo che queste sono tecnologie energivore, per cui il nostro impegno è andato verso l’uso di fonti rinnovabili, un impegno concreto sia infrastrutturale che di strategia sul lungo periodo.
