Dagli attacchi semantici alla manipolazione dei modelli: le minacce all’intelligenza artificiale sono invisibili ma letali. Il paradosso dell’AI tra efficienza e rischio sistemico. Dati, algoritmi e governance. Non basta implementare l’AI, bisogna difenderla. La partita della sicurezza non si vince da soli
L’intelligenza artificiale è ormai il plus di qualsiasi software aziendale: dagli ERP ai CRM, dagli antivirus ai sistemi di business intelligence. Se un tempo bastava aggiornare un firewall per sentirsi al sicuro, oggi la questione è molto più complicata. Perché non solo l’AI e il machine learning sono integrati in tutto ciò che utilizziamo a livello professionale, ma li portiamo con noi anche nella vita di tutti i giorni. Chi non ha mai chiesto un consiglio a ChatGPT, delegato una ricerca a Gemini o messo alla prova DeepSeek? Eppure, mentre affidiamo all’AI analisi, decisioni e perfino parte della nostra creatività, una domanda resta sospesa: chi protegge queste intelligenze artificiali dai tentativi di manipolazione, sabotaggio o furto? Se un hacker può corrompere i dati di addestramento, far deragliare un modello predittivo o persino sottrarre un’intera rete neurale, la sicurezza dell’AI diventa una questione di sopravvivenza per le aziende.
NON BASTA CHE FUNZIONI
L’intelligenza artificiale è il nuovo olio di palma. Si adatta a ogni sollecitazione, si lega con tutto e la maggior parte di noi gradualmente dimentica in quante occasioni la utilizza. Eppure sotto al cofano di tantissimi software – dall’antivirus al gestionale, dall’ERP al programma di contabilità – sono depositati strati robusti di AI e machine learning che come un plotone di impiegati invisibili e silenziosi lavorano instancabilmente dietro le quinte. Sempre di più, usiamo e beneficiamo di queste innovazioni passando oltre, convinti che il salto di produttività ed efficienza siano tutto merito nostro. Sappiamo bene che invece queste tecnologie meritano più di una riflessione. A partire da un piccolo dettaglio che spesso ci sfugge. Anche l’AI ha bisogno di protezione: non basta che funzioni, deve farlo in modo sicuro, perché se crolla, crollano a cascata integrità dei dati, continuità operativa e competitività aziendale.
Ma cosa significa esattamente difendere un software che sfrutta l’AI? Proteggere questi sistemi significa blindare l’integrità dei loro processi, la riservatezza dei dati che gestiscono e la loro affidabilità operativa. Tenere cioè al sicuro quei “cervelli” che ogni giorno analizzano montagne di dati, prendono decisioni in tempo reale e contribuiscono al funzionamento del motore delle aziende. Prendiamo in considerazione sistemi come SAP, Oracle NetSuite e Microsoft Dynamics, veri e propri motori operativi delle aziende. Comprometterli è il sogno proibito di ogni hacker perché significa mettere le mani su dati sensibili, personali, finanziari, segreti aziendali e interrompere operazioni aziendali, produzione, e così via. L’AI infatti si basa su algoritmi e dati di addestramento che se corrotti o manipolati possono far sì che il software inizi a funzionare in modo errato, inducendolo a prendere decisioni sbagliate, e trasformandosi così in un’arma letale nelle mani dei malintenzionati. Per esempio, un antivirus la cui base dati fosse “avvelenata” potrebbe non riconoscere più i malware o, peggio, identificare erroneamente file sicuri come minacce. Proteggere questi sistemi significa proteggere anche i dati utilizzati per l’addestramento e il funzionamento degli algoritmi. Non un compito banale. Soprattutto in un contesto nel quale anche un solo errore può costare caro. L’intelligenza artificiale è il motore operativo di molti servizi critici. Basta un’interruzione, ed ecco che arrivano perdita di dati, danni reputazionali e rosso sul bilancio. Certo. Ma chi dovrebbe occuparsene? I vendor certamente, che devono costruire software sicuri. Ma anche le aziende, che devono mantenerli protetti e aggiornati. Perché quando si tratta di tecnologie strategiche, lasciarle incustodite è come lasciare le chiavi di casa sotto lo zerbino.
PROTEGGERE L’AI
La sicurezza non si improvvisa, si progetta. Ma da dove si inizia a proteggere un software? Semplice. Dalla culla. Cioè sin dalla fase di progettazione. Anche per i componenti di intelligenza artificiale e machine learning integrati nelle loro soluzioni, i vendor devono adottare un approccio “security by design”. Ma quali sfide comporta l’integrazione della sicurezza in ogni fase del ciclo di vita del software?
Un sistema di AI è diverso da un sistema software generale perché i suoi algoritmi non codificano “cosa fare per risolvere un certo problema” ma “cosa fare per imparare a risolvere un certo problema” – spiega Corrado Giustozzi che fa parte del Comitato direttivo di CLUSIT. «Il comportamento di un sistema di AI non dipende dalle regole di apprendimento ma dall’esperienza acquisita su dati di training o su dati reali. La sicurezza “by design” quindi non può limitarsi alla progettazione e implementazione di algoritmi di inferenza corretti e robusti, ma deve prendere in considerazione anche la fase di addestramento del sistema e la sua interazione con gli utenti e con i reali dati di esercizio. Gli attacchi tipici contro i sistemi di AI non sono attacchi cyber in quanto non sono rivolti contro la struttura informatica che ospita il sistema. Sono attacchi semantici che sfruttano gli stessi dati di input, opportunamente manipolati dall’attaccante, come vettori di attacco».
ANALISI DEI RISCHI MIRATA
Niente ritocchi last minute e toppe sparse qua e là. La sicurezza deve essere il filo rosso che attraversa ogni fase del ciclo di vita del software dall’idea al prodotto finito. Perciò non basta una generica analisi dei rischi. Serve condurre un’analisi mirata alle minacce specifiche per AI e ML. Prendiamo l’avvelenamento dei dati, una tecnica di attacco che mira a corrompere i dati sui quali si addestrano i sistemi AI. Non è difficile immaginare quali conseguenze potrebbe avere il proprio modello AI addestrato su informazioni manipolate. Le domande chiave da porsi in questo caso sono: da dove provengono i dati? Sono integri? Quali controlli devo implementare per prevenire la loro manipolazione? Per esempio nel caso di un sistema AI che analizza i dati provenienti da una serie di sensori IoT, cosa succederebbe se un sensore compromesso iniziasse a trasmettere spazzatura, ossia dati errati, corrompendo il modello?
Un altro rischio è rappresentato dal pericolo di estrazione del modello utilizzato per addestrare i dati. Tradotto: qualcuno potrebbe rubare il “cervello” della nostra AI, frutto di anni di lavoro e milioni di euro investiti, per usarlo a proprio vantaggio. Anche in questo caso occorre porsi le domande appropriate: quanto è protetto il modello? Quali misure devo adottare per proteggerlo da furti o copie non autorizzate? Lasciare una cassaforte aperta, sperando che nessuno la noti è puro azzardo. Allo stesso modo, un’azienda che sviluppa un modello AI proprietario per la previsione delle vendite deve garantire che nessuno possa copiarlo indisturbato.
MODELLAZIONE DELLE MINACCE
La sfida è di elaborare una metodologia che permetta di identificare tutte le minacce attuali per l’AI/ML e progettare contromisure adeguate. «Trattandosi di attacchi semantici, gli approcci possibili si basano soprattutto sulla validazione o sanitizzazione dei dati di input prima che vengano elaborati dal sistema, per evitare che quest’ultimo cada per così dire nella trappola, oppure – in output – prima che il risultato venga emesso in risposta all’elaborazione richiesta, per identificare eventuali risultati anomali che potrebbero evidenziare anomalie sospette attribuibili a errori o attacchi» – spiega Giustozzi di CLUSIT.
Come? Per esempio cercando di identificare e bloccare, o analizzare più in profondità, input o output che risultino eccessivamente anomali dal punto di vista statistico rispetto alla “normalità” attesa. Anche le interazioni con l’utente, in particolare le richieste in input, devono essere analizzate e validate per riconoscere ed eludere richieste illecite, anomale o potenzialmente dannose per il corretto funzionamento del sistema. Attraverso l’analisi dei rischi – che comprende l’identificazione delle minacce, la valutazione dell’impatto sui sistemi AI/ML, l’individuazione delle difese da mettere in campo – occorre definire i requisiti di sicurezza che si traducono in una lista di condizioni che devono essere soddisfatte durante lo sviluppo del sistema AI per resistere agli attacchi. Per contrastare gli attacchi adversariali, si può puntare su un’arma preventiva come l’adversarial training, l’addestramento del modello a reagire positivamente anche in caso di dati manipolati. Mentre nel caso di un modello AI impiegato per il rilevamento di frodi, la sfida è di proteggere il sistema dalla manipolazione dei dati in ingresso, dall’esposizione di dati sensibili contenuti nei dataset e dai malfunzionamenti del modello causati da attacchi adversariali.
RESILIENZA E ADATTAMENTO
Poiché le minacce sono in rapida evoluzione occorre sviluppare una strategia che garantisca una resilienza a lungo termine e un’adattabilità continua ai nuovi scenari di attacco. Da un lato, il sistema deve essere progettato e costruito in modo da non accettare passivamente tutti gli input, ma validarli costantemente attraverso criteri semantici o statistici. Inoltre, deve essere addestrato su un insieme di dati più ampio del minimo necessario e testato su un numero di casi superiore allo stretto indispensabile, includendo anche scenari statisticamente lontani da quelli previsti per le normali condizioni di esercizio. Inoltre, deve verificare la coerenza dei propri output, evitando di fornire risultati se non affidabili.
«Dall’altro – prosegue Giustozzi di CLUSIT – gli sviluppatori del sistema devono mantenersi costantemente aggiornati sull’evoluzione delle minacce e, se necessario, integrare contromisure specifiche per contrastare attivamente quegli attacchi che la sola resilienza del sistema non sarebbe in grado di fronteggiare. Le soluzioni non mancano, ma vanno pensate perché dispieghino i loro effetti in modo integrato». I dati sensibili si possono proteggere con l’anonimizzazione. Tecniche come la Differential privacy aggiungono rumore statistico ai dati per proteggere la privacy senza compromettere l’accuratezza del modello. Ogni decisione presa dal modello AI deve essere tracciabile per garantire trasparenza e auditabilità. Inoltre, bisogna lavorare sulla salvaguardia della sicurezza del modello contro il furto o la copia. La crittografia supportata da hardware sicuro, come i moduli Trusted Platform Module, è la soluzione per blindare il sistema. Anche le scelte tecniche ovviamente giocano un ruolo importante. E questo si può tradurre nell’utilizzo di algoritmi e architetture AI note per essere più resistenti a determinate minacce, oppure di tecniche di Robust training o di Certified defenses per aumentare la resistenza agli attacchi adversarial. La sicurezza è un viaggio, non una destinazione, ma vale la pena intraprenderlo per fare dell’intelligenza artificiale uno strumento potente, affidabile e, pur nei limiti delle attuali conoscenze, sicuro.
LA PARTITA DELLA SICUREZZA
Sappiamo tutti che le piattaforme software non sono esattamente delle fortezze impenetrabili. Diciamo che ci provano. D’altra parte sarebbe assurdo il contrario, visto che parliamo di sistemi che custodiscono segreti aziendali e informazioni critiche. Prendiamo un ERP che di critico ha tutto ed è il cuore delle operazioni aziendali. La sua forza sta nella sicurezza integrata a più livelli. Chi accede e a cosa? Lo decide una gestione meticolosa di ruoli e autorizzazioni, che tiene lontano chi non deve vedere, fare o sapere. Le attività interne? Tutto è registrato, tracciato e monitorato in un audit log che non si fa sfuggire nulla. E quando i dati devono viaggiare, lo fanno sotto la protezione di protocolli sicuri. Gli sviluppatori di questi sistemi, tuttavia, sanno bene devono proteggere le piattaforme da tecniche sempre più sofisticate e per questo, come ogni altra piattaforma critica, gli ERP sono sistemi che prendono la sicurezza sul serio.
Tuttavia, per quanto ben progettata, nessuna architettura può garantire il mitico 100% di protezione: anche la più blindata necessita di strumenti integrati, aggiornamenti costanti e un occhio sempre vigile sulle nuove minacce. Per questo, anche aziende e organizzazioni dovranno impegnarsi per la sicurezza dei software che integrano l’AI. In primo luogo, perché ogni ambiente è un mondo a sé, con i suoi dati, le sue configurazioni e le sue vulnerabilità. Ed è impossibile per i vendor prevedere ogni contesto d’uso. In secondo luogo, perché l’AI si nutre di dati che spesso arrivano dalle aziende stesse. Se i dati usati per addestrare l’intelligenza artificiale non sono custoditi come si deve, il rischio è di avvelenare irreversibilmente i pozzi. Nessun sistema vive in una bolla: i software presenti in azienda devono dialogare con altri software e l’infrastruttura esistente. Se un malintenzionato compromette un server di posta o un database non protetto, può aprirsi un varco anche nel software più sicuro.
ERRORI E MINACCE INTERNE
Poi ci sono il fattore umano e le minacce interne. Due variabili che nessun vendor potrà mai controllare. Una password troppo debole, una configurazione sbagliata, un dipendente infedele o scontento possono vanificare anni di ricerca e sviluppo in sicurezza. L’AI in particolare nella sua versione generativa, insieme ai suoi indiscutibili benefici, porta con sé anche alcune sfide. Una di queste è la cosiddetta “Shadow AI” – spiega Giovanni Fiorino, product manager di Axitea. «L’utilizzo non autorizzato di strumenti di intelligenza artificiale da parte dei dipendenti potrebbe mettere a rischio la proprietà intellettuale dell’azienda. Fondamentale per il contenimento di questo rischio è l’adozione di adeguate misure di Data loss prevention (DLP) per impedire che i dati proprietari possano essere compromessi».
Strumenti come ChatGPT utilizzati autonomamente possono esporre i dati aziendali a violazioni, «un rischio che preoccupa il 58% delle organizzazioni e che l’80% dei leader individua come priorità assoluta» – avverte Tamara Zancan, direttore cybersecurity, compliance e identity di Microsoft Italia. Strategie implementate nelle soluzioni dei vendor garantiscono una resilienza a lungo termine e un’adattabilità continua ai nuovi scenari di attacco. «La nostra piattaforma fornisce capacità di cyber resilience grazie a una serie di funzionalità chiave» – afferma Alessio Stellati, regional sales director Italy di Rubrik. «I backup, immutabili, sono al sicuro dalla crittografia o dall’alterazione da parte di ransomware, insider malintenzionati o persino attacchi sofisticati basati sull’AI. Ciò garantisce l’integrità e la disponibilità dei dati, anche di fronte alle minacce più avanzate. Rubrik offre capacità di ripristino rapido, consentendo alle organizzazioni di identificare rapidamente i dati puliti e ripristinare le operazioni con tempi di inattività minimi. Ripristino – conclude Stellati – fondamentale per mitigare l’impatto degli attacchi che sfruttano l’AI generativa».
La sicurezza “alla fonte” non basta. Affidarsi unicamente a quella confezionata dal vendor è come comprare un’auto con l’ABS e pensare di poter guidare bendati. Se come si ripete spesso la sicurezza è un gioco di squadra, allora anche chi usa un software proprietario deve fare la sua parte. Mettere in campo le proprie difese e adattarle al proprio contesto. Anche se i vendor costruiscono una “casa” con le pareti solide e un ottimo sistema d’allarme, tocca alle aziende chiudere porte e finestre, attivare il sistema di sicurezza e controllare regolarmente che tutto sia in ordine. Ognuno deve fare la sua parte.
SICUREZZA DEI SISTEMI AI
L’AI generativa è un’arma a doppio taglio. In questo momento storico, quanti si stanno davvero chiedendo se sia una priorità proteggersi da un’intelligenza artificiale integrata nei software di uso quotidiano? Lo studio “Securing GenAI, what matters now”, pubblicato da IBM in collaborazione con AWS conferma che i responsabili delle organizzazioni esprimono preoccupazione circa l’utilizzo della GenAI – come ci spiega Raffaele Palombi, security leader di IBM Italia. «L’84% ritiene necessario adottare una GenAI che sia sicura e affidabile, preoccupati della imprevedibilità derivante dal suo utilizzo, ma solo il 24% ha messo in sicurezza o sta lavorando per mettere in sicurezza i propri progetti».
Eppure, l’AI è un ospite attivo, capace di apprendere, adattarsi e – se manipolato – anche tradire. Alcuni lo hanno già capito. I professionisti della cybersecurity, per esempio, scrutano questi nuovi orizzonti con un misto di entusiasmo e preoccupazione. Per loro, l’AI è una frontiera tecnologica e un rischio in agguato. Dai CISO che decidono le strategie aziendali ai penetration tester che giocano a fare i “ladri autorizzati”, molti si interrogano su come proteggerla e proteggerci.
«L’AI generativa se da un lato migliora la produttività, dall’altro, crea diversi rischi per la sicurezza, non ancora compresi in modo chiaro» – afferma Luca Maiocchi, country manager Italia di Proofpoint. «Sulla base del nostro report “Voice Of The CISO”, il 45% dei CISO italiani nel 2024 considera l’AI generativa un rischio per la sicurezza della propria azienda. Al tempo stesso, può rappresentare un importante elemento di difesa. Con l’80% degli intervistati che dichiara l’intenzione di implementare funzionalità basate sull’intelligenza artificiale per contribuire alla protezione da errori umani e minacce cyber avanzate incentrate sulla persona».
Per integrare in modo sicuro l’AI generativa, le aziende dovrebbero partire da un solido quadro di governance, definendo policy chiare sui modelli approvati, procedure di gestione dei dati e conformità alle normative di settore – sintetizza Bogdan Botezatu, direttore Threat Research and Reporting di Bitdefender. «Prima di implementare modelli pre-addestrati, è essenziale valutare attentamente i protocolli di sicurezza dei fornitori, condurre analisi approfondite dei rischi per garantire che i dati siano crittografati e protetti da adeguati controlli di accesso. Il monitoraggio continuo, audit regolari e la stretta collaborazione tra i team MLOps (Machine Learning Operations) e della sicurezza informatica sono fondamentali per prevenire vulnerabilità nei modelli, rilevare tempestivamente le anomalie e mantenere la conformità con standard e best practice».
Nel frattempo, le agenzie regolatrici iniziano a definire standard e linee guida, seppur con la lentezza che da sempre accompagna questi processi. E per noi utenti comuni? Diciamo che siamo ancora nella fase di metabolizzazione di alcuni concetti. Certo, la parola “deepfake” inizia a farsi strada, e ogni tanto qualcuno potrebbe domandarsi fino a che punto sia opportuno fidarsi delle previsioni del proprio assistente vocale. L’idea che l’AI possa essere manipolata è, per molti, un pensiero ancora lontano. Tuttavia, iniziare a lavorare su una maggiore consapevolezza dei rischi legati a queste tecnologie diventerà presto una priorità per tutte le organizzazioni. Con questa ambizione, IBM ha inaugurato a marzo 2024 la IBM Cyber Academy.
«Un luogo fisico nel centro di Roma, dove ospitare imprese, istituzioni, università e scuole con l’obiettivo di aumentare la consapevolezza circa il rischio cibernetico rispetto agli incidenti di sicurezza e all’utilizzo dell’AI, attraverso simulazioni e sessioni specifiche di training. Nel primo anno di attività supereremo l’obiettivo di formare 2200 professionisti» – spiega Palombi di IBM Italia. È fondamentale educare i team aziendali sulle implicazioni e i rischi dell’AI, affinché possano adottare pratiche sicure e responsabili nell’integrazione delle nuove tecnologie. «È importante conoscere quali dati si possono condividere e quali strumenti utilizzare in sicurezza» – dichiara Tamara Zancan di Microsoft Italia. «La formazione aiuta a sviluppare un approccio proattivo, promuovendo una cultura attenta alla protezione dei dati e all’uso responsabile delle tecnologie AI. In parallelo, la tecnologia supporta queste misure. Soluzioni come il Microsoft Purview Data Security Posture Management for AI offrono visibilità sull’uso dei dati nei prompt AI, individuando rischi e utilizzi non conformi. Solo combinando formazione mirata e strumenti avanzati è possibile mitigare i rischi, proteggere gli asset critici e garantire un’adozione sicura e conforme dell’AI generativa».
LA SICUREZZA È UN PROCESSO
Tiriamo le fila, ma con una sommessa dichiarazione di esonero da qualsiasi responsabilità. Non stiamo chiudendo un cerchio, al massimo tracciando un’ellisse. Perché il discorso sulla sicurezza dell’AI è tutt’altro che lineare e ancor meno definitivo. Domanda delle domande: “Perché l’AI non può essere sicura per natura e by design?” La risposta sta proprio nella natura stessa della tecnologia, che, come tutte le creature complesse, è tanto brillante quanto vulnerabile.
L’AI non è un oracolo infallibile, ma un sistema di probabilità, nutrito da dati spesso imperfetti e come abbiamo visto potenzialmente manipolabili. Si muove in una dimensione opaca, dove anche gli esperti faticano a distinguere un’innovazione da una falla. Pensiamo a una tela di Pollock. Affascinante, ma se si dovesse strappare, da dove inizieremmo a ripararla? Aggiungiamo che il campo di battaglia digitale evolve a una velocità che neanche Usain Bolt nei suoi giorni migliori potrebbe eguagliare. Ogni nuovo strumento di difesa genera una nuova tecnica di attacco, in una rincorsa senza fine.
Secondo studiosi e futurologi, in meno di dieci anni l’AI sarà in grado di automigliorarsi a velocità esponenziale, portandoci a confrontarci con scenari completamente inediti. Se questa previsione si avvererà, l’autocorrezione potrebbe diventare una routine. Ma è proprio qui che nascono le riflessioni più spinose. La sicurezza, l’etica e la governance dell’AI devono essere le nostre priorità già oggi. Forse, allora, è meglio diffidare dalle promesse di sicurezza assoluta, perché la tecnologia perfetta esiste solo nei romanzi di Asimov. Tuttavia, possiamo e dobbiamo puntare su un’AI in grado di resistere agli attacchi più sofisticati, sufficientemente trasparente, affidabile e integrata in un contesto di regole rigorose, standard condivisi e, soprattutto, di una maggiore consapevolezza e responsabilità, che coinvolgano tutti, ben oltre i livelli attuali. Anche per l’AI, la sicurezza sarà sempre un processo, non un risultato. Ma forse è proprio questo a renderla interessante. Un equilibrio dinamico, dove il gioco tra attaccanti e difensori continua a spingere entrambi a migliorarsi. In fondo, non è così che si evolvono anche le specie più resilienti?
