Seeweb ha collaborato con Clastix per lanciare un servizio on-demand per GPU remote, a beneficio di scalabilità e sostenibilità economica
La crescente richiesta di risorse GPU per l’intelligenza artificiale, il machine learning e il supercalcolo sta portando a una sempre maggiore necessità di GPU. Questo è particolarmente evidente nel caso dei workload di inferenza, con il trend dell’intelligenza artificiale che si sta diffondendo rapidamente nei settori industriali e nella ricerca scientifica. Fortunatamente, esistono soluzioni che possono aiutare a gestire queste sfide, come le Serverless GPU. Si tratta di GPU collocate in un ambiente cloud e dunque senza la necessità di preoccuparsi dell’infrastruttura sottostante, a partire dai server. Anche se le GPU serverless sono fisicamente presenti nei server, la manutenzione e la fornitura di questi sono gestite dal provider, che rende concreti diversi beneifici.
Tra questi, l’elasticità. Le Serverless GPU sono estremamente flessibili per soddisfare le esigenze computazionali del training di modelli. È possibile espandere dinamicamente il cluster di GPU senza entrare nel merito della gestione. Inoltre, con le Serverless GPU, si paga solo l’uso effettivo. Questo modello di fatturazione in stile “pay per use” permette di ottimizzare i costi e di accedere alle risorse GPU solo quando se ne ha bisogno.
La tecnologia usata per rendere possibile questa grande flessibilità e integrabilità è Kubernetes. La soluzione di orchestrazione dei container, semplifica l’accelerazione e il deploy di codice AI, potendo anche scalare dinamicamente i pods in base alle esigenze. Quando il carico di lavoro aumenta, Kubernetes può automaticamente creare nuovi pods per gestire la richiesta aggiuntiva di risorse GPU.
Con le tecnologie odierne si possono espandere i cosiddetti gpu cluster in maniera dinamica, senza alcun onere di gestione, in pratica vedendo le schede grafiche come fossero remote nel proprio ambiente IT. Il Serverless GPU è una nuova offerta nell’ampio portafoglio di Seeweb, che ha sviluppato il servizio insieme a Clastix, tech startup italiana specializzata in soluzioni Kubernetes multitenancy. L’adozione dell’intelligenza artificiale sta crescendo rapidamente in tutto il mondo, e di conseguenza aumentano le esigenze computazionali. L’addestramento dei modelli richiede risorse significative, e le schede grafiche sono uno strumento essenziale per accelerare questo processo.
Come funziona
Il servizio di Serverless GPU di Seeweb prevede l’installazione di un agente k8sGPU nei cluster Kubernetes, che crea un nodo virtuale all’interno del cluster, fungendo da ponte senza soluzione di continuità verso le GPU remote. Sviluppato sulla base del progetto Virtual Kubelet di Microsoft, garantisce la compatibilità con gli strumenti Kubernetes esistenti. Una volta creato un nodo virtuale, si procede con la pianifica dei pod ML/AI come si farebbe sui normali nodi di lavoro. L’agente k8sGPU gestisce l’allocazione dinamica delle GPU remote ed esegue i pod su di esse come se fossero nel cluster locale. La scalabilità automatica K8sGPU alloca e dealloca dinamicamente le GPU remote in tempo reale, garantendo prestazioni ottimali ed efficienza dei costi. Il tutto a vantaggio anche dell’economia: con k8sGPU si paga solo il tempo effettivo di utilizzo della GPU e questo elimina la necessità di impegni di noleggio a lungo termine e riduce i costi di noleggio dell’intera GPU.
Il servizio di cloud computing offerto da Seeweb per il training di modelli e l’inferenza è progettato per soddisfare le esigenze di aziende, sviluppatori e ricercatori. In più, l’infrastruttura è orchestrabile tramite Terraform e completamente integrata con Kubernetes. La partnership con Clastix ha portato a ulteriori miglioramenti del servizio, con un focus sulla maggiore integrazione. Grazie alla gestione multi-tenancy a livello di Kubernetes, i team di sviluppo e ricerca possono rispondere in modo rapido e automatizzato alle esigenze computazionali del momento. Questo approccio riduce gli sprechi e sfrutta al massimo l’ambiente altamente performante a disposizione. Le soluzioni cloud GPU di Seeweb, oltre a fornire un supporto tecnologico potente, consentono di integrare ambienti cloud complessi. I team dedicati allo sviluppo possono utilizzare in modo efficiente infrastrutture multi-cloud e GPU on-premise, garantendo un livello adeguato di isolamento e distribuzione. Questo vale sia per risorse dedicate a progetti specifici che per cluster condivisi.
