Il progetto open source Livy facilita l’utilizzo di Spark per gli sviluppatori di applicazioni e data scientist, abilitando l’invio di job dettagliati e il recupero dei risultati attraverso una semplice interfaccia basata su REST, e rende così possibili nuove architetture e casi d’uso
Cloudera annuncia di aver collaborato congiuntamente con Microsoft per ridurre la pressione per gli sviluppatori di applicazioni che sfruttano Spark. Cloudera e Microsoft, insieme ad altri protagonisti del mondo open source, hanno costruito un nuovo servizio Spark basato su REST, in licenza da Apache, denominato Livy, che è ancora in fase di sviluppo iniziale.
Livy permette alle applicazioni di interfacciarsi in modo semplice con Spark, di presentare i job e di recuperare i risultati in modo programmatico. Il fulcro di Livy è un server REST per l’invio, l’esecuzione e la gestione dei job e dei contesti di Spark. La sua API Client permette in modo dettagliato l’inoltro dei lavori Spark e il recupero dei risultati in modo sincrono o asincrono. I client possono utilizzare Spark come un servizio multi-tenant, e non devono più preoccuparsi dell’installazione, della configurazione o del monitoraggio. Livy fornisce Spark come un servizio multi-tenant insieme a isolamento della sessione, sicurezza e rappresentazione-utente.
I vantaggi principali offerti da Livy includono:
- Impatto ridotto nella fruizione di Spark – I client di Spark non richiedono installazione o configurazione per poter iniziare. È necessario solo un semplice client che comunica con un endpoint HTTP.
- Consentire l’utilizzo di Spark ad applicazioni di terze parti – Le applicazioni possono costruire con API client in Java, Scala e Python per basati su REST per l’invio di job dettagliati Spark, il recupero dei risultati e la gestione di SparkContexts (le API client di Scala e Python sono in fase di sviluppo). Spark può essere richiamato da applicazioni scritte in framework diversi come Django per Python, Play per Scala o Java. Inoltre, poiché è basato su REST, con qualche adattametno, è possibile anche sfruttare Livy da applicazioni scritte in linguaggi come Node.js o Go.
- Abilitazione di nuove architetture – Livy rende facile integrare Spark in ar un architetture orientate ai servizi o basate su microservizi che interagiscono in primo luogo attraverso REST.
“Microsoft è focalizzata sulla semplificazione dei big data e delle analisi avanzate per mettere le tecnologie come Apache Hadoop e Spark a disposizione di tutti”, ha dichiarato Tiffany Wissner, senior director di Data Platform Marketing di Microsoft. “La collaborazione sul progetto Livy ha semplificato l’interazione con Spark per gli sviluppatori attraverso un servizio web REST e ha reso Spark una soluzione pronta per le aziende come robusto back-end per l’esecuzione di notebook interattivi”.
“Spark offre una veloce elaborazione dei big data attraverso una API general purpose flessibile. Notiamo tra i nostri clienti e partner una tendenza naturale a voler sfruttare le capacità di Spark da applicazioni client che possono facilmente interfacciarsi con Spark, e Livy lo rende possibile”, ha dichiarato Anand Iyer, Senior Product Manager di Cloudera. “Il progetto Lily aprirà Spark a nuovi casi d’uso, e speriamo che questo attiri una comunità di sviluppatori che non solo costruiscano applicazioni con Livy, ma che apportino contributi al progetto, aiutando a definire la sua API e a migliorarne le funzionalità. Si tratta di un progetto ancora agli albori e, quindi, ogni contributo avrà un enorme impatto”.
