A cura di Guillaume Leygues, Lead Sales Engineer, Google Cloud Platform
Non capita tutti i giorni di spostare più di 75 milioni di utenti dall’infrastruttura proprietaria di un’azienda al cloud. Ma per chi usa Spotify, dalle prossime settimane e nei prossimi mesi l’esperienza musicale passerà su Google Cloud Platform – stiamo collaborando a un ambizioso progetto per portare il backend di Spotify su GCP.
Spotify vuole rendere la musica un’esperienza speciale per tutti. Oggi, l’azienda ospita oltre 2 miliardi di playlist e permette l’accesso a più di 30 milioni di canzoni. Gli utenti possono cercare musica, canzoni, artisti, album, generi, playlist ed etichette discografiche tramite qualsiasi dispositivo, mentre la funzione Discover Weekly suggerisce playlist personalizzate per milioni di persone in tutto il mondo.
Se è vero che Spotify ha fatto sviluppare ai propri ingegneri l’infrastruttura di base, ha acquistato e noleggiato spazio nei data center, oltre a PC e infrastrutture di rete per fornire un’esperienza senza soluzione di continuità agli utenti, è anche vero che più volte si è chiesta se valesse la pena impegnare così tante risorse a discapito dello sviluppo di funzioni innovative e di software.
La decisione è stata quella di uscire dal business dei data center, per scegliere Google Cloud Platform dopo un’accurata valutazione di tutte le offerte sul mercato. La società ha suddiviso la migrazione a Google Cloud Platform in due parti: passaggio dei servizi e passaggio dei dati. Spotify fa funzionare i propri prodotti su una moltitudine di microservizi, molti dei quali stanno ora migrando dai data center locali al cloud di Google, grazie a Cloud Storage, Compute Engine e altri prodotti.
Con Compute Engine, i team possono contare su prestazioni costanti di SSD ad altissimo IOPS e capacità di storage locale SSD. E con le funzionalità di autoscaling possono creare applicazioni resilienti e a basso costo che utilizzano solo la giusta quantità di risorse necessarie in ogni momento. Per lo storage, Spotify sta implementando Cloud Datastore e Cloud Bigtable. Questa ricca struttura di servizi di storage consente agli ingegneri di concentrarsi sulle strategie di backend, piuttosto che disperdere risorse nel capire come memorizzare i dati e mantenere attivi i database. Spotify sta anche implementando i servizi di Cloud Networking di Google, come Direct Peering, Cloud VPN e Cloud Router, per trasferire petabyte di dati. Tutto questo si traduce in un’esperienza veloce, affidabile e sicura per gli utenti di tutto il mondo.
Per la gestione dei dati, l’azienda sta adottando un’insieme di tecnologie completamente nuove. Sono comprese la migrazione da Hadoop, MapReduce, Hive e da una serie di strumenti di dashboard locali, per dotarsi dei più recenti strumenti di data processing, compresi Google Cloud Pub/Sub, Dataflow, BigQuery, e Dataproc.
Con BigQuery e Dataproc, è possibile eseguire query complesse e ottenere risposte in un minuto o due, invece che aspettare per ore. Ciò consente a Spotify di effettuare analisi approfondite e interattive con maggiore frequenza, a vantaggio dello sviluppo dei prodotti, dei test di funzionalità e della user experience. Cloud Pub/Sub, il servizio di Google per lo scambio dati tra applicazioni, offre ai diversi team la possibilità di elaborare centinaia di migliaia di messaggi al secondo in modo affidabile. E per potenziare i suoi carichi di lavoro ETL, Spotify sta implementando Cloud Dataflow, il servizio di data processing di Google. In questo modo l’azienda si affida a un unico servizio basato su cloud, sia per il batch processing che per lo stream processing.
Ciò che ci rende più entusiasti di lavorare con Spotify è la loro attenzione alla user experience nel lungo periodo. Ora che utilizzano Google Cloud Platform, non vediamo l’ora di vedere cosa saranno in grado di realizzare.
