Il termine MLOps, ovvero Machine Learning Operations, identifica un insieme di tecniche che uniscono il Machine learning (ML) alle operazioni IT (Ops). Gli obiettivi di questa unione sono molteplici e tendono principalmente all’automatizzazione, al monitoraggio e al riuso di modelli di Machine learning.
In sintesi, MLOps rende i modelli di Machine learning più efficienti e ne allunga i cicli di vita, facendone strumenti di maggiore valore, anche collaborativo.
Esistono una moltitudine di tool da intendere come supporto alla gestione a all’ottimizzazione di processi di Machine learning.
Ne abbiamo selezionati dieci che guardano alle diverse necessità che possono avere organizzazioni che operano negli ambiti più disparati.
Gli obiettivi degli MLOps
Poiché son progettati per facilitare l’uso dei processi di Machine learning, MLOps sono orientati alla creazione di modelli che consentono l’apprendimento dai dati al fine di prendere decisioni più consapevoli e ragionate.
Gli strumenti MLOps sono utili nel gestire l’intero ciclo di vita dei modelli, facilitandone la creazione, la messa in produzione e il monitoraggio continuo. Le loro peculiarità comprendono:
- L’automazione, nella misura in cui consentono di ridurre fino ad azzerare la necessità di intervento umano nella creazione, nell’addestramento, nella distribuzione e nel monitoraggio dei modelli di Machine learning
- La collaborazione, intesa come il lavoro condiviso tra Data scientist e le altre figure professionali coinvolte nella creazione dei modelli di Machine learning
- Il monitoraggio dei modelli per valutarne la validità e, parallelamente, intervenire in modo tempestivo nel momento in cui si verificassero problemi
- Il versioning è strettamente legato al monitoraggio. Infatti, gli strumenti MLOps consentono di tracciare e conservare le diverse versioni dei modelli e dei dati che usano, facilitando così le operazioni di roll-back.
La scalabilità, altro elemento peculiare dei tool MLOps, merita una menzione speciale perché la possibilità di estendere l’uso dei modelli su larga scala è una leva per la crescita di ogni tipo di business.
L’anima pulsante degli strumenti MLOps sono i metadati.
MLOps e importanza dei metadati
Quando si parla di modelli di Machine learning i metadati assumono un ruolo apicale, perché sono deputati a descrivere aspetti fondamentali dei modelli stessi e sono cruciali in tutto ciò che ha a che fare con l’Intelligenza artificiale, ossia il costrutto che si erige anche sul Machine learning e il Deep learning.
Nello specifico, i metadati dei modelli impattano:
- Sul tracciamento e sui test dei modelli, includono informazioni relative al modo in cui il modello è stato costruito, addestrato (e addestrato nuovamente) e valutato
- Sul monitoraggio dei modelli e sui sistemi di alert da indirizzare alle figure professionali competenti a seconda del problema eventualmente riscontrato
- Sul versioning, ossia sulle versioni dei modelli. I metadati consentono di sapere chi ha pubblicato il modello, quali modifiche sono state apportate, quando sono state messe in produzione o quando sono state distribuite
- Sulla governance, grazie agli elementi visti sopra è infatti possibile monitorare e valutare il ciclo di vita dei modelli di Machine learning.
Ciò di cui abbiamo parlato fino a qui richiede l’intervento di profili altamente specializzati. Nel nutrito mondo delle Intelligenze artificiali, l’efficienza operativa e la gestione dei progetti di Machine learning assumono un’importanza di rilievo che può inficiare anche sulla sopravvivenza stessa delle imprese.
Anche per questo motivo cristallizzare l’impegno di ingegneri, Data scientist e personale IT in genere è controproducente: liberarli da compiti gravosi per lasciare loro il tempo di dedicarsi ad altri progetti è molto importante, ed è qui che intervengono e trovano collocazione pratica gli strumenti MLOps.
10 tool MLOps scelti da noi
Il mercato offre diverse soluzioni per mantenere e migliorare le infrastrutture AI, per aumentare il grado di collaborazione all’interno dell’impresa, per gestire dati e codice in modo più efficace e per abbattere i costi relativi allo sviluppo dei modelli.
MLFlow
Tra le soluzioni Open source più complete va citato MLFlow, strumento che si concentra soprattutto sul tracciamento dei modelli ma che viene impiegato anche per la loro distribuzione.
Rende possibile la gestione dei modelli e dei metadati usando Python, R, Java e REST API.
Le funzioni che offre sono:
- Tracking: per la memorizzazione dei dati, del codice e delle configurazioni
- Projects: per la riproducibilità del codice
- Models: per la distribuzione e la gestione dei modelli di Machine learning
- Model Registry: per il versioning.
È anche ampiamente documentato, grazie a guide e tutorial reperibili sul sito ufficiale e su YouTube ci sono tutorial che ne spiegano il funzionamento in modo dettagliato.
Metaflow
Metaflow è un vero e proprio coltellino svizzero utile alla gestione di qualsiasi progetto di Data science e Machine learning. Un framework sviluppato da Netflix pensato per la più totale scalabilità.
È orientato al cloud e fa delle API uno strumento in più, dando ampia libertà agli sviluppatori nel momento in cui interfacciano i dati allo sviluppo di applicazioni.
La documentazione è pressoché completa, incluse le guide passo-passo per l’uso delle API e codice Python prelevabile per essere customizzato a seconda delle esigenze specifiche di chi ne fa uso.
Qdrant
Tra gli strumenti più noti e diffusi spicca Qdrant, motore di ricerca vettoriale votato allo sviluppo di modelli di Machine learning perché consente di trasformare dati non strutturati in vettori numerici a più dimensioni, peculiarità cara alle AI Generative.
La ricerca basata su vettori ha un vantaggio pratico soprattutto quando si usano dataset di grandi dimensioni e favorisce la scalabilità e lo sviluppo di applicazioni AI:
La versione Open source di Qdrant è gratuita, può essere prelevata e installata su server dell’impresa. Le versioni basate su Cloud hanno politiche di prezzo che variano a seconda della potenza di calcolo necessaria, del numero di ricerche e dal tipo di servizio richiesto. Qdrant ha predisposto un calcolatore dei prezzi avere un’idea abbastanza precisa del costo da mettere a budget.
Kedro
Un altro framework Open source è Kedro ed è basato su Python. Pensato soprattutto per lo sviluppo, la distribuzione e la manutenzione di codice, consente la piena configurazione e favorisce la collaborazione tra professionisti che si occupano di progetti di Machine learning.
Sviluppato da QuantumBlack, Kedro verte sulla strutturazione delle fasi dei processi tipici della scienza dei dati, partendo dalla loro preparazione per l’addestramento dei modelli e la loro validazione.
Si presta a realtà aziendali di diversa natura e grandezza e offre una documentazione vasta e completa, anche relativamente all’uso delle API.
LakeFS
LakeFS è una soluzione per il versioning e facilita la gestione dei dati lungo tutto il loro ciclo di vita. Particolarmente adatto alla gestione dei dati e del codice su larga scala, è particolarmente indicato alle organizzazioni che lavorano con grandi moli di dati e svolgono attività di Machine learning.
La versione on premise è gratuita, mentre la versione Cloud ha un costo che parte da 2.900 dollari al mese (2.650 euro).
Weights & Biases
Il tracciamento e il versioning di dati e modelli è materia di Weights & Biases, che permette l’ottimizzazione dei parametri mediante una dashboard di facile uso che restituisce visualizzazioni grafiche di semplice interpretazione. Una piattaforma aperta all’integrazione con diverse librerie, tra le quali Keras, yTorch, Hugging Face e Spacy.
È pensata per la gestione di progetti piccoli (in questo caso può essere usata gratuitamente) e per quelli di grandi dimensioni, pagando un fee mensile in baso all’uso effettivo, oltre a un costo di entrata di 50 dollari per utente (45,70 euro).
CometML
Tra le piattaforme aperte all’integrazione con diverse librerie va annoverata CometML, il cui uso è dedicato tanto ai singoli professionisti quanto alle aziende e al mondo accademico. È improntata alla rappresentazione grafica dei dati non strutturati e delle attività di tracciamento e di ottimizzazione dei modelli di Machine learning.
L’uso personale è gratuito, la versione a pagamento per imprese e organizzazioni fino a 10 utenti ha un costo di 39 dollari al mese (35,66 euro) per utente, con la possibilità di chiedere offerte personalizzate per l’uso da parte di un numero maggiore di utenti.
Prefect
La gestione e l’organizzazione dei flussi di dati tra applicazioni è il cuore di Prefect, piattaforma Open source progettata per la gestione delle pipeline. I servizi Prefect Orion UI e Prefect Cloud consentono, rispettivamente, la gestione dei flussi di lavoro e la loro visualizzazione. I due servizi hanno prezzi che vengono comunicati a chi chiede informazioni.
TruEra
Le fasi di test e di debugging dei modelli possono essere coadiuvate da TruEra (da maggio del 2024 entrata a fare parte di Snowflake) che consente l’esecuzione di prove automatizzate e mette il focus sulle diverse versioni dei modelli stessi, al fine di identificarne le debolezze che ne frenano uno sviluppo efficace.
TruEra si integra nelle infrastrutture e nei flussi di lavoro di qualsivoglia organizzazione a prescindere dalle tecnologie a cui fa ricorso.
Iguazio
La piattaforma Iguazio, rilevata da McKinsey, consente l’automatizzazione delle pipeline di Machine learning, muovendosi dalla raccolta dei dati fino al monitoraggio dei modelli già in produzione.
Facilita la distribuzione di applicazioni AI sia on premise sia in cloud e ciò è particolarmente utili alle grandi organizzazioni.
Include una dashboard semplice per gestire, governare e monitorare i modelli e le produzioni in tempo reale.
