I ricercatori dell’Allen Institute, insieme a Microsoft, hanno dimostrato come i data scientist che utilizzano piattaforme cloud per addestrare algoritmi di deep learning possono ridurre drasticamente l’energia consumata dalle macchine con semplici modifiche alle impostazioni.
Il deep learning è alla base delle realizzazioni di maggior successo nell’apprendimento automatico, come il riconoscimento avanzato delle immagini, AlphaGo e i modelli linguistici come GPT-3; ma la generazione di modelli di deep learning richiede enormi quantità di energia.
Uno strumento che misura il consumo di elettricità del machine learning
L’Allen Institute ha collaborato con Microsoft, la società di intelligenza artificiale Hugging Face e tre università per creare uno strumento che misura l’utilizzo di elettricità di qualsiasi programma di apprendimento automatico (machine learning) eseguito su Azure, il servizio cloud di Microsoft. Con esso, gli utenti di Azure che creano nuovi modelli possono visualizzare l’elettricità totale consumata dalle unità di elaborazione grafica (GPU), ovvero chip di computer specializzati per l’esecuzione di calcoli in parallelo, durante ogni fase del progetto, dalla selezione di un modello al training e alla sua messa in uso. È il primo grande fornitore di cloud a fornire agli utenti l’accesso alle informazioni sull’impatto energetico dei loro programmi di apprendimento automatico.
“Non puoi migliorare ciò che non puoi misurare”, afferma Jesse Dodge, ricercatore presso l’Allen Institute for AI di Seattle. “Il primo passo per noi, se vogliamo fare progressi nella riduzione delle emissioni, è ottenere una buona misurazione”.
Mentre esistono già strumenti che misurano il consumo di energia e le emissioni degli algoritmi di apprendimento automatico in esecuzione su server locali, tali strumenti non funzionano quando i ricercatori utilizzano servizi cloud forniti da aziende come Microsoft, Amazon e Google. Questi servizi non offrono agli utenti visibilità diretta sulla GPU, la CPU e le risorse di memoria che le loro attività consumano e gli strumenti esistenti, come Carbontracker, Experiment Tracker, EnergyVis e CodeCarbon, hanno bisogno di tali valori per fornire stime accurate.
Il nuovo strumento di Azure segnala il consumo di energia del deep learning, non le emissioni. Così Dodge e altri ricercatori hanno capito come mappare l’uso di energia alle emissioni, e hanno presentato un documento di accompagnamento su quel lavoro al FAccT, una importante conferenza di informatica tenutasi alla fine dello scorso giugno. I ricercatori hanno utilizzato un servizio chiamato Watttime per stimare le emissioni in base ai codici postali dei server cloud che eseguono 11 modelli di apprendimento automatico.
Consumi ridotti fino all’80% lavorando quando è disponibile energia rinnovabile
La scoperta è che le emissioni possono essere significativamente ridotte se i ricercatori utilizzano server in specifiche località geografiche e in determinati momenti della giornata. Le emissioni derivanti dalla formazione di piccoli modelli di apprendimento automatico possono essere ridotte fino all’80% se la formazione inizia in momenti in cui è disponibile in rete più energia elettrica rinnovabile, mentre le emissioni dei modelli di grandi dimensioni possono essere ridotte di oltre il 20% se il lavoro di formazione viene sospeso quando l’elettricità rinnovabile è scarsa e riavviato quando è più abbondante.
Gli utenti di cloud attenti all’energia possono ridurre le loro emissioni regolando tali fattori attraverso le impostazioni delle preferenze sui tre maggiori servizi cloud (Microsoft Azure, Google Cloud e Amazon Web Services).
Lynn Kaack, cofondatrice di Climate Change AI, un’organizzazione che studia l’impatto dell’apprendimento automatico sui cambiamenti climatici, afferma che i fornitori di cloud dovrebbero mettere in pausa e riavviare automaticamente questi progetti per ottimizzare le emissioni più basse.
“È possibile pianificare, ovviamente, quando eseguire l’algoritmo, ma richiede molto lavoro manuale”, afferma la Kaack. “C’è bisogno di incentivi politici, probabilmente, per farlo davvero su larga scala”. Politiche come la tassa sul carbonio potrebbero incentivare i fornitori di cloud a creare flussi di lavoro che consentano pause e riavvii automatici.
Cambiare le abitudini degli utilizzatori, però, non è un’impresa facile né rapida. Solo il 13% degli utenti di Azure che eseguono programmi di apprendimento automatico ha utilizzato lo strumento di misurazione dell’energia da quando ha debuttato, a ottobre 2021. Anche Raghavendra Selvan, che ha contribuito a creare Carbontracker, dichiara che di avere difficoltà a convincere i ricercatori a utilizzare lo strumento nella loro ricerca sull’apprendimento automatico.
Tuttavia, prevale un certo ottimismo. Sempre più ricercatori stanno prendendo l’abitudine di riportare il consumo di energia nei loro articoli, incoraggiati da importanti conferenze come NeurIPS che lo suggeriscono. Se sempre più persone iniziano a tenere conto dei costi energetici e delle emissioni quando pianificano progetti futuri, si potrà iniziare a ridurre l’impatto dell’apprendimento automatico sui cambiamenti climatici.
