Meta AI ha rilasciato una versione potenziata del suo modello di generazione di codice, denominato Code Llama. Questa nuova edizione si distingue per i suoi 70 miliardi di parametri, un record rispetto alle precedenti versioni che contavano rispettivamente 7, 13 e 34 miliardi di parametri.
Il nuovo Code Llama 70B è disponibile nelle stesse tre versioni dei modelli Code Llama rilasciati in precedenza, tutte gratuite per la ricerca e l’uso commerciale:
- CodeLlama – 70B – foundational code model;
- CodeLlama – 70B – Python, 70B specializzato per Python;
- Code Llama – 70B – Instruct 70B, che è ottimizzato per la comprensione delle istruzioni in linguaggio naturale.
Salgono quindi a quattro i modelli Llama, con parametri rispettivamente 7B, 13B, 34B e 70B. Ognuno di questi modelli viene addestrato con 500 miliardi di token di codice e dati correlati al codice, ad eccezione di 70 B, che viene addestrato su token 1T.
I modelli base e istruire 7B e 13B sono stati inoltre addestrati con funzionalità FIM (fill-in-the-middle), che consente loro di inserire codice nel codice esistente, il che significa che possono supportare attività come il completamento del codice fin dall’inizio.
The three models address different serving and latency requirements. The 7B model, for example, can be served on a single GPU. The 34B and 70B models return the best results and allow for better coding assistance, but the smaller 7B and 13B models are faster and more suitable for tasks that require low latency, like real-time code completion.
Code Llama “uno dei modelli open source più performanti disponibili oggi”
Meta ha definito il nuovo Code Llama come “uno dei modelli open source più performanti disponibili oggi”. Questi modelli sono open source e disponibili sotto la stessa licenza delle versioni precedenti, il che significa che possono essere utilizzati per applicazioni commerciali. Per accedervi, tuttavia, è necessario compilare un apposito modulo. Mark Zuckerberg, CEO di Meta, ha espresso orgoglio per i progressi raggiunti con il nuovo Code Llama e ha annunciato che le sue innovazioni saranno integrate nel prossimo Llama 3 e nei futuri modelli Meta.
La prima versione di Code Llama è stata lanciata lo scorso agosto. Secondo quanto dichiarato da Meta, questa ultima edizione rappresenta “la base più performante per l’ottimizzazione dei modelli di generazione del codice”. La speranza è che la comunità AI possa costruire su questi nuovi modelli.
Le nuove varianti superano ampiamente la versione originale in termini di prestazioni. I modelli hanno anche ottenuto punteggi superiori rispetto ad altri sistemi di generazione di codice concorrenti, come StarCoder, Codex di OpenAI e Palm-Coder. La versione Instruct è riuscita addirittura a raggiungere un punteggio di 67.8 nel test HumanEval Pass@1, superando di 0.8 il punteggio riportato da GPT-4.
