tecnologia

TOPS, token, batch: ecco gli indicatori delle prestazioni dell’AI sui PC



Indirizzo copiato

Come i token e la dimensione del batch influenzano la velocità di calcolo dell’AI. Inoltre, come funziona l’acceleratore TensorRT e il benchmark basato su Stable Diffusion

Pubblicato il 13 giu 2024



Nvidia

Cos’è un token? Perché la dimensione del batch è importante? E come aiutano a determinare la velocità di calcolo dell’AI? Lo spiega Nvidia nella sua rubrica “AI Decoded”. L’era del PC AI è arrivata, alimentata dalle tecnologie Nvidia RTX e GeForce RTX. Con essa arriva un nuovo modo di valutare le prestazioni per i compiti accelerati dall’AI, e un nuovo linguaggio che può essere scoraggiante da decifrare quando si sceglie tra i desktop e i laptop disponibili. Misurare le prestazioni dell’AI richiede nuove metriche.

Continua a leggere questo articolo

Articoli correlati