Cos’è un token? Perché la dimensione del batch è importante? E come aiutano a determinare la velocità di calcolo dell’AI? Lo spiega Nvidia nella sua rubrica “AI Decoded”. L’era del PC AI è arrivata, alimentata dalle tecnologie Nvidia RTX e GeForce RTX. Con essa arriva un nuovo modo di valutare le prestazioni per i compiti accelerati dall’AI, e un nuovo linguaggio che può essere scoraggiante da decifrare quando si sceglie tra i desktop e i laptop disponibili. Misurare le prestazioni dell’AI richiede nuove metriche.
tecnologia
TOPS, token, batch: ecco gli indicatori delle prestazioni dell’AI sui PC
Come i token e la dimensione del batch influenzano la velocità di calcolo dell’AI. Inoltre, come funziona l’acceleratore TensorRT e il benchmark basato su Stable Diffusion

Continua a leggere questo articolo
Argomenti
Canali