DeepSeek-R1, NVIDIA dichiara prestazioni di inferenza da record grazie alle GPU Blackwell

NVIDIA ha annunciato di aver raggiunto prestazioni da record per l'inferenza del modello DeepSeek-R1 durante il GTC 2025. Un singolo sistema NVIDIA DGX dotato di otto GPU NVIDIA Blackwell può raggiungere oltre 250 token al secondo per utente o una velocità massima superiore a 30.000 token al secondo sull'enorme modello DeepSeek-R1 da 671 miliardi di parametri. Questi progressi sono stati possibili grazie ai miglioramenti dell'ecosistema NVIDIA per l'inferenza, ora ottimizzato per l'architettura Blackwell.

NVIDIA ha aumentato il throughput del modello DeepSeek-R1 di circa 36 volte rispetto alle prestazioni di un'analoga piattaforma H100, con un miglioramento di circa 32 volte del costo per token.

Clicca per ingrandire

Le GPU Blackwell offrono fino a 5 volte più potenza di calcolo IA grazie ai Tensor Core di quinta generazione grazie al supporto FP4, laddove le precedenti proposte Hopper si fermano a una precisione FP8. Inoltre, la nuova generazione di NVLink e NVLink Switch raddoppia la larghezza di banda, consentendo una scalabilità molto maggiore nei datacenter. Questi miglioramenti permettono un'inferenza ad alta velocità e bassa latenza, essenziale per modelli come DeepSeek-R1.

L'ecosistema TensorRT è un elemento chiave per ottimizzare l'inferenza su GPU NVIDIA. TensorRT Model Optimizer introduce tecniche di ottimizzazione avanzate, come la quantizzazione FP4, che migliora il throughput computazionale e riduce l'uso della memoria. Il software TensorRT-LLM 0.17, progettato con PyTorch, consente un'inferenza efficiente grazie a funzioni come in-flight batching, gestione della memoria KV cache e speculative decoding.

Clicca per ingrandire

"I modelli della comunità AI, come Llama 3.1 405B, Llama 3.3 70B e DeepSeek-R1, stanno già beneficiando delle migliorie offerte dalle GPU Blackwell. Rispetto alla generazione precedente, il sistema DGX B200 con precisione FP4 garantisce un throughput di inferenza oltre 3 volte superiore rispetto alle GPU H200 con precisione FP8", sottolinea NVIDIA.

L'uso della quantizzazione FP4 offre vantaggi significativi, con una perdita di accuratezza minima rispetto alla precisione FP8. Ad esempio, il modello DeepSeek-R1 con FP4 mostra una differenza inferiore all'1% rispetto alla versione FP8 su benchmark chiave come MMLU e GSM8K. Inoltre, la Quantization-Aware Training (QAT) aiuta a recuperare eventuali perdite di accuratezza, come dimostrato sui modelli Nemotron 4 15B e 340B, che ottengono prestazioni comparabili alle versioni BF16.