Intel Xeon 6 e Intel Gaudi 3 nel futuro dei datacenter

Il Computex 2024 di Taipei è per Intel occasione di presentare ufficialmente non solo la prossima generazione di CPU Core per sistemi notebook, noti con il nome in codice di Lunar Lake, ma anche la nuova famiglia di soluzioni destinate ai datacenter e a sfruttare al meglio l’interesse verso le soluzioni di intelligenza artificiale.

Parliamo delle soluzioni Xeon 6, con due distinte famiglie di prodotti che si differenziano tra di loro per il tipo di core utilizzato e per il posizionamento di mercato. Accanto a questi nuovi processori ci sono anche le soluzioni Gaudi 3, proposte per gestire le elaborazioni di intelligenza artificiale all’interno dei datacenter.

Xeon 6: due core e due tipologie di CPU

Con le nuove CPU Xeon 6 Intel adotta un approccio differenziato, di fatto offrendo due diverse categorie di processori a seconda del tipo di core adottato: le opzioni sono tra E-Cores, quelli maggiormente rivolti al risparmio energetico, e i più tradizionali P-Cores per le massime prestazioni velocistiche. Questa decisione di segmentare la famiglia di prodotti fatta da Intel è giustificata dalla volontà di offrire proposte che si adattano specificamente alle necessità di segmenti verticali del mercato, viste le necessità differenti dei clienti che investono in datacenter.

Intel annuncia quest'oggi le prime soluzioni della gamma Xeon; l'intera famiglia verrà rilasciata sul mercato tra il terzo trimestre 2024 e il primo trimestre 2025. Quest'oggi è la volta delle soluzioni note con il nome in codice di Sierra Forest, basate su E-Cores e proposti come famiglia Xeon 6700E.

Nel corso del terzo trimestre dell’anno sarà la volta di quelle Granite Rapids basate su P-Cores, indicate con il nome di Xeon 6900P, mentre nel corso del primo trimestre 2025 la gamma verrà completata con tutte le altre versioni di processore appartenenti alle famiglie Xeon 6900E e Xeon 6700P.

Se è facile risalire al tipo di core, tra E-Core e P-Core, semplicemente dalla sigla finale nel nome del processore meno intuitiva è la differenza tra Xeon 6700 e Xeon 6900. Nella prima serie sono presenti processori che integrano sino a un massimo di 144 E-Cores o 86 P-Cores, con compatibilità con sistemi a 1 oppure 2 socket. Per le versioni Xeon 6700P è inoltre possibile l'utilizzo in sistemi a 4 oppure 8 socket per specifiche configurazioni nelle quali massimizzare la densità di elaborazione.

Per i processori Xeon 6700E Intel propone una singola versione di configurazione del processore per un massimo di 144 cores, dotata di un singolo compute tile die. Per i processori Xeon 6700P sono invece disponibili 3 distinte versioni, una delle quali con doppio compute tile die di tipo XCC per un totale massimo di 86 core; a questa si affianca una declinazione a singolo compute die, indicata con la sigla HCC, con un massimo di 48 cores e una terza versione con un massimo di 16 cores sempre a singolo compute tile die di tipo LCC.

Per i processori Xeon 6900 troviamo due distinte versioni, entrambe con tile compute die multiplo: quella 6900E è dotata di due compute tile die con sigla ZCC per un massimo di 288 cores, mentre per le CPU Xeon 6900P troveremo 3 compute tile die di tipo UCC per un massimo di 128 cores. Da segnalare che i processori Xeon di sesta generazione sono i primi che l'azienda immette in commercio ad essere basati, per il compute tile die, su tecnologia produttiva Intel 3 mentre il die I/O è costruito con tecnologia Intel 7.

Una delle peculiarità dei processori Intel Xeon 6 è quella di essere compatibili con la tecnologia CXL Attached Memory, che permette di espandere sensibilmente il quantitativo di memoria locale disponibile al sistema riutilizzando moduli DDR4 già a disposizione a fronte di un lieve impatto prestazionale in termini di velocità di accesso e bandwidth.

Le due tipologie di Core sono differenti per quanto riguarda le prestazioni velocistiche e l’efficienza complessiva, come i due nomi del resto indicano chiaramente. Gli E-Cores non supportano le estensioni AVX-512 (Advanced Vector Extensions) e quelle AMX (Advanced Matrix Extensions), condividendo con i P-Cores le restanti ISA.

Le versioni di processore Xeon 6-P sono basate su core noti con il nome in codice di Redwood Cove; ogni core è dotato di 2MB di cache L2 indipendente ed implementa supporto alla tecnologia HyperThreading. Ogni core implementa cache per istruzioni da 64KB di capacità, affiancata da una da 48KB per i dati. La pipeline è di tipo 8-wide per le operazioni di decodifica, 6-wide per quelle di allocazione e 8-wide per il retire delle istruzioni; l'execution engine out-of-order ha ampiezza di 512 istruzioni mentre il memory controller integrato supporta memoria DDR5 sino a 8800 MT/s.

I core di tipo efficient sono quelli indicati con il nome in codice di Crestmont; ciascuno interga 4MB di cache L2 condivisa tra 4 core, ciascuno dei quali non supporta la tecnologia HyperThreading. Ogni core integra una cache per le istruzioni da 64KB di capacità e una per i dati, di tipo ECC, da 32KB. L'execution engine out-of-order ha ampiezza di 256 istruzioni e a differenza dei P-Core manca il supporto alle tecnologie Intel AVX-512 e Intel AMX.

Intel ha fornito alcune analisi prestazionali di un sistema a due socket basato su processori Xeon 6780E (144 cores per ogni CPU), la proposta top di gamma tra quelle annunciate quest'oggi, a confronto con un simile sistema basato su processore Xeon Platinum 8592 di quinta generazione (64 cores per ogni CPU). Le prestazioni sono mediamente più elevate nei differenti scenari ma quello che emerge è il rapporto tra prestazioni e consumi, decisamente a favore della nuova soluzione che ricordiamo è basata sui core di tipo efficient e non su quelli performance. E' nel range di occupazione del processore tra il 20% e l'80%, quello che tipicamente si rileva con questi sistemi server, che la nuova piattaforma beneficia del più netto vantaggio in termini di efficienza energetica nel confronto con le soluzioni Xeon di precedente generazione.

Mettendo a confronto il processore Xeon 6-E con quello Xeon di seconda generazione, che al momento attuale è per Intel quello maggiormente utilizzato nei datacenter, si evidenzia un margine di vantaggio medio ancora più netto tanto in termini di prestazioni assolute come di performance relativizzate sul consumo. A permettere questo risultato non sono le innovazioni a livello di core ma anche tutte le migliorie lato piattaforma, che nell'evoluzione temporale offre un maggior numero di canali memoria con moduli dalla velocità superiore, oltre ad un incremento nel numero di linee PCI Express gestite.

Al debutto odierno Intel propone 7 differenti versioni di processore Xeon 6700E, un numero ben più contenuto rispetto a quello che storicamente Intel ha annunciato con ogni nuova generazione di CPU Xeon. La scelta fatta in questo caso è volta alla semplificazione, raccogliendo il feedback dei clienti spesso alle prese con troppe opzioni di scelta e una segmentazione eccessiva. Le versioni partono da un minimo di 64 cores sino ad un massimo di 144 cores, con differenti frequenze di base clock e TDP che vanno da un minimo di 205 Watt sino ad un massimo di 330 Watt. Cambia anche il supporto memoria ai moduli DDR5, che è sino alla velocità di 6.400 MT/s per le proposte di fascia più alta scendendo ai 5.600 MT/s degli altri modelli.

Gaudi 3, per accelerare sempre più l'IA

Le soluzioni Intel Gaudi sono frutto dell'acquisizione di Habana Labs avvenuta alla fine del 2019; nel contesto dell'edizione 2024 del Computex Intel annuncia la nuova generazione di acceleratore Gaudi 3 costruita con tecnologia produttiva Intel 3.

In Gaudi 3 troviamo integrati 64 Tensor Cores con 8 Matrix Max Engines; la memoria onboard di tipo HBM, High Bandwidth Memory, ha capacità di 128GB complessiva e nel die sono itetrati 96MB di memoria SRAM, capace di una bandwidth massima di 12,8 TB/s. Nel chip sono integrate 24 porte 200 GbE e un controller PCI Express 5.0 supporta sino a un massimo di 16 linee.

Nel confronto con Gaudi 2 c'è da evidenziare che Gaudi 3 sia basato sulla stessa architettura sottostante ma offre consistenti incrementi delle prestazioni velocistiche: un raddoppio della potenza di calcolo con applicazioni AI in FP8 e sino a 4 volte con quelle AI di tipo BF16. La bandwidth delle connessioni di rete è stata raddoppiata mentre quella della memoria incrementata del 50%.

Anche per Gaudi 3 Intel ha fornito alcuni benchmark di riferimento, a confronto con le soluzioni concorrenti NVIDIA H100 e NVIDIA H200 che rappresentano al momento le GPU di riferimento. I dati di riferimento parlano di prestazioni superiori del 50% rispetto a H200 con operazioni di inferencing, margine che sale al raddoppio prendendo quale riferimento al GPU NVIDIA H100. Come sempre in questo casi tali valori saranno poi da confrontare con benchmark indipendenti nel momento in cui queste soluzioni giungeranno in commercio.

Le prime soluzioni Gaudi 3 arriveranno sul mercato nel corso del terzo trimestre 2024, in declinazione pensata per sistemi di raffreddamento ad aria. Sarà invece nel quarto trimestre 2024 che vedremo le proposte Gaudi 3 abbinate a sistema di raffreddamento a liquido. Le proposte Gaudi 3 verranno fornite su scheda per istallazione in sistemi OEM, all’interno di Universal Base Board con 8 differenti schede Gaudi 3 installate. Per la prima volta, inoltre, le soluzioni Gaudi 3 saranno proposte anche su scheda PCI Express per installazione in sistemi desktop e server tradizionali.

Con gli annunci del Computex 2024 Intel prepara un autunno carico di novità nel mercato delle soluzioni server, forte dell'abbinamento tra le nuove CPU Xeon 6 con due differenti tipologie di core di riferimento e con la potenza addizionale per le elaborazioni di intelligenza artificiale portata dalle soluzioni Gaudi 3. Vedremo tra i padiglioni della fiera come i partner produttori di server, che a Taiwan hanno la loro base operativa, intenderanno proporre queste soluzioni nei propri sistemi. In attesa di vedere quello che AMD intende offrire, con la propria architettura Zen 5 di nuova generazione, per le soluzioni della famiglia Epyc.