|
|
|
|
Strumenti |
22-02-2024, 23:12 | #1 |
Member
Iscritto dal: Nov 2005
Messaggi: 153
|
configurazione economica-midrange per machine learning llm locale
Ciao a tutti.
Sto pensando di prendere un nuovo pc fisso per fare inferenza, principalmente su llm e simili che facendo degli esperimenti che prevedono l'uso di cuda (quindi per forza una gpu nvidia), eventualmente con ggml provando a dividere il carico sulla cpu per i modelli più pesanti. Ho pensato a due possibili build alternative: Di seguito la lista testuale per chi non vuole aprire link esterni: CPUDiciamo che come budget vorrei spendere il meno possibile, comunque posso arrivare fino a 1500€ circa. Per iniziare vorrei rimanere su 48 o 64gb di memoria ram. Farei l'acquisto per semplicità su amazon. Cosa ne dite? |
23-02-2024, 07:02 | #2 |
Senior Member
Iscritto dal: Jul 2012
Messaggi: 133614
|
Ciao
Hai requisiti o esigenze particolari per il PC? Ti dico subito di dare un'occhiata su warehouse xke ce una Msi 3070Ti usata quasi allo stesso prezzo di quella 3060 che hai messo in lista, 392 euro ha meno vram ma è più potente |
24-02-2024, 02:21 | #3 |
Member
Iscritto dal: Dec 2011
Messaggi: 127
|
Ciao,
Per la IA e i LLM in particolare hai bisogno di quanta più vram possibile. È vero che oggi puoi usare in parte anche la RAM normale, ma la perdita di prestazioni è veramente notevole. Con una 3060 (la ho anche io) riesci a far andare in tempo reale un modello 7b, con i 13b già avrai rallentamenti perché non riesci a far stare tutti I layers nella vram.. e oggi i modelli arrivano tranquillamente a 70b.. o peggio, vedi Goliath. Sul nuovo, come scheda video andrei almeno su una 4060 ti 16gb, scheda non da gamer ma che per l'IA comincia a dare più libertà. (Personalmente farei lo sforzo per una 4070 ti super, magari aspettando un mese se mi manca un po' di budget). Sull'usato il best buy è la 3090. Per la RAM di sistema andrei dritto sui 64gb, proprio per ggml et similia. Mi terrei anche la possibilità di aggiungere una seconda scheda video in futuro, quindi x670 al posto di b650. SSD.. ti troverai a voler provare diversi (molti!) modelli e ad occupare veramente molto spazio su disco. Prevedi come minimo un altro hdd, ma aumenterei anche la capienza dello SSD La mia conf per IA entry level di un paio di anni fa è: - Ryzen 5800x - AMD b550m (ahimè!) - 64gb 3600 - rtx 3060 12gb - SSD 4gb |
Strumenti | |
|
|
Tutti gli orari sono GMT +1. Ora sono le: 15:19.