Creare una render farm

[TechCreator]

Salve a tutti, sono nuovissimo del forum, come da titolo avrei in mente di creare una render farm, ho gia notato altre discussioni su altri forum ma vedevo che finivano li senza troppe discussioni.
Quello che vorrei sapere è:
che sistema devo usare? (sistema operativo)
posiedo un poweredge sc1425 con due processori dual core da 2,8 ghz aggiungendone altri dello stesso tipo posso crearla?
bastano i server con processori o servono anche schede video?
Scusate il disturbo, se ho sbagliato sezione ditemi dove ripubblicare il post

[Tasslehoff]

Premetto che non conosco nel dettaglio ne cosa sia ne cosa possa richiedere una "render farm".

Detto questo, permettimi un piccolo appunto senza polemica e senza alcuna cattiveria.
Se non sai quale sistema operativo dovrai utilizzare per questo servizio devo presumere che non hai le idee molto chiare nemmeno su quale software far girare in questa "render farm".
Non ti sembra un po' prematuro pensare a come implementare una architettura del genere se non sai cosa farci girare?

[flisi71]

Prima scegli l'applicativo di rendering che vorrai usare nella server farm, successivamente controlli i suoi requisiti hw/sw.

[PhoEniX-VooDoo]

ultimamente questa sezione e' piena di gente che vuole fare cose con cui non sa cosa fare

[bio.hazard]

beh, vuoi mettere che effetto fa dire agli amichetti del baretto "io a casa ho una render farm"?

[Alfonso78]

http://it.wikipedia.org/wiki/Render_farm

[TechCreator]

Grazie a tutti per le risposte, ho notato che le render farm le si usavano appunto per i rendering, ho visto che serve molta potenza a livello di cpu e pensavo che si potesse usare una cosa del genere anche per i videogiochi oltre che al rendering video, quando dico "per videogiochi" intendo di far fare il rendering alla farm e di ricevere alla fine il video gia elaborato, ma per questo ho paura che servano anche gpu con i contro co...... sbaglio?

Inviato dal mio GT-I9300 utilizzando Tapatalk

[PhoEniX-VooDoo]

quello sarebbe un "cloud gaming locale" e per quanto ne so non esiste..

[TechCreator]

Ciao Killomen45, io userei after effects facendo video in 1080p con audio, basta la potenza di processore?( Inteso come unione di potenza di calcolo di più server)

Inviato dal mio GT-I9300 utilizzando Tapatalk

[h4xor 1701]

il metodo più semplice che mi viene in mente per sfruttare la potenza elaborativa di più macchine con programmi windows è quello di: 1- creare un cluster, 2- configurare windows Hyper-V/VMWare che sia, 3- creare una o più macchine virtuali che si prendano tutte le risorse del sistema finale

[h4xor 1701]

ad esempio questo tizio ha usato un Blade Center per il rendering, che sarebbe in sostanza un "maxi-server" che è popolato al suo interno da 16 server che occupano uno spazio molto piccolo, chiamati appunto "blade"....non capisco però per che software abbia optato xD

https://www.youtube.com/watch?v=dRSbR_Do8kY

[Tasslehoff]

Giusto per info per un Blade stringatissimo entry level al minimo sindacale e soprattutto senza storage la spesa è di circa 2500 euro (1x Xeon 6C 2GHz, 16GB ram, escluso storage), lo chassis più economico costa circa 5000 euro, e con solo 2 PSU (su 4) e senza PDU (che se ricordo bene costeranno attorno alle 1000 euro l'una e almeno un paio ne servirebbero giusto per ridondare l'alimentazione).

Quindi per ottenere un bladecenter con 12 blade entry level e senza storage si andrà a spendere una cifra a partire dalle 37-40k euro, il tutto senza considerare i costi per i contratti di supporto, lo storage, moduli accessori (rete, fibra, interfaccia di management) e supporto per l'installazione (che non è propriamente banale, lo dico per esperienza...).

Non a caso i principali distributori (es Computergrosso o Ingram Micro in Italia) propongono configurazioni per entrare in modo soft nel mondo Blade a partire da 20-25k euro.

Ah ovviamente tutti i prezzi che ho citato sono all'ingrosso e iva esclusa

[h4xor 1701]

e se ti dicessi che il tipo nel video l'ha comprato usato a 1900$? xD
su internet si trovano server ricondizionati o usati a prezzi irrisori, regalati praticamente....basta saper cercare

[Tasslehoff]

Originariamente inviato da h4xor 1701

e se ti dicessi che il tipo nel video l'ha comprato usato a 1900$? xD
su internet si trovano server ricondizionati o usati a prezzi irrisori, regalati praticamente....basta saper cercare

Non lo metto in dubbio, sta ad ognuno valutare correttamente la criticità del progetto su cui utilizzare l'hardware.

Ad esempio per macchine vecchie e fuori supporto i contratti di assistenza arrivano a costare fino a 400 euro l'anno per formule assolutamente blande (9x5 NBD), per una copertura 24x7x4h i prezzi salgono parecchio.
Ovviamente ciascun blade deve avere un contratto dedicato, non certo uno solo per tutto un bladecenter + chassis eh...

[PhoEniX-VooDoo]

Tasslehoff parliamo di roba usata da ficcare in un garage ed accendere il week end, chissenefrega del supporto

tu sei davvero professionale e un pozzo di sapienza ma a volte dovresti contestualizzare un po meglio

[h4xor 1701]

Originariamente inviato da PhoEniX-VooDoo

Tasslehoff parliamo di roba usata da ficcare in un garage ed accendere il week end, chissenefrega del supporto

tu sei davvero professionale e un pozzo di sapienza ma a volte dovresti contestualizzare un po meglio

hai colto perfettamente la nostra "criticità del progetto"

[Tasslehoff]

Originariamente inviato da PhoEniX-VooDoo

Tasslehoff parliamo di roba usata da ficcare in un garage ed accendere il week end, chissenefrega del supporto

tu sei davvero professionale e un pozzo di sapienza ma a volte dovresti contestualizzare un po meglio

Ti ringrazio per i complimenti
Il fatto è che mi riesce un po' difficile immaginare un bladecenter usato per una roba del genere nello sgabuzzino di casa piazzato tra i panni ad asciugare e le cassette di acqua minerale

Se il progetto è davvero amatoriale avrebbe molto più senso imho imbastire una batteria di core i5 o i7 dentro dei barebones economici, con OS su pendrive usb per limitare i costi e farli macinare fino alla morte.
Sicuramente costerà molto meno anche rispetto a un Bladecenter pieno di vecchi blade usati (vedo su Ebay c'è un venditore che deve aver liberato un intero datacenter di vecchi Blade IBM HS21).
Anche perchè i blade non risolgono affatto il problema di fondo, non è che siccome i blade stanno dentro lo stesso chassis allora "magicamente" vengono visti come un'unica unità elaborativa, non sono Borg di Star Trek con la loro mente collettiva
Insomma ci deve essere qualcosa di applicativo che (detto brutalmente) "spezza" la scena da renderizzare a ne distribuisce ciascun "pezzo" ai vari nodi, e poi si preoccupi di mettere insieme i risultati del rendering; rispetto alla complessità software di questo processo l'hw è una questione banale e puramente quantitativa.

Senza contare che un bladecenter con 28 vecchi Xeon a pieno carico computazionale (durante questi ipotetici rendering) arriva ad assorbire 3KW senza problemi, quindi lo vedo un po' complicato da tenere in casa.
Se poi li si vuol tenere senza supporto praticamente si va a depennare i Blade a uno a uno man mano che si presentano i guasti (perchè tu sai bene quanto me che non è questione di "se" si presentano, ma di "quando" ) perchè i pezzi di ricambio comprati direttamente dall'utente finale costano un occhio della testa (alcuni anche più di tutto il bladecenter stesso).

Tirando le somme mi par di capire che:
1) non si hanno le idee chiare su quale software usare
2) non si ha idea di come funziona una architettura di rendering distribuito
3) a parte citare After Effects (dopo 10 post) non si sa altro lato sw ne è stato provato altro, ne si sa se questo software permetta il rendering distribuito
4) non è stato fatto alcun test nemmeno tra due normali pc domestici

Insomma ci stiamo facendo tanti pipponi mentali su Bladecenter e architetture faraoniche (usate) ma non è affatto chiaro il cuore del problema.

[h4xor 1701]

Originariamente inviato da Tasslehoff

Ti ringrazio per i complimenti
Il fatto è che mi riesce un po' difficile immaginare un bladecenter usato per una roba del genere nello sgabuzzino di casa piazzato tra i panni ad asciugare e le cassette di acqua minerale

Se il progetto è davvero amatoriale avrebbe molto più senso imho imbastire una batteria di core i5 o i7 dentro dei barebones economici, con OS su pendrive usb per limitare i costi e farli macinare fino alla morte.
Sicuramente costerà molto meno anche rispetto a un Bladecenter pieno di vecchi blade usati (vedo su Ebay c'è un venditore che deve aver liberato un intero datacenter di vecchi Blade IBM HS21).
Anche perchè i blade non risolgono affatto il problema di fondo, non è che siccome i blade stanno dentro lo stesso chassis allora "magicamente" vengono visti come un'unica unità elaborativa, non sono Borg di Star Trek con la loro mente collettiva
Insomma ci deve essere qualcosa di applicativo che (detto brutalmente) "spezza" la scena da renderizzare a ne distribuisce ciascun "pezzo" ai vari nodi, e poi si preoccupi di mettere insieme i risultati del rendering; rispetto alla complessità software di questo processo l'hw è una questione banale e puramente quantitativa.

Senza contare che un bladecenter con 28 vecchi Xeon a pieno carico computazionale (durante questi ipotetici rendering) arriva ad assorbire 3KW senza problemi, quindi lo vedo un po' complicato da tenere in casa.
Se poi li si vuol tenere senza supporto praticamente si va a depennare i Blade a uno a uno man mano che si presentano i guasti (perchè tu sai bene quanto me che non è questione di "se" si presentano, ma di "quando" ) perchè i pezzi di ricambio comprati direttamente dall'utente finale costano un occhio della testa (alcuni anche più di tutto il bladecenter stesso).

Tirando le somme mi par di capire che:
1) non si hanno le idee chiare su quale software usare
2) non si ha idea di come funziona una architettura di rendering distribuito
3) a parte citare After Effects (dopo 10 post) non si sa altro lato sw ne è stato provato altro, ne si sa se questo software permetta il rendering distribuito
4) non è stato fatto alcun test nemmeno tra due normali pc domestici

Insomma ci stiamo facendo tanti pipponi mentali su Bladecenter e architetture faraoniche (usate) ma non è affatto chiaro il cuore del problema.

che bello trovare finalmente qualcuno di esperto xD
dato che vedo che sai di cosa si sta parlando, e l'argomento interessa anche a me, io di software di questo tipo conosco Qube!, ButterflyNetRender, Deadline, Rush e RenderPal... che ne pensi?

[einstein1969]

Prememtto che non mi intendo minimamente dell'argomento trattato e intervengo solo per dire che nel lontano 1989 ho lavorato per una società che faceva studi di impatti ambientali e aveva una macchina di rendering dedicata della HP che poteva sfornare delle animazioni in tempo reale con algoritmo di radiosity.

Successivamente e' stato sviluppato un software artigianale che faceva raytracing.
A quel tempo si usavano delle workstation diskless connesse su una rete e facevano il bootstrap da un server centrale.

Sistema operativo HP-UX. Mi sembra che non si parlasse ancora di cluster filesystem et similia.
Il software raytracing spezzettava le immagini in sottoimmagini e le mandava in elaborazione ai vari nodi e man a mano che venivano finiti i lavori venivano assemblati proprio come sta scritto su wikipedia.

Ovviamente ai giorni d'oggi le cose dovrebbero essere cambiate un po'.

Pero' a me sembra che e' stata nominata la parola videogioco... E a meno di non fare un'ennesimo dragon's lair l'interattività del gioco richiede una grossa banda passante tra i nodi di elaborazione credo.

einstein1969

[h4xor 1701]

Originariamente inviato da einstein1969

Prememtto che non mi intendo minimamente dell'argomento trattato e intervengo solo per dire che nel lontano 1989 ho lavorato per una società che faceva studi di impatti ambientali e aveva una macchina di rendering dedicata della HP che poteva sfornare delle animazioni in tempo reale con algoritmo di radiosity.

Successivamente e' stato sviluppato un software artigianale che faceva raytracing.
A quel tempo si usavano delle workstation diskless connesse su una rete e facevano il bootstrap da un server centrale.

Sistema operativo HP-UX. Mi sembra che non si parlasse ancora di cluster filesystem et similia.
Il software raytracing spezzettava le immagini in sottoimmagini e le mandava in elaborazione ai vari nodi e man a mano che venivano finiti i lavori venivano assemblati proprio come sta scritto su wikipedia.

Ovviamente ai giorni d'oggi le cose dovrebbero essere cambiate un po'.

Pero' a me sembra che e' stata nominata la parola videogioco... E a meno di non fare un'ennesimo dragon's lair l'interattività del gioco richiede una grossa banda passante tra i nodi di elaborazione credo.

einstein1969

Bhe riguardo i videogiochi solo ultimamente se ne sta parlando...gaming remoto utilizzando la potenza di calcolo di un server, il top in argomento è senza ombra di dubbio l'Nvidia GRID, un rack server da 3U con doppia CPU Xeon e 8GPU xD.... però penso che per sfruttarlo a dovere si ha bisogno sempre della Gigabit LAN. Anche Microsoft comuque sembra si stia muovendo a favore dell'accelerazione grafica remota, sia Windows 8 che Windows Server 2012, grazie al nuovo protocollo RDP 8 la supportano nativamente con ottimi risultati da quello che ho potuto testare, vagamente paragonabili a connessioni video dirette.