Le foto dei nostri server

[PhoEniX-VooDoo]

Originariamente inviato da malatodihardware

Provo ad indovinare:
- SAN autocostruita (NexentaStor / NappIt?)
- Mediacenter (a giudicare dal cavo HDMI)
- Cluster con due host 2U (Hyper-V/Vmware)
- L'ultimo, anche se uguale ai due sopra, dai collegamenti sembra fuori dal cluster

si, quasi

(dall'alto)

SAN / Storage

- Supermicro X8DTE-f + 1xE5620 2.40@2.00 + 24GB ECC Reg DDR3 1333
- LSI 9240 --> 2x Toshiba 2.5" 7200rpm 500GB RAID1 --> OS (Ubuntu 14.04) + SSD data backup
- LSI 9240 --> 2x intel 730 480GB --> iSCSI (LIO) --> SAN/esxi datastore (multipath active/active + VAAI / hw acceleration)
- adaptec 5405 (256MB+BBU) --> 4x WD RE4 1TB RAID5 (3TB) --> samba+nfs --> NAS
- WD RED 3TB --> NAS backup
- 2x intel Pro 1000 Server


ESXi-1

- Supermicro X8DTE-f + 1xE5620 2.40@2.00 + 24GB ECC Reg DDR3 1333
- WD RE4 500GB (local datastore)
- HP 331T Quad Gigabit


ESXi-2

- Supermicro X8DTE-f + 1xE5620 2.40@2.00 + 24GB ECC Reg DDR3 1333
- WD RE4 500GB (local datastore)
- HP 331T Quad Gigabit

Ora tutta la baracca sta connessa a 1 gigabit (anche se grazie al multipath vado a 2 tra storage ed esxi) ma sto passando a infiniband (IPoIB) a 40 Gigabit (per lo storage)


Quello in mezzo non e' un mediacenter ma la mia workstation che risiede direttamente nel rack. Il cavo e' un DVI-DL da 5metri. Si capira' meglio da altre foto


Quello in fondo e' spento, e' uno Xeon X3440 con 8GB di RAM e 6x WD RE3 500GB con installato FreeNAS (su chiavetta) per quando avro tempo...

In mezzo c'e ancora un piccolo server 1U che accendo solo se mi serve uno storage di rete dove muovere le macchine virtuali mentre faccio cose strane sulla SAN e non voglio spostarle sui datastore locali


P.S. nella foto mancano alcuni collegamenti di aliemntazione ecc, l'avevo fatta per ricordarmi come avevo collegato le cose

[AMD_Edo]

Bello il "sedere" dei tuoi server!
Ma vorrei vedere anche la "faccia"!

Scherzi a parte devo rinnovare una parte del comparto server di casa, nello specifico il server per lo storage, e sono curioso di scoprire quali case hai scelto.

Una curiosità: tra storage e i due host exsi hai scelto di usare iscsi, come ti trovi?
Io tra i miei host kvm (ma tanto è lo stesso) e l'attuale storage server uso nfs e le tue stesse schede HP 331 (che poi montano chipset Broadcom) in bonding. Mai avuto un problema ma sono incuriosito da iscsi perchè (in via teorica) avendo meno overhead dovrebbe garantire prestazioni migliori..

[PhoEniX-VooDoo]

ecco qualche foto










questo è il mio "ufficio", per contestualizzare il tutto



(ne ho ancora qualcuna se interessa)


ciao

[zano27]

Interessa interessa....

[zano27]

Ma il monitor che si vede acceso, è collegato direttamente al rack?
Non si vede nemmeno un cavo..lavoro certosino.

[x9drive9in]

Tra cablaggio e allestimento dell'armadio hai fatto davvero un ottimo lavoro!
Posso chiederti che uso ne farai di tutto quell'ambaradan? Lavorativo, testing...

[PhoEniX-VooDoo]

si praticamente il mio PC (il secondo dall'alto) è nel rack a cui vanno DVI, audio e un singolo cavo USB che collega la tastiera.
La tastiera, avendo due porte USB mi permette di collegarci il mouse ed una seconda periferica (chiavetta ecc) senza dovermi alzare e collegarla al PC.


da qua si possono vedere i cavi che scendono lungo la gamba del tavolo e vanno nella canalina. Più a d estra c'e un po di casino, nell'angolo a destra va solitamente una postazione di test, ora i cavi sono un po penzolanti perche i nquesti giorni ho fatto una marea di prove, poi li sistemo.




questa invece è una vista di fronte. si vede meglio la postazione di test..




Questa è la "parete" con tutta la mia robba




qualche dettaglio

[AMD_Edo]

Complimenti per l'ordine... nella mia sala sarebbe impossibile da mantenere!

Che case hai usato? Tutti supermicro (oltre ad un chieftec per la tua workstation)?

Di nuovo complimenti... soprattutto per la collezione di schede raid LSI e per le due scatole di Pentium III

[PhoEniX-VooDoo]

Originariamente inviato da x9drive9in

Tra cablaggio e allestimento dell'armadio hai fatto davvero un ottimo lavoro!
Posso chiederti che uso ne farai di tutto quell'ambaradan? Lavorativo, testing...

passione, interesse, test nel senso di provare cose nuove ecc.
per lavoro no, almeno non direttamente (faccio il sistemista in ambito HPC)

Originariamente inviato da AMD_Edo

Complimenti per l'ordine... nella mia sala sarebbe impossibile da mantenere!

Che case hai usato? Tutti supermicro (oltre ad un chieftec per la tua workstation)?

Di nuovo complimenti... soprattutto per la collezione di schede raid LSI e per le due scatole di Pentium III

I case 2U sono SuperMicro SuperChassis SC822T-400LPB.
Quello 4U/storage è un SuperMicro SuperChassis SC733TQ-465B
Il Chieftec non è particolarmente bello ma supporta schede madri E-ATX ed è adatto per stare in rack quindi va benissimo nel mio caso.

Le schede che vedi li sono la punta dell'iceberg, colleziono CPU e schede video "che vale la pena avere" e che per esporre mi servirebbe un mobile del genere, dedicato

Le scatole dei Pentium3 e del celeron sono nuove e sigillate

[jerry74]

Originariamente inviato da PhoEniX-VooDoo

passione, interesse, test nel senso di provare cose nuove ecc.
per lavoro no, almeno non direttamente (faccio il sistemista in ambito HPC)

Un paio di domande:

1) il sistema non è un po' rumoroso per lavorarci nella stessa stanza?
2) non si vede il modello dell'ups, cosa monti?

[Dane]

x Phoenix

se metti un supermicro al posto del "cacca"-chieftec ti guadagni l'appellativo uomo-supermicro del forum



....cmq con la stanza non ci siamo..... Poi l'armadio è proprio brutto forte.....





(nel caso non si fosse capito era ironico)

[AMD_Edo]

Originariamente inviato da PhoEniX-VooDoo

passione, interesse, test nel senso di provare cose nuove ecc.
per lavoro no, almeno non direttamente (faccio il sistemista in ambito HPC)

Io il sistemista in un'universitá in Brasile... niente di HPC ma tanta virtualizzazione, file systems distribuiti (glusterfs) e high avaibility. Ma devo dire che il mondo HPC e della parallelizzazione spinta mi intriga tantissimo!!!! Bravo!

Originariamente inviato da PhoEniX-VooDoo

I case 2U sono SuperMicro SuperChassis SC822T-400LPB.
Quello 4U/storage è un SuperMicro SuperChassis SC733TQ-465B
Il Chieftec non è particolarmente bello ma supporta schede madri E-ATX ed è adatto per stare in rack quindi va benissimo nel mio caso.

Dove compri il matariale SuperMicro? Hai un rivenditore a cui ti affidi? Te lo chiedo perchè a settembre passeró le ferie a casa (Verona) e approfitterei dell'occasione per fare un pó di shopping. In Brasile il materiale SuperMicro é diverse unitá di misura piú costoso del materiale IBM/Lenovo, HP e Dell.

Originariamente inviato da PhoEniX-VooDoo

Le schede che vedi li sono la punta dell'iceberg, colleziono CPU e schede video "che vale la pena avere" e che per esporre mi servirebbe un mobile del genere, dedicato
Le scatole dei Pentium3 e del celeron sono nuove e sigillate

Che vale la pena avere? ossia superpompate o chicche "storiche"?
Comunque sono colpito molto dalle schede LSI (vedo che alcune montano acceleratori xor motorola!)... hai investito parecchio! Bravo!

Originariamente inviato da jerry74

Un paio di domande:

1) il sistema non è un po' rumoroso per lavorarci nella stessa stanza?
2) non si vede il modello dell'ups, cosa monti?

Puó non essere rumoroso... ho dei server HP con processori exacore e ht praticamente inudibili...
L'UPS é un APC in versione rack (solo non so dirti la capacitá)

Originariamente inviato da Dane

x Phoenix

se metti un supermicro al posto del "cacca"-chieftec ti guadagni l'appellativo uomo-supermicro del forum



....cmq con la stanza non ci siamo..... Poi l'armadio è proprio brutto forte.....





(nel caso non si fosse capito era ironico)

Io che ho un buon cuore ho giá contrattato una banda di albanes...ehm... arredatori per ripulirgli la stanza!

[PhoEniX-VooDoo]

Originariamente inviato da jerry74

Un paio di domande:

1) il sistema non è un po' rumoroso per lavorarci nella stessa stanza?
2) non si vede il modello dell'ups, cosa monti?

Il 99% del tempo che passo al computer ho sempre la musica che anche a bassissimo volume (di notte) copre il rumore.
Considera che è tutto modificato per essere piu silenzioso ed efficente possibile. Il risultato è molto simile ad uno di quei ventilatori da tavolo che magari usi in estate, un rumore molto soft diciamo

L'UPS è un APC SMT750RMI2U 500W, 750VA) a cui sono collegati

- La SAN
- I due ESXi host
- I due switch che sono un Cisco SG300-10 che si vede davanti ed un Cisco SG100-16 sul retro.

Il carico è del 50%, 245W-250W.

Originariamente inviato da AMD_Edo

Dove compri il matariale SuperMicro? Hai un rivenditore a cui ti affidi? Te lo chiedo perchè a settembre passeró le ferie a casa (Verona) e approfitterei dell'occasione per fare un pó di shopping. In Brasile il materiale SuperMicro é diverse unitá di misura piú costoso del materiale IBM/Lenovo, HP e Dell.

no nessun rivenditore particolare, li ho presi online dove li ho trovati a meno; in ogni caso tutta la roba server costa un botto..
io ho puntato su supermicro semplicemente perchè è l'unica alternativa per il "do it yourself".
a volte ci sono offerte interessanti da DELL o HP ad esempio, ma poi i caddy dei dischi te li devi procurare su ebay, se apri il server è tutto super proprietario con zero spazio di "manovra" e così via...

Originariamente inviato da AMD_Edo

Che vale la pena avere? ossia superpompate o chicche "storiche"?
Comunque sono colpito molto dalle schede LSI (vedo che alcune montano acceleratori xor motorola!)... hai investito parecchio! Bravo!

Ho tutta la collezione 3dfx (tranne la 6000)
Poi le prime Radeon (SDR, DDR, DDR 64) ed alcune 8500
Diverse GeForce, citerei la 256, la II Ultra, la 3 e poi alcuni modelli particolari della serie 4.
Poi alcune chicche come la Matrox Parhelia, la Ati Rage Fury MAXX, la Kyro II ed una montagna di altre che ora mi sfuggono

Sui processori sono fissato in particolare con i Pentium 3 Tualatin, li ho tutti, inclusi due 1400S 512K con tanto di scheda madre (dual) e 512MB di RIMM


Nella foto che vedi solo le 3 schede a sinistra sono LSI e sono tre "semplici" HBA.
Quelli a destra sono tre Adaptec (3405 5405 e 6805E) ed un 3ware (LSI) 9650SE 8
Quelle appoggiate in mezzo invece sono le tre schede Infiniband Mellanox ConnectX2 (2porte a 40Gbit)



Cmq ti svelo un segreto: nell'HPC quello che è vecchio/da buttare (=3 anni di vita) per il mondo "normale" spesso non è ancora nemmeno arrivato (si buttano le schede a 10Giga..) quindi molta di questa roba viene da cluster dismessi che hanno raggiunto l'età del pensionamento

[Tasslehoff]

Complimenti davvero per l'ordine e la pulizia, essendo abituato a lavorare nelle condizioni più improbabili avrei fatto molta fatica a crederti se mi avessi descritto il tuo studio senza fotografie
Potrei stupire il thread con le scene più folli che ho trovato nei datacenter dei clienti dove ho lavorato e tutt'ora lavoro, purtroppo essendo principalmente enti di PA non posso farlo per questioni legali, rischierei rogne penali

[Kaya]

Originariamente inviato da Tasslehoff

Complimenti davvero per l'ordine e la pulizia, essendo abituato a lavorare nelle condizioni più improbabili avrei fatto molta fatica a crederti se mi avessi descritto il tuo studio senza fotografie
Potrei stupire il thread con le scene più folli che ho trovato nei datacenter dei clienti dove ho lavorato e tutt'ora lavoro, purtroppo essendo principalmente enti di PA non posso farlo per questioni legali, rischierei rogne penali

Sei venuto a trovarmi e non me l'hai detto???

[Tasslehoff]

Originariamente inviato da Kaya

Sei venuto a trovarmi e non me l'hai detto???

Guarda te ne dico solo una per tutte (però è pericoloso, rischiamo di entrare in un girone dantesco di casistiche e reply che potrebbe finire tra anni ).

Un grosso cliente anni fa ha traslocato il datacenter (dal piano più alto dell'edificio al piano interrato, questa pensata l'avrà fatta un premio nobel... tutti spostano i datacenter più in alto per essere agevolati con gli impianti di raffreddamento, questi l'opposto... il tutto poi in una città con noti problemi di infiltrazioni idriche...) spendendo qualche milione di euro solo per i lavori di muratura, impiantistica e raffreddamento.
Trasloco fatto "a membro di segugio" staccando i cavi di rete e portando direttamente gli armadi da un ambiete all'altro così com'erano, con dentro le foreste di mangrovie di cavi di alimentazione, rete, fibre etc etc etc...
Dopo il trasloco accendono tutto, attenzione ai dettagli... prima hanno traslocato gli armadi, poi hanno fatto il primo test dell'impianto di raffreddamento, nel mezzo lavori di muratura di ogni tipo (da elettricisti che trapanavano pannelli e gesso, ai muratori che segavano pareti con i flessibili e martelli elettrici etc etc...).
Il risultato è stata una imbiancata totale di diverse decine di rack (con tutto, server, storage, apparati di rete, tape libraries, persino in un mainframe IBM zSeries con il suo apparato di storage dedicato, non sto neanche a pensare a quanti milioni di euro di hw ci sarà stata in quella sala) causata dall'accensione degli impianti di raffreddamento le cui tubature nel frattempo si erano riempiti di polvere, calcinacci, sabbia etc etc... sparati a tutta potenza proprio in faccia ai rack aperti.

Non vi dico la moria di dischi che c'è stata nei mesi successivi

[nanotek]

Originariamente inviato da Tasslehoff

Non vi dico la moria di dischi che c'è stata nei mesi successivi

Hanno respirato aria troppo inquinata ?

[AMD_Edo]

Originariamente inviato da Tasslehoff

Guarda te ne dico solo una per tutte (però è pericoloso, rischiamo di entrare in un girone dantesco di casistiche e reply che potrebbe finire tra anni ).

Un grosso cliente anni fa ha traslocato il datacenter (dal piano più alto dell'edificio al piano interrato, questa pensata l'avrà fatta un premio nobel... tutti spostano i datacenter più in alto per essere agevolati con gli impianti di raffreddamento, questi l'opposto... il tutto poi in una città con noti problemi di infiltrazioni idriche...) spendendo qualche milione di euro solo per i lavori di muratura, impiantistica e raffreddamento.
Trasloco fatto "a membro di segugio" staccando i cavi di rete e portando direttamente gli armadi da un ambiete all'altro così com'erano, con dentro le foreste di mangrovie di cavi di alimentazione, rete, fibre etc etc etc...
Dopo il trasloco accendono tutto, attenzione ai dettagli... prima hanno traslocato gli armadi, poi hanno fatto il primo test dell'impianto di raffreddamento, nel mezzo lavori di muratura di ogni tipo (da elettricisti che trapanavano pannelli e gesso, ai muratori che segavano pareti con i flessibili e martelli elettrici etc etc...).
Il risultato è stata una imbiancata totale di diverse decine di rack (con tutto, server, storage, apparati di rete, tape libraries, persino in un mainframe IBM zSeries con il suo apparato di storage dedicato, non sto neanche a pensare a quanti milioni di euro di hw ci sarà stata in quella sala) causata dall'accensione degli impianti di raffreddamento le cui tubature nel frattempo si erano riempiti di polvere, calcinacci, sabbia etc etc... sparati a tutta potenza proprio in faccia ai rack aperti.

Non vi dico la moria di dischi che c'è stata nei mesi successivi

Giuro che questa non l'ho mai vista... il massimo per me è stato vedere un armadio rack spostato da un locale all'altro (ovviamente hanno tagliato i cavi di rete collegati ai patch panel senza annotare come erano divise le linee) con tutte le "elettroniche" dentro e collocato nel nuovo locale capovolto a testa in giù (ovviamente anche i server erano a testa in giù!).

[menk]

Originariamente inviato da PhoEniX-VooDoo

si, quasi

(dall'alto)

SAN / Storage

- Supermicro X8DTE-f + 1xE5620 2.40@2.00 + 24GB ECC Reg DDR3 1333
- LSI 9240 --> 2x Toshiba 2.5" 7200rpm 500GB RAID1 --> OS (Ubuntu 14.04) + SSD data backup
- LSI 9240 --> 2x intel 730 480GB --> iSCSI (LIO) --> SAN/esxi datastore (multipath active/active + VAAI / hw acceleration)
- adaptec 5405 (256MB+BBU) --> 4x WD RE4 1TB RAID5 (3TB) --> samba+nfs --> NAS
- WD RED 3TB --> NAS backup
- 2x intel Pro 1000 Server


ESXi-1

- Supermicro X8DTE-f + 1xE5620 2.40@2.00 + 24GB ECC Reg DDR3 1333
- WD RE4 500GB (local datastore)
- HP 331T Quad Gigabit


ESXi-2

- Supermicro X8DTE-f + 1xE5620 2.40@2.00 + 24GB ECC Reg DDR3 1333
- WD RE4 500GB (local datastore)
- HP 331T Quad Gigabit

Ora tutta la baracca sta connessa a 1 gigabit (anche se grazie al multipath vado a 2 tra storage ed esxi) ma sto passando a infiniband (IPoIB) a 40 Gigabit (per lo storage)


Quello in mezzo non e' un mediacenter ma la mia workstation che risiede direttamente nel rack. Il cavo e' un DVI-DL da 5metri. Si capira' meglio da altre foto


Quello in fondo e' spento, e' uno Xeon X3440 con 8GB di RAM e 6x WD RE3 500GB con installato FreeNAS (su chiavetta) per quando avro tempo...

In mezzo c'e ancora un piccolo server 1U che accendo solo se mi serve uno storage di rete dove muovere le macchine virtuali mentre faccio cose strane sulla SAN e non voglio spostarle sui datastore locali


P.S. nella foto mancano alcuni collegamenti di aliemntazione ecc, l'avevo fatta per ricordarmi come avevo collegato le cose

ciao phoenix,
come mai ubuntu 14.04 come scelta per la san e non qualcosa di già pronto nonostante il DIY /tipo freenas,nexenta ecc)?
dacci qualche dettaglio in + sulla configurazione (FS ecc)...

[PhoEniX-VooDoo]

Originariamente inviato da menk

ciao phoenix,
come mai ubuntu 14.04 come scelta per la san e non qualcosa di già pronto nonostante il DIY /tipo freenas,nexenta ecc)?
dacci qualche dettaglio in + sulla configurazione (FS ecc)...

ciao menk

ho usato una distribuzione linux invece di soluzioni integrate perche' mi interessa migliorare le skill in ambito storage.
ho usato ubuntu 14.04 perche' e disponibile il kernel 3.13 e nel 3.12 e' stato implementato il supporto VAAI su vmware tramite iSCSI (LIO). le altre distribuzioni principali sono ferme alla 3.10 o inferiore..

ho un server dedicato per le prove di soluzioni integrate cmq, al momento sto iniziando a guardare FreeNAS..


questa e' la configurazione attuale


sda 500GB raid1 volume (2x Toshiba 500GB 7200rpm 2.5" ) su LSI 9240-8i
- sda1 partizione di swap (4GB)
- sda2 partizione di root (90GB per stare largo)
- sda3 partizione "/bkp" (400GB) in caso di necessita' varie

sdb 480GB raid1 volume (2x intel SSD 730 480GB) su LSI 9240-8i
- sdb1 partizione LVM (400GB)
- volume logico da 400GB in ext4 "/datastore' esportato via iSCSI su 4 reti (2x esxi host). link diretti "back-to'back"

sdc 3TB raid5 volume (4x WD RE4 1TB) su adaptec 5405 (256MB+BBU)
- sdc1 partizione LVM (3TB)
- volume logico 3TB in ext4 "/nas". sottocartelle varie esportate via samba e NFS

sdd 3TB (1x WD RED 3TB)
- sdd1 partizione ext4 "/nasbkp" dove vengono eseguiti backup del NAS


ciao !