DRBD su fibra o su lan 1gbit?

[daniele_dll]

Hola,

sto acquistando dei server usati per lo storage (degli EMC Centerra SN3) per mettere su un attivo/passivo con drbd+heartbeat+iscsi e ho visto, mentre guardavo per l'hardware, che le macchine a cui ero interessato avevano una porta sfp (per la fibra)

Premetto che vorrei utilizzare DRBD in modalità C, ovvero continua a lavorare dopo esserti accertato che i dati sono stati ricevuti e scritti dalle altre macchine, di conseguenza ci saranno degli inevitabili rallentamenti dovuti ai dischi.

Non avendo mai lavorato con la fibra e avendo queste macchine 3 porte 1gbit mi chiedevo se converrebbe spendere qualcosa in più per farli lavorare su fibra, anche perché avrei la necessità di separare la rete interna dei server di storage dalla rete dei server con le macchine virtuali quindi dovrei aggiungere una seconda scheda per la fibra ad ogni macchina dello storage, oppure se mi conviene usare la gigabit.

Note aggiuntive:
- i dischi sono normali dischi sata da 500gb (e visto l'hardware della macchina immagino che il controller sata sia 1.5Gb e non 3.0Gb);
- uso delle macchine virtuali (attualmente ne ho 4, ma con buona probabilità diventeranno 5 all'arrivo delle macchine) che svolgono compiti estremamente leggeri (svn + git + redmine + altro per la gestione dei progetti, samba con dominio, macchina di sviluppo web con xdmcp, macchina di sviluppo C/C++/C# con xdmcp ... la quintà monterà un centralino voip con freeswitch, non dovrebbe avere problemi a girare dentro una macchina virtuale);
- per ridurre il lavoro degli switch farò 3 reti fisicamente separate, una normale rete su cui ci passa il traffico generale, una rete tra il server che tiene le macchine virtuali (che spero a breve diverranno due) e le macchine di storage ed infine una rete interna tra le macchine di storage per far sincronizzare drbd.

Detto tutto questo, un pò mi immagino la risposta, ovvero che mi conviene stare sull'ethernet normale piuttosto che usare gigabit ... ma è importante avere pareri da chi ci lavora su queste cose

Aspetto risposte, danke

[deleted_29]

c'è un motivo particolare per usare macchine obsolete, nonchè drbd in una lan (il che lo rende sostanzialmente privo di senso?)

ne ho usata qualcuna (anni fa) e non ne ho un gran ricordo, un PC "da ipermercato" odierno è di gran lunga più veloce, e perfino nassettini qnap economici (iscsi) li sorpassano di gran lunga.
non è insolito con questi ultimi arrivare ad una velocità burst "vera" sui 90MB/s in lettura e scrittura, i centera (se sei fortunato) arrivano a 1/4 di tale banda (notevolmente poi ridotta, ovviamente, da drdb)

temo quindi che stai mettendo in piedi una struttura inutilmente complicata e per di più lenta
---
per la domanda la risposta è... non ne ho idea, la documentazione EMC è quantomeno lacunosa (o meglio quella cui ho avuto accesso)
---
"fibra", nel tuo caso, può avere un senso per disaccoppiare elettricamente le macchine, nel qual caso dovrai alimentarle con gruppi di continuità diversi. Sotto questo profilo (ossia evitare una propagazione ad es. dovuta a fulmine sulla rete in rame) può avere un senso, imho

Ma, nuovamente, i costi sono probabilmente assai superiori ad usare dispositivi di backup alla fin fine più affidabili
---
In tutti i casi... posta un po' di foto... pur essendo ormai obsoleti sono pur sempre apparati interessanti

[daniele_dll]

mmm, vorrei usare drbd per avere una maggiore ridondanza, non per altro, ho la fobia della perdita dei dati e, oltre a questo, cercavo delle macchine da mettere in rack perché a breve prenderò un armadio per iniziare a mettere un po di ordine nel caos del mio ufficio (tra poco avrò bisogno di mappa e bussola per muovermi ^^)

interessante l'idea di disaccoppiare elettricamente le machine, anche se in ufficio ho uno stabilizzatore collegato direttamente al pannello principale quindi se passa qualcosa da li ... beh ... penso che solo una preghiera mi possa salvare ... scherzi a parte e comunque una cosa a cui non avevo mai pensato!

Le macchine a cui avevo pensato erano queste
http://cgi.ebay.it/ws/eBayISAPI.dll?...m=260735426050

Le davano già con HDD con garanzia di 12 mesi e fattura quindi sto abbastanza tranquillo (tra drbd e backups giornalieri è difficile che rimanga bloccato)

detto questo, ho avuto a che fare con un qnap di recente, ma da quanto ho visto non posso nemmeno eliminare le cartelle condivise di default :\ (per carità, ho speso solo mezz'ora a cercare di capire come fare tramite il pannello di configurazione dopo di che le ho lasciate dov'erano ... però sinceramente non mi hanno fatto una bella impressione)

io avrei bisogno di metter su iscsi o, per lo meno, nfs+ext3 visto che alla fin fine devo usarle come storage per le macchine virtuali, perché

in ogni caso, ho trovato una soluzione migliore, spendendoci qualcosina in più, però rimane comunque tutto su cavo ethernet.

ma, tornando alla domanda iniziale: che differenza ci potrebbe essere tra una fibra ad 1gb ed una ethernet ad 1 gb? ovviamente come velocità sono uguali ... ma come latenza? corruzione dei pacchetti? conviene di più la fibra o i margini sono molto bassi?


EDIT:
alternativamente, se dovessi riscontrare eccessiva lentezza, potrei fare ocfs2+drdb con doppio primario (attivo/attivo) cosi da ridistribuire il carico su entrambe le macchine ... pensi che sia rischioso? ... soprattutto in caso di splitbrain ... cosa conviene fare in quei casi? una preghiera?

[deleted_29]

Originariamente inviato da daniele_dll
mmm, vorrei usare drbd per avere una maggiore ridondanza, non per altro, ho la fobia della perdita dei dati (...)

Tieni aggiornati i codici SHA1 dei file "archiviati", voglio sperare, e li controlli?
Hai già fatto un programmello per confrontare gli hash con la data di modifica?

Se vuoi un "paranoico-dei-dati" ne hai trovato uno

e, oltre a questo, cercavo delle macchine da mettere in rack ...

Non avevo considerato il costo, è davvero basso, e le rende appetibili.

interessante l'idea di disaccoppiare elettricamente le machine, anche se in ufficio ho uno stabilizzatore collegato direttamente al pannello principale quindi se passa qualcosa da li ... beh ... penso che solo una preghiera mi possa salvare ... scherzi a parte e comunque una cosa a cui non avevo mai pensato!

Pensa allora anche a mettere due optoaccoppiatori (o un trattino in fibra) tra la DSL e lo switch principale, i fulmini arrivano facilmente dai doppini telecom e "puffff..." te li trovi ovunque.

detto questo, ho avuto a che fare con un qnap di recente, ma da quanto ho visto non posso nemmeno eliminare le cartelle condivise di default :\ (per carità, ho speso solo mezz'ora a cercare di capire come fare tramite il pannello di configurazione dopo di che le ho lasciate dov'erano ... però sinceramente non mi hanno fatto una bella impressione)

Invece a me tra i vari NAS che ho provato (praticamente tutti direi della fascia "umana") sono quelli che risultano migliori sotto il profilo delle prestazioni, di gran lunga.
Considera che un modellino da 400 euro con due WD RE4 (che poi non sono altro che atom mono-dual core con 1GB di RAM) è più veloce di una macchina i7 con FreeNAS

Ma, come in tutte le cose, si va anche a "simpatia"

ma, tornando alla domanda iniziale: che differenza ci potrebbe essere tra una fibra ad 1gb ed una ethernet ad 1 gb? ovviamente come velocità sono uguali ... ma come latenza? corruzione dei pacchetti? conviene di più la fibra o i margini sono molto bassi?

Dal punto di vista delle prestazioni direi che non ci sono differenze, anche esaminando i frame di incapsulazione FDDI.
Si potrebbe questionare nel caso di trunk ethernet molto trafficati (=collisioni), ma direi che usi al 99.99999999999999% degli switch e quindi direi neppure quello.

Così a occhio l'unico "vero" beneficio che mi viene in mente è usare una fibra monomodale e piazzare gli apparati ad un 2km di distanza, per salvare le orecchie dal rumore delle malefiche ventoline (che se non ricordo male sulle EMC fanno una bobba non da poco)

alternativamente, se dovessi riscontrare eccessiva lentezza, potrei fare ocfs2+drdb con doppio primario (attivo/attivo) cosi da ridistribuire il carico su entrambe le macchine ... pensi che sia rischioso? ... soprattutto in caso di splitbrain ... cosa conviene fare in quei casi? una preghiera?

Guarda, io non mi fido mai di niente e nessuno, neppure di me stesso.

Quindi difesa in profondità, ridondanza sia nell'hardware che nel software che nelle metodologie che usi

E, soprattutto, disaster TEST e verifica-verifica-verifica dei dati nonsullatuamacchina nonsullatuamacchina

Personalmente, in linea generale, non sono particolarmente a favore di apparati "strani" di backup se non in caso di richieste storage gigantesche.

Quello che mi piace di più è (dopo tutto il resto, dischi, RAID, NAS, blue ray [insensibilità ai campi magnetici] e chi più ne ha ne metta)... un paio di hardiskini USB3 sui quali far copiare il grosso dei dati "frequenti".

Perchè quando capita il "disastro", basta staccarne uno ed attaccarlo a qualsiasi altra cosa et voilà saltano fuori i dati.
Senza dover fare rebuild strani, accedere a storage proprietario, trasferire gigabyte su rete (ci possono volere anche delle ore) etc
Smontare i vari server per prenderne gli HD, montare filesystem strani, riattivare snapshot etc.

----
Detto tutto questo: sticazzi, a quel prezzo però quasi quasi cambio idea

PS mi occupo di valutazione del rischio informatico, come penso si possa intuire, se vuoi mi "lancio" con ben altri suggerimenti