Železo pro fileserver

ez

Re:Železo pro fileserver
« Odpověď #15 kdy: 03. 10. 2012, 19:42:29 »
Jak uz tu zaznelo, pokud bastlit, tak urcite supermicro ci neco podobneho kde je slusny podil cena/vykon/stabilita.

Mame dost podobne naroky a je tu 1U s i7, 32GB RAM + 4x3TB/RAID5=9TB na archiv + 240GB SSD na samba/virtual bordeliste kde dobra propustnost neni k zahozeni. Cele se to veslo do ~50kkc. Jako case staci nejaka rozumna serverova mrcha - http://www.abacus.cz/superserver-5017c-mtf-1u-s1155-2gbe-pci-e8-4ddr3-1333-4sata-ipmi-cerny_d5030868.html

Co se tyce podpory linuxu neni nic co by nefungovalo, *krome* nekterych novejsich RAID radicu. V pripade ze se clovek spali muze se stat ze binarni blob funguje jenom na RHEL/CentOS :(

Vice znackove veci (ibm, dell) jsou drahe a obcas i dosti obstarozni (ojeby typu sc1156 atd), na druhou stranu zase lepsi support v pripade selhani HW. Koupil bych od nich jedine sakumprask storage/server bez jakehokoliv bastleni, a jen v pripade ze to nebude za me penize (oproti bastlu je za stejny vykon zhruba 2-3x ceny). Ale zase on-site vymena jakekoliv komponenty do 4 hodin od zavolani taky neni k zahozeni.


zuzzix

Re:Železo pro fileserver
« Odpověď #16 kdy: 03. 10. 2012, 21:14:14 »
Je to celkem dobrý, ale stále málo. Potřebuji to na 8 SAS disků (fakt pole RAID 10) + SSD na systém + 1 velký backup disk. Jsme projekční firma a data se jen sypou. Otevřených několik projektů v AutoCadu po síti, spousta zápisů, povětšinou malých souborů + na sambě koše pro každou skupinu a každý home + programátoři s projekty ve WinCC a S7 - samé malé soubory, všechno otevírané po sítí kvůli týmové práci + účetní data + data podnikového systému + uložené obrazy disků PC dodávaných zákazníkům + automatické zálohy 2x týdně cca 20GB dat. Momentální živá data se rychle blíží k hranici 2TB. Kvůli tomu se dělá komplet nová síť i včetně HW. Ten IBM server http://www.czc.cz/ibm-system-x3650-m3-7945keg-/88952/produkt?q-c-0-price=r2000-40000&q-order=RELEVANCE by se na to nehodil? Adekvátní k tomu co hledám je v superserverech asi tohle:
http://www.abacus.cz/superserver-6026t-3rf-2u-2s1366-qpt6-4-2gbe-8sas-lsi1068e-12ddr3-ipmi-lp-rps_d5010721.html
Ale zdá se mi to ještě starší (netajím se tím, že tomu moc nerozumím, tak mě když tak opravte :-) Nevíte někdo o něčem novějším,
třeba na ivy-bridge, ale se SAS řadičem? A ano - chtěl bych to mít "all in the box", bez bastlení.

Lenin POWER!

  • ****
  • 434
  • Nekecat a delat!
    • Zobrazit profil
    • Tribut Leninovi
    • E-mail
Re:Železo pro fileserver
« Odpověď #17 kdy: 03. 10. 2012, 21:52:57 »
kup si entry diskovy pole - treba tohle - http://www-03.ibm.com/systems/cz/storage/disk/ds3500/index.html a k tomu pak uz jen nejaky 1RU levny frontend. Interni storage je out, k poli pripojis vice pocitacu a mas to mnohem flexibilnejsi co se administrace tyce.

Zivotnost je tak 5-7 let, to se ti zaplati v pohode.

Re:Železo pro fileserver
« Odpověď #18 kdy: 03. 10. 2012, 22:47:22 »
kup si entry diskovy pole - treba tohle - http://www-03.ibm.com/systems/cz/storage/disk/ds3500/index.html a k tomu pak uz jen nejaky 1RU levny frontend. Interni storage je out, k poli pripojis vice pocitacu a mas to mnohem flexibilnejsi co se administrace tyce.

Zivotnost je tak 5-7 let, to se ti zaplati v pohode.

Takže opět od Lenina rada nad zlato: máš na to 50 tisíc, tak si kup pole za pětašedesát a k tomu frontend za dvacet.

A to je pro změnu důvod, proč zálohovat.
V tomhle konkrétním případě záloha prakticky vůbec nepomůže - je to jenom další neúplná sada dat (protože záloha je samozřejmě nějaký čásek stará - i kdyby jenom hodinu, pořád je na tom hůř než ten zdravý disk, co z RAIDu vypadl). Tak jako tak je s obnovou děsivá drbačka, která by nejspíš nenastala s kvalitním zálohovaným řadičem.

m

Re:Železo pro fileserver
« Odpověď #19 kdy: 03. 10. 2012, 22:51:54 »
V tomhle konkrétním případě záloha prakticky vůbec nepomůže - je to jenom další neúplná sada dat (protože záloha je samozřejmě nějaký čásek stará - i kdyby jenom hodinu, pořád je na tom hůř než ten zdravý disk, co z RAIDu vypadl). Tak jako tak je s obnovou děsivá drbačka, která by nejspíš nenastala s kvalitním zálohovaným řadičem.

A toto riesi online mirror na druhy storage :-) najlepsie geograficky niekde inde (poziar a podobne)
+ samozrejme offline backupy pre kazdy pripad

Ale samozrejme vsetko je to o pomere cena/vykon, resp. o cene ulozenych dat na tom storage.


Re:Železo pro fileserver
« Odpověď #20 kdy: 03. 10. 2012, 23:09:36 »
A toto riesi online mirror na druhy storage :-) najlepsie geograficky niekde inde (poziar a podobne)
+ samozrejme offline backupy pre kazdy pripad
No tak to jsme někde úplně jinde...

Lenin POWER!

  • ****
  • 434
  • Nekecat a delat!
    • Zobrazit profil
    • Tribut Leninovi
    • E-mail
Re:Železo pro fileserver
« Odpověď #21 kdy: 03. 10. 2012, 23:20:17 »
On ma rozpocet 50k czk, tedy $2.5k na HW pro 70 lidi + databazi? To je teda fakt zidovska produkce.

V tomto pripade koupit nejakou vykopavku co nejhorsi aby to management uznal a navysil rozpocet.

Re:Železo pro fileserver
« Odpověď #22 kdy: 03. 10. 2012, 23:23:11 »
On ma rozpocet 50k czk, tedy $2.5k na HW pro 70 lidi + databazi? To je teda fakt zidovska produkce.

V tomto pripade koupit nejakou vykopavku co nejhorsi aby to management uznal a navysil rozpocet.
Nejrozumější by podle mě bylo těch $2.5k dát tobě za hodinu konzultace, abys jim s tim pomoh. Pochybuju, že by to někdo jinej mohl zvládnout.

Trident

Re:Železo pro fileserver
« Odpověď #23 kdy: 04. 10. 2012, 01:06:46 »
par poznamok:
preco nepouzivat 'dobry HW radic' - pretoze clovek musi kupit aspon 2 s identickou reviziou FW, aby mal (nejaku) istotu, ked mu za 5 rokov odide, ze sa k datam este dostane.
A pro změnu jeden důvod, proč nepoužívat SW raid - zrovna se mi to stalo: bohužel někdo natvrdo ze serveru vytáhl napájení, raid se rozpadl a to bohužel takovým způsobem, že jeden disk hlásil chyby čtení (zrovna ten bohužel v raidu zůstal) a druhý byl sice zdravý, ale opožděný. Takže zůstaly dva disky, oba dva s nekompletními daty. Proto se hodí pořádný raid s baterkou. Dokud jsem to nezažil, nevěřil bych, že takhle blbá shoda náhod může s nějakou rozumnou pravděpodobností nastat.
To je argument jak poleno. Tak az si budes resit s recovery firmou to ze firma co vyrabi ten radic nedoda specifikaci a nebo za mastny NDA, tak se pochlub se zkusenostma. Naproti tomu rozbity otevreny sw raid a i ty nejcastejsi uzavrene ti da dohromady leckdo. Od MDcka mas zdrojaky. Dneska se hw raidy vyplati akorat ve spickovych polich a sankach. A tam je podpora o necem jinym. Takova SAN ma vlastni filesystem na kterem pak jedou luny a vyrobce si nemuze dovolit ztratit prestiz tim ze po updatu se ztrati nekolik peta u zakaznika. Na takova mala reseni je to zbytecny. Tecka
Ke ztrate dat muze dojit i kdyz data jeste neodesla na radic ale jsou v OS diskove cache. K cemu je baterka na radici kdyz ostatni data jsou v haji.

Trident

Re:Železo pro fileserver
« Odpověď #24 kdy: 04. 10. 2012, 01:20:19 »
za 40k bez diskov clovek v pohode zozenie pekny zaklad pod openindianu so ZFS - nebal by som sa ist do supermicro case (tichy case, 8 hot-swap diskov) + supermicro MB s integrovanym LSI SAS radicom a 2x GbE, intel x3430, k tomu 8GB ECC RAM, na root a L2ARC cache 2x SSD do zrkadla (nejaky novsi model od intelu) a si na zhruba 28k bez diskov. Ak mas infrastrukturu, tak dalsia 10GbE sietovka je plus cca 8k a si zhruba na strope.

podla poctu diskov by som masinu nakonfiguroval ako RAIDZ2/3, alebo, ak potrebujes viac IOPS, tak ako trojnasobne zrkadla alebo dvojnasobne zrkadla + hotspare.

alebo vsetko uplne inak, ak je mandriva hard requirement, zeano :)

este k diskom - vyhni sa SATA diskom (su half-duplex, UBER nic moc - na kazdych 1.2 TB precitanych maju jednu neopravitelnu chybu, su obvykle designovane na beh 6.5 hodiny denne, ...)
ZFS ma rado JBOD disky. To je oficialni stanovisko Oracle.
Takze veskery raidy softwarovy na zpoolech s arckou na ssdckach jak pises a bude si mlaskat;)
 A co se tyce tech SATA disku tak tomu never. Je to FUD. Stejne jako "design na 6,5 hodiny denne podle MTBF. Na entry-level se pouziji horsi plotny a mid a hiend lepsi. Projed si vyzkum googlu ktery pouziva bezne zelezo. Disky jsou jen spatne a dobre a ty vyborne se davaji velkym zakaznikum. Z poli se stejne momentalne vyhazuji 15k disky, protoze se hodne zvysila shitovitost. Fiber channely to maji spocitane. Vyrabi je jen dva vyrobci a jsou nahrazovany levnejsimi SAS. Pro low performance pooly se pouzivaji i hromady SATA disku a to i ve velkych SANkach jako USP-V nebo IBM DS. Poutovy technologie od EMC vyrazuji;) Takze bych si nechal ten despekt k SATA.

Trident

Re:Železo pro fileserver
« Odpověď #25 kdy: 04. 10. 2012, 01:38:22 »
Tak tohle je opravdu prcek. Ale myslím, že to naše nároky neuspokojí. Je to pro cca 70 PC, poběží na tom samba, pdc, dhcp, vpn, 1 virtualni stroj s podnikovou DB, musí být vysoká dostupnost, jak psal někdo výše redundantní konektivita - 3x eth do mostu (právě řešíme problém s nedostupností kvůli jendomu splašenému PC) a to ještě nebude všechno. Proto mám na mysli spíše to 4 jádro,  3 eth, 8-16 GB RAM, 4-8 SAS disků na RAID 10 (to vypadá slušně, neznal jsem, díky), atd... Už se to začíná rýsovat, ale ještě pořád nevím, jaké konkrétně železo by to mělo být.
O zadny HA jsi prve nic nerikal. To je uplne jina liga;) Teda spis ta financni. Navic mas platformu(PC) a hw beznou serverovou desku ktera nikdy nebude vysoce dostupna. Odejde cpucko,radic,pamet atd. a budto si to rekne a chcipne do kernel panicu s resetem a nebo to hned chcipne. Na naky vymeny komponent za behu, redundantni pripojeni disku(coz by slo pres to pole jak navrhoval lenin), zalozni hot-spare komponenty atp. zapomen! To bys musel nejdriv za tou cenou zmenit menovou znacku na tvrdsi menu;)

Naka redundantni konektivita je ti na nic kdyz nemas alespon dvoji sit nebo dva smery(treba okruh v miste). Doufam ze vsechny ty ethernety nebudou koncit v jednom switchi na jednom subnetu. Velmi malo se mi stava ze nam v bunkru odejde ethernet interface. Za mou karieru jen 3x a v jednom pripade cela petiportova sitovka. Spis je problem nekde v zadekakovech kde i indukce z blesku oddela porty. To spis odchazeji karty ve switchich casteji.
Lepe v tvem pripade tedy udelat HA z dvou levnych stroju a resit sw bazi. HA Samba by te mohla zajimat.

Re:Železo pro fileserver
« Odpověď #26 kdy: 04. 10. 2012, 08:04:36 »
To je argument jak poleno.
Chtěl jsem jenom říct, že sw raid má taky svoje problémy. Čemu dá kdo přednost, to už je jeho věc, ale není to tak, že sw raid mouchy nemá.

Já osobně taky používám sw raidy - nejenom kvůli tomu, že se k datům snáz dostanu (např. implementace mirroru na BSD je geniální v tom, že metadata jsou na konci, takže když se podpora raidu vypne, k datům se dá úplně normálně přistupovat, jakoby disk vůbec v raidu nikdy nebyl), ale i proto, že v prostředí normální firmy dává imho sw raid odpovídající poměr cena/výkon. Ale svoje háčky to má taky, ne že ne.

Jinak co se týče té kompatibility řadičů, nevím, jestli trochu nemalujete čerta na zeď - viz např. http://goo.gl/WI7Ep Osobní zkušenosti s tím ale nemám, prodávám, jak jsem koupil od Adaptecu.

Ke ztrate dat muze dojit i kdyz data jeste neodesla na radic ale jsou v OS diskove cache. K cemu je baterka na radici kdyz ostatni data jsou v haji.
Tyhle low level věci jsem nikdy neměl potřebu detailně zkoumat, ale doteď jsem žil v domění, že tam, kde je důležitá konzistence, si tohle slušně vychovaný OS nebo aplikace hlídá. Udělat v patřičnou chvíli fsync není žádné raketové inženýrství. U zálohovanho hw raidu mi to dává velmi slušnou jistotu, že se data opravdu zapíšou. Mám tak aspoň zajištěné, že v konzistentním stavu zůstane filesystém a databáze. O nějaký ten soubor přijít můžu, ale to vychází z principu věci a žádný řadič tomu zabránit nemůže.

Re:Železo pro fileserver
« Odpověď #27 kdy: 04. 10. 2012, 08:22:04 »
U zálohovanho hw raidu mi to dává velmi slušnou jistotu, že se data opravdu zapíšou.
Přesněji řečeno, že se zapíšou a zároveň nepřijdu o cachování.

j

Re:Železo pro fileserver
« Odpověď #28 kdy: 04. 10. 2012, 17:52:36 »
2zuzzix: Hele, ty mas ale pozadavky za o rad vyssi ceny ... bud chces levny zelezo a pak zapomen na jakoukoli dostupnost - kdyz to chcipne tak to chcipne a nebo potrebujes pole. A resit 70PC + databazi na takovymhle vraku ... lol si delas zadek ...

Pro zajimavost, VNX5k1 stoji bez disku, supportu ... cca 4k eur (v zakladu ma 24x 2.5 SATA/SAS). S diskama a supportem se pak dostanes s jednou krabici na 15-20k Ecek.

DJ

Re:Železo pro fileserver
« Odpověď #29 kdy: 04. 10. 2012, 19:30:08 »