Zobrazit příspěvky
661
Server / Re:Současný hardware pro 1PB storage
« kdy: 26. 06. 2018, 07:46:55 »Zkusím se trochu zasnít:Dekuji za smysluplnou reakci. Resim celkovou raw kapacitu 1PB, jak si to rozdelim pak je na me a mych pozadavcich ktere jsou mimo tuhle diskusi. Do racku by se AFAIK melo vejit 1PB bez problemu, treba backblaze ma ve 4U 60 disku, to co mam ted je takove na kolene poskladane reseni, ale kapacitne to nezabira vice nez 6U se 4tb disky, tudiz by to melo jit. Co se tyce ram a desek - mam nejakou predstavu, 1TB chci kvuli dedup a dalsim vecem, myslim ze 64gb moduly se daji sehnat, zalezi od konkretniho vyrobce. Pokud mate zkusenosti s konkretnimi deskami budu rad za info.
Jestli správně počítám, 42 U = 14 šasi po 3U, do 3U se vejde standardně 16 disků normálně v šuplíku na čelní stěně. To je 224 disků. Takže pokud je požadavek na 1 PB, vycházelo by to na 4.5 PB na disk v RAIDu 0. Tzn. pokud by to byl RAID 10 nebo nějaká podobná míra redundance (+100%), vychází to na cca 9-10 TB disky. Případně jsou k vidění šasi pro 24x 3.5" disků v 4U. To by se do stojanu vešlo 240 disků + by zbyly 2U na nějaký ten server. Asi trochu nesmysl to takhle našlapat, ale takové jsou teoretické počty. A jsou i nějaká šasi, kde se disky zřejmě strkají *dovnitř* = nejsou jednotlivě dostupné pro hot-swap z čelní strany. Což pak podle mého znamená, že je třeba celé šasi odstavit kvůli výměně jednoho disku...
Od koho šasi? No pokud ne HP / IBM / EMC=DELL tak třeba Infortrend nebo tihle němci - vedle Infortrendu vedou i nějaké "svoje" značky s Arecou apod. uvnitř. Svého času tuším prodávali i Fujitsu nebo NEC, už nevím. Jsou na trhu už hrozně dlouho a výrobci přicházejí a odcházejí. Jo a abych nezapomněl, něco by se dalo vybrat taky u Supermicra (u nás Abacus / Compos).
Chápu správně, že to bude jediný veliký JBOD, nad kterým poběží ZFS?
Čím to připojit k serveru: no teoreticky asi přes SAS. Nakolik to bude provozně spolehlivé, bůh suď - celý ten strom JBODů bude samý single point of failure. Taky bacha jestli ty JBODy budou umět "větvit" / daisy-chainovat. Už si nepamatuju, jestli 240 disků nedojede na počet SCSI IDček na jedné sběrnici...
SAS dává teoreticky možnost, vydrátovat šasi "dvojmo" kvůli redundanci. A teoreticky jsou i nějaké disky, co mají dvojitý SAS uplink - jenom si nejsem jistej, nakolik je dvojitý SAS uplink na discích běžná věc. A jestli třeba takové ty "entry-level SAS Barracudy" nejsou naschvál single. A taky by to znamenalo, pořešit v serveru multipath. Další zajímavé téma je enclosure management a hot-swap jednotlivých disků. Matně si vybavuju z doby před 10-15 lety, že FreeBSD mělo už tehdy jakousi podporu pro enclosure manager šváby a normy...
Hrozně dlouho jsem neslyšel o discích s nativním FC, takže pokud by to mělo mít vnější interconnect přes FC, tak leda by to šasi obsahovalo bridge. Ještě mě napadá, jakpak je to s možností bridgovat SAS na InfiniBand.
A další možnost, jako alternativa ke kaskádě SAS expandérů nebo IB fabricu: vyvést ze serveru co nejtlustší PCI-e do externího expanzního šasi (nebo do dvou), do těch šasi naložit větší počet SAS HBA. A každý HBA kanál by pak měl na sobě třeba jediný expandér v jediném diskovém šasi. Tzn. žádný vícepatrový daisy-stromeček ze SAS expandérů. Ale zase by narostl potřebný prostor pro servery a expanzní PCI-e boxy. Hm popravdě kdyby ty JBODy měly každý jediný uplink, tak by se 5-7 SAS HBA (každý 2x multilane external) vešly teoreticky do jednoho 3U šasi. Které by navíc eventuelně mohlo mít svých 16 disků. Jde jenom o to najít serverový board se 7x PCI-e.
Asi netřeba zdůrazňovat, že celá tahle DAS pornografie je dost old-school. Větší kapacity se dneska běžně řeší spíš "cloudově a distribuovaně" nad Ethernetem nebo TCP/IP apod., tzn. samotné disky a HBA jsou nuda, zajímavé je SW uspořádání nad tím.
No a stojan naložený cca půl tunou šásek a disků, s běžnou spotřebou (topným výkonem) okolo 3 kW, při rozběhu klidně k 10 kW (ledaže staggered spin-up)... dneska už asi jsou hostingy, které tohle vezmou. :-) Předpokládám že nehrozí začátečnické chyby typu "stojan nedostatečně hluboký" nebo "teplo se o sebe postará samo" :-)
Jak už tady říkali ostatní, on to rád někdo dodá celé na klíč. A asi je i správně, aby si za to celé ručil. Ale taky je fakt, že není špatné, udělat si předem jasno, jestli třeba řadič externího RAIDu v rámci "fair balancingu" neomezí datový tok jednoho "vlákna" na 100 MBps zatímco Vy potřebujete na chroustání 4k videa 10x tolik apod :-) Nepříjemná nedorozumnění se občas stávají...
BTW terabajt RAMky? Jo aha, ono je to "vcelku normální"... dá se to nacpat do desky s pouhými 8 DIMM sloty, pokud seženete DIMMy o kapacitě 128 GB (v provedení DDR4 se údajně nějaké dělají). Nejnovější dvoupaticové desky s LGA2011 tohle umí vcelku běžně, našel jsem i nějaké jednopaticové... Nebo jestli jsou DIMMy 32GB pořád ještě citelně levnější, tak vzít desku se 16 DIMM sloty (2x Xeon E5) a spokojit se s 512 GB RAM.
