Zkusím se trochu zasnít:
Jestli správně počítám, 42 U = 14 šasi po 3U, do 3U se vejde standardně 16 disků normálně v šuplíku na čelní stěně. To je 224 disků. Takže pokud je požadavek na 1 PB, vycházelo by to na 4.5 PB na disk v RAIDu 0. Tzn. pokud by to byl RAID 10 nebo nějaká podobná míra redundance (+100%), vychází to na cca 9-10 TB disky. Případně jsou k vidění šasi pro 24x 3.5" disků v 4U. To by se do stojanu vešlo 240 disků + by zbyly 2U na nějaký ten server. Asi trochu nesmysl to takhle našlapat, ale takové jsou teoretické počty. A jsou i nějaká šasi, kde se disky zřejmě strkají *dovnitř* = nejsou jednotlivě dostupné pro hot-swap z čelní strany. Což pak podle mého znamená, že je třeba celé šasi odstavit kvůli výměně jednoho disku...
Od koho šasi? No pokud ne HP / IBM / EMC=DELL tak třeba Infortrend nebo
tihle němci - vedle Infortrendu vedou i nějaké "svoje" značky s Arecou apod. uvnitř. Svého času tuším prodávali i Fujitsu nebo NEC, už nevím. Jsou na trhu už hrozně dlouho a výrobci přicházejí a odcházejí. Jo a abych nezapomněl, něco by se dalo vybrat taky u Supermicra (u nás Abacus / Compos).
Chápu správně, že to bude jediný veliký JBOD, nad kterým poběží ZFS?
Čím to připojit k serveru: no teoreticky asi přes SAS. Nakolik to bude provozně spolehlivé, bůh suď - celý ten strom JBODů bude samý single point of failure. Taky bacha jestli ty JBODy budou umět "větvit" / daisy-chainovat. Už si nepamatuju, jestli 240 disků nedojede na počet SCSI IDček na jedné sběrnici...
SAS dává teoreticky možnost, vydrátovat šasi "dvojmo" kvůli redundanci. A teoreticky jsou i nějaké disky, co mají dvojitý SAS uplink - jenom si nejsem jistej, nakolik je dvojitý SAS uplink na discích běžná věc. A jestli třeba takové ty "entry-level SAS Barracudy" nejsou naschvál single. A taky by to znamenalo, pořešit v serveru multipath. Další zajímavé téma je enclosure management a hot-swap jednotlivých disků. Matně si vybavuju z doby před 10-15 lety, že FreeBSD mělo už tehdy jakousi podporu pro enclosure manager šváby a normy...
Hrozně dlouho jsem neslyšel o discích s nativním FC, takže pokud by to mělo mít vnější interconnect přes FC, tak leda by to šasi obsahovalo bridge. Ještě mě napadá, jakpak je to s možností bridgovat SAS na
InfiniBand.
A další možnost, jako alternativa ke kaskádě SAS expandérů nebo IB fabricu: vyvést ze serveru co nejtlustší PCI-e do externího expanzního šasi (nebo do dvou), do těch šasi naložit větší počet SAS HBA. A každý HBA kanál by pak měl na sobě třeba jediný expandér v jediném diskovém šasi. Tzn. žádný vícepatrový daisy-stromeček ze SAS expandérů. Ale zase by narostl potřebný prostor pro servery a expanzní PCI-e boxy. Hm popravdě kdyby ty JBODy měly každý jediný uplink, tak by se 5-7 SAS HBA (každý 2x multilane external) vešly teoreticky do jednoho 3U šasi. Které by navíc eventuelně mohlo mít svých 16 disků. Jde jenom o to najít serverový board se 7x PCI-e.
Asi netřeba zdůrazňovat, že celá tahle DAS pornografie je dost old-school. Větší kapacity se dneska běžně řeší spíš "cloudově a distribuovaně" nad Ethernetem nebo TCP/IP apod., tzn. samotné disky a HBA jsou nuda, zajímavé je SW uspořádání nad tím.
No a stojan naložený cca půl tunou šásek a disků, s běžnou spotřebou (topným výkonem) okolo 3 kW, při rozběhu klidně k 10 kW (ledaže staggered spin-up)... dneska už asi jsou hostingy, které tohle vezmou. :-) Předpokládám že nehrozí začátečnické chyby typu "stojan nedostatečně hluboký" nebo "teplo se o sebe postará samo" :-)
Jak už tady říkali ostatní, on to rád někdo dodá celé na klíč. A asi je i správně, aby si za to celé ručil. Ale taky je fakt, že není špatné, udělat si předem jasno, jestli třeba řadič externího RAIDu v rámci "fair balancingu" neomezí datový tok jednoho "vlákna" na 100 MBps zatímco Vy potřebujete na chroustání 4k videa 10x tolik apod :-) Nepříjemná nedorozumnění se občas stávají...
BTW terabajt RAMky? Jo aha, ono je to "vcelku normální"... dá se to nacpat do desky s pouhými 8 DIMM sloty, pokud seženete DIMMy o kapacitě 128 GB (v provedení DDR4 se údajně nějaké dělají). Nejnovější dvoupaticové desky s LGA2011 tohle umí vcelku běžně, našel jsem i nějaké jednopaticové... Nebo jestli jsou DIMMy 32GB pořád ještě citelně levnější, tak vzít desku se 16 DIMM sloty (2x Xeon E5) a spokojit se s 512 GB RAM.