Současný hardware pro 1PB storage

kkt1

  • *****
  • 796
    • Zobrazit profil
Současný hardware pro 1PB storage
« kdy: 25. 06. 2018, 11:48:04 »
V minulosti jsem si udelal ve svych lokalitach par storage serveru, kapacitne 200-250TB. Doba vyzaduje vetsi storage, rad bych se dostal k 1PB. Ma nekdo napad/zkusenost na nejaky aktualni HW? Chci xeony, 1TB ram, disky 3,5” sasy idealne - maximalne 1 standardni rack. Nad tim freebsd a zfs.
« Poslední změna: 25. 06. 2018, 12:52:07 od Petr Krčmář »


Harik

Re:Storage
« Odpověď #1 kdy: 25. 06. 2018, 12:49:22 »
Vždy to chce znát provoz.
Pokud přichází požadavek na soubor X 1x za 100 dní, potřebuješ něco úplně jiného, než pokud tento požadavek přichází 10x za den.
Taky je rozdíl, jestli máš nějaká "velmi živá data", kam se zapisuje 1000x za vteřinu nebo jestli je přístup ke všem souborům cca stejný.

Klidně bych ti mohl odpovědět, tak si pořiď páskovou LTO 8 knihovnu a máš vymalováno  ::)
Pokud neznáš typ zátěže, je to stejně validní odpověď, jako kdybych ti řekl, všechno musí být na Enterprise SSD Write Intensive discích.

Docela by mě zajímal ten šmoula, co ti dává výplatu, protože od kapacit PB už se to řeší komplet, včetně zálohování atd.
Neurčitý výkřik do fóra je takový kkt1-ní  :-\

CoffeeMan

Re:Současný hardware pro 1PB storage
« Odpověď #2 kdy: 25. 06. 2018, 13:01:57 »
Bych očekával, že člověk, který rozhoduje o vynaložení takové částky za HW, v tom má naprosto jasno a nechodí se ptát na fórum.

dustin

Re:Současný hardware pro 1PB storage
« Odpověď #3 kdy: 25. 06. 2018, 13:11:35 »
Také by mě zajímalo, jak se plánuje zálohování...

ja

Re:Současný hardware pro 1PB storage
« Odpověď #4 kdy: 25. 06. 2018, 13:13:12 »
Třeba to má na domácí zálohování fotek...


CoffeeMan

Re:Současný hardware pro 1PB storage
« Odpověď #5 kdy: 25. 06. 2018, 13:26:05 »
Obří porno server :o

fe

Re:Současný hardware pro 1PB storage
« Odpověď #6 kdy: 25. 06. 2018, 13:27:27 »
Bych očekával, že člověk, který rozhoduje o vynaložení takové částky za HW, v tom má naprosto jasno a nechodí se ptát na fórum.

+1  8)

ja

Re:Současný hardware pro 1PB storage
« Odpověď #7 kdy: 25. 06. 2018, 13:40:46 »
Obří porno server :o

Vše bude v 8k, HDR, 240FPS a VR

Paja

Re:Současný hardware pro 1PB storage
« Odpověď #8 kdy: 25. 06. 2018, 13:53:22 »
https://www.aberdeeninc.com/petarack/ 1PB ~ 300.000$ expandable up to 8.6PB

daemon

Re:Současný hardware pro 1PB storage
« Odpověď #9 kdy: 25. 06. 2018, 13:55:42 »
Což se inspirovat hardwarem od iXsystems? U FreeNAS 4U mají v datasheetu kapacitu 1.73PB. Je v něm Xeon E5-2600v4 a 256 GB RAM.

Harik

Re:Současný hardware pro 1PB storage
« Odpověď #10 kdy: 25. 06. 2018, 14:05:23 »
Kapacita v řádech PB se dá složit z desktopových disků, vždy 16x datových + 2x parové + 1x spare.
Vyjde to VELMI levně, levněji než skládat řešení obsahující drahé diskové řadiče.

V zásadě stačí spočítat cenu disků do požadované kapacity * 1.2(par+spare) + 60 000,- Kč na železo.
Řádově PB dnes už nejsou jakkoliv ohromující kapacity.

JENŽE jde o typ zátěže, výše uvedené pole se náramně hodí pro ukládání dat, daleko méně se hodí pro čtení.
Takové pole je možné plnit, plnit, plnit a občas sáhnout na starší data. Disky se uspávají po 20-ti minutách, proto se pole má plnit postupně.

A to nás rovnou přivádí k další otázce, kolik těch dat do toho při špičce poteče?
A kolik dat z toho ve špice poteče ven? Je hezké si postavit pole, ale to pole by taky mělo splnit nějaké předpoklady ne?
Třeba uspokojit požadavky zákazníků, co když pole postupně plním a plním, pěkně pomalu v klidu, ale pak okamžitě potřebuji celý jeho obsah projet? Třeba kvůli finanční analýze? Pak se bez velmi specializovaných řadičů neobejdu.
Podobně jako se bez nich neobejdu, pokud jsou požadavky na schopnost vyrovnat se s rázy, kdy mi třeba přijde přiteče 50TB dat a já o ně nesmím přijít.
 

Tester

Re:Současný hardware pro 1PB storage
« Odpověď #11 kdy: 25. 06. 2018, 14:22:49 »
https://www.45drives.com/products/

Alebo

Backbkaze storage pod

Re:Současný hardware pro 1PB storage
« Odpověď #12 kdy: 25. 06. 2018, 14:23:01 »
Zkusím se trochu zasnít:

Jestli správně počítám, 42 U = 14 šasi po 3U, do 3U se vejde standardně 16 disků normálně v šuplíku na čelní stěně. To je 224 disků. Takže pokud je požadavek na 1 PB, vycházelo by to na 4.5 PB na disk v RAIDu 0. Tzn. pokud by to byl RAID 10 nebo nějaká podobná míra redundance (+100%), vychází to na cca 9-10 TB disky. Případně jsou k vidění šasi pro 24x 3.5" disků v 4U. To by se do stojanu vešlo 240 disků + by zbyly 2U na nějaký ten server. Asi trochu nesmysl to takhle našlapat, ale takové jsou teoretické počty. A jsou i nějaká šasi, kde se disky zřejmě strkají *dovnitř* = nejsou jednotlivě dostupné pro hot-swap z čelní strany. Což pak podle mého znamená, že je třeba celé šasi odstavit kvůli výměně jednoho disku...

Od koho šasi? No pokud ne HP / IBM / EMC=DELL tak třeba Infortrend nebo tihle němci - vedle Infortrendu vedou i nějaké "svoje" značky s Arecou apod. uvnitř. Svého času tuším prodávali i Fujitsu nebo NEC, už nevím. Jsou na trhu už hrozně dlouho a výrobci přicházejí a odcházejí. Jo a abych nezapomněl, něco by se dalo vybrat taky u Supermicra (u nás Abacus / Compos).

Chápu správně, že to bude jediný veliký JBOD, nad kterým poběží ZFS?

Čím to připojit k serveru: no teoreticky asi přes SAS. Nakolik to bude provozně spolehlivé, bůh suď - celý ten strom JBODů bude samý single point of failure. Taky bacha jestli ty JBODy budou umět "větvit" / daisy-chainovat. Už si nepamatuju, jestli 240 disků nedojede na počet SCSI IDček na jedné sběrnici...

SAS dává teoreticky možnost, vydrátovat šasi "dvojmo" kvůli redundanci. A teoreticky jsou i nějaké disky, co mají dvojitý SAS uplink - jenom si nejsem jistej, nakolik je dvojitý SAS uplink na discích běžná věc. A jestli třeba takové ty "entry-level SAS Barracudy" nejsou naschvál single. A taky by to znamenalo, pořešit v serveru multipath. Další zajímavé téma je enclosure management a hot-swap jednotlivých disků. Matně si vybavuju z doby před 10-15 lety, že FreeBSD mělo už tehdy jakousi podporu pro enclosure manager šváby a normy...

Hrozně dlouho jsem neslyšel o discích s nativním FC, takže pokud by to mělo mít vnější interconnect přes FC, tak leda by to šasi obsahovalo bridge. Ještě mě napadá, jakpak je to s možností bridgovat SAS na InfiniBand.

A další možnost, jako alternativa ke kaskádě SAS expandérů nebo IB fabricu: vyvést ze serveru co nejtlustší PCI-e do externího expanzního šasi (nebo do dvou), do těch šasi naložit větší počet SAS HBA. A každý HBA kanál by pak měl na sobě třeba jediný expandér v jediném diskovém šasi. Tzn. žádný vícepatrový daisy-stromeček ze SAS expandérů. Ale zase by narostl potřebný prostor pro servery a expanzní PCI-e boxy. Hm popravdě kdyby ty JBODy měly každý jediný uplink, tak by se 5-7 SAS HBA (každý 2x multilane external) vešly teoreticky do jednoho 3U šasi. Které by navíc eventuelně mohlo mít svých 16 disků. Jde jenom o to najít serverový board se 7x PCI-e.

Asi netřeba zdůrazňovat, že celá tahle DAS pornografie je dost old-school. Větší kapacity se dneska běžně řeší spíš "cloudově a distribuovaně" nad Ethernetem nebo TCP/IP apod., tzn. samotné disky a HBA jsou nuda, zajímavé je SW uspořádání nad tím.

No a stojan naložený cca půl tunou šásek a disků, s běžnou spotřebou (topným výkonem) okolo 3 kW, při rozběhu klidně k 10 kW (ledaže staggered spin-up)... dneska už asi jsou hostingy, které tohle vezmou. :-) Předpokládám že nehrozí začátečnické chyby typu "stojan nedostatečně hluboký" nebo "teplo se o sebe postará samo" :-)

Jak už tady říkali ostatní, on to rád někdo dodá celé na klíč. A asi je i správně, aby si za to celé ručil. Ale taky je fakt, že není špatné, udělat si předem jasno, jestli třeba řadič externího RAIDu v rámci "fair balancingu" neomezí datový tok jednoho "vlákna" na 100 MBps zatímco Vy potřebujete na chroustání 4k videa 10x tolik apod :-) Nepříjemná nedorozumnění se občas stávají...

BTW terabajt RAMky? Jo aha, ono je to "vcelku normální"... dá se to nacpat do desky s pouhými 8 DIMM sloty, pokud seženete DIMMy o kapacitě 128 GB (v provedení DDR4 se údajně nějaké dělají). Nejnovější dvoupaticové desky s LGA2011 tohle umí vcelku běžně, našel jsem i nějaké jednopaticové... Nebo jestli jsou DIMMy 32GB pořád ještě citelně levnější, tak vzít desku se 16 DIMM sloty (2x Xeon E5) a spokojit se s 512 GB RAM.

lazywriter

Re:Současný hardware pro 1PB storage
« Odpověď #13 kdy: 25. 06. 2018, 14:43:53 »
Nekrmte trolla. Jak tu psali prede mnou, kdyby opravdu něco takového někdy postavil a měl rozpočet na upgrade, tak by se buď neptal vůbec nebo ptal jinak.


dustin

Re:Současný hardware pro 1PB storage
« Odpověď #14 kdy: 25. 06. 2018, 15:49:20 »
Vlastní HW mi nepřijde tak nereálný.

5 x 24bay enclosure se zdrojem, osvědčil se mi Supermicro 846TQ s minimální konfigurací (jen pro provoz zdrojů a řízení ventilátorů, 1ks vyšel okolo 12 tis.  Do nich po šesti adaptérech SFF-8087 <-> SFF-8088 https://www.ebay.com/itm/2-port-Internal-SFF-8087-to-External-8088-PCI-mini-SAS-26P-Adapter-SAS-RAID-WB1-/122940903725?hash=item1c9fd9512d , uvnitř napojit SFF-8087 kabely.

DL580 G7 4x osmijádro xeon E7-xxx + rozšiřující PCI-e sloty, celkem 11 PCI-e v2 min x8. - 20k

512GB RAM PC3-10600R okolo 20k (64 x 8GB). Lze 16GB dimmy, ale ty vyjdou podstatně dráž, pak 1TB

8x SAS 9200-16E , sloty na to jsou. Nemám vyzkoušené, zda bios jich pobere tolik, mám jen vyzkoušené 2 x 9200 + 1 x 8port.

S diskovými boxy propojit klasikou SFF8088 za pár stovek, v bundlu levnější. Mám to tak a funguje OK.

Je to už vše výběhové, PCIe-v2, ale bude sloužit ještě spoustu let. Elektřiny pár kW, ten DL580 si s 512GB RAM a 32jádry vezme okolo 800W.