Kolik stojí 1PB úložiště?

[Michal Zacek]

Ahoj,

potrebovali bychom rozsirit diskovou kapacitu nejakym levnym diskovym polem. Slouzilo by hlavne pro zalohy nebo jako cold storage. Pocatecni kapacita by mela byt 1PB s nejakou rozumnou moznosti rozsireni alespon na 3PB. Pole muze byt uplne hloupe (vse co potrebujeme zvladne GPFS), podminkou je RAID6, fibre channel konektivita a idelane high-density, aby nezabralo cely rack. Pomoci goole jsem nasel Seagate Exos X 5U84 (PDF), ktere by nejspise vyhovovalo.
Mate nekdo neco podobneho a podelili byste se o zkusenosti a alespon radove kolik to stalo?
Diky

[Reklama]

[_Tomáš_]

nedávno jsme klientovi dodávali 2PB v podobě HPE Apollo 4200 (https://h20195.www2.hpe.com/v2/getdocument.aspx?docname=a00056091enw) s 24x 12TB disky v šesti 2U serverech, cca 700 GB ram každý, cena 3M vč. 5Y supportu, má ale výraznou slevu.

Pokud bys to kupoval jako nováček bez lepší slevy u výrobce, očekával bych cenu za 1PB ve třech 2U serverech kolem 2,5M. Jedná se o klasické dvousocketové servery s hpe smartarray řadičem, takže nad tím sprovozníš cokoliv.

Případně můžeš jít do HPE D3000, do toho nacpeš cca 100 velkých disků a dokoupíš si k tomu server, které je bude udržovat. Vše záleží jaké jsou tvoje finanční očekávání, technické a prostorové možnosti.

Pokud nebudeš kupovat vše z druhé ruky, 12TB enteprise servový disk tě výjde na 20 - 30 tisíc, takže 1 PB jen v diskách stojí přes 1,5 a o moc níže se nejspíš jít nedá. Drahé velké diskové pole s SW tě výjde na další podobnou částku, pokud si ale SW budeš řešit sám, můžeš na tom ušetřit.

[alesseon]

Ahoj,
Jen jako nápad OneStor od Seagate, je to "hloupý" 5U storage pro 84 SATA / SAS disků přes SAS

Edit: Link, https://www.seagate.com/www-content/product-content/xyratex-branded/storage-application-platforms/en-us/docs/modular-enclosures-sp2584-datasheet.pdf

[Jose D]

Mozna se chces kouknout na DDN Gridscaler - tam uz je komplet GPFS appliance, ale nevím, jestli mají něco high-density.

Predchudce te seagatí storage jsem v ruce taky měl - nevzpomínám si na zadny vetsi problem, menily se nejake expandery, ale vzhledem k rozsahu instalace to vlastně bylo nic. Ty šuplíky jsou dost dobře mechanicky udělaný, a zavírají se jak kufr od Forda. (tzn. ne jak NetApp E-series, třeba )

[Michal Zacek]

Ahoj,

AoK: Hledame neco ne-enterprise, na skutecne dulezita data mame dvakrat IBM Storwize. Cena za TB na Storwize je pri zapocitani replikace a RAID6 pres 8 tisic  (12TB  SATA disky). V posledni dobe nam pribyva spousta dat, ktera neni potreba replikovat a v pripade jejich ztraty je mozne je bez problemu znovu vygenerovat. Pokud bychom postavily diskove pole napr. z 12TB Seagate Exos disku bude cena za TB kolem 1500.

alesseon: OneStor by nebyl spatny, ale nema fibre channel a pres to vlak nejede.

Jose D:  Gridscaler bude drahy. Diky za info o Seagate, zatim to vypada jako jedine schudne reseni. Zkusim nekde poptat cenu za Seagate Exos X 5U84. 

[Reklama]

[František Ryšánek]

Top-loading za relativně málo peněz by se asi ještě dal, ale ten fibrechannel je zřejmě fakt docela stopka :-)

Jsou trapný v tom Supermicru, že to mají všecko jako NAS (aneb "udělejte si sami iSCSI")
https://www.supermicro.com/products/nfo/storage.cfm

Jinak klasické kastle se šuplíkama zepředu si začala sama prodávat taky Areca, nebo bych zmínil německý Stordis - mají nějaká svoje noname šasi (kromě toho že zastupují Infortrend)

[RDa]

Tak pri tom objemu bych premyslel fakt o svym reseni - nejaky linuxovy node s 24 diskama + FC karta v target rezimu. A pro navysovani kapacity jen instanciovat dalsi krabicky podle potreby... zbytek vam resi FC switch a GPFS.

[Homeatcloud]

Ty ceny za TB mate nejake vysoke. Na softwarove definovanem ulozisti Ceph jsem pocital, ze jsem schopen pro klienta postavit 1 PB uloziste a pronajmout ho za 300 Kc za 1 TB. Bylo by postavene z 15 ks serveru na 8 disku s toleranci ztraty 3 serveru. Kdybychom sli do hustsich serveru (mysleno v poctu disku na server), tak bychom mozna obetovali propustnost, ale mohli snizit cenu. Oproti RAIDu stejne urovne ma Ceph lepsi durabilitu dat diky rychlejsim rebuildum.

Udelat z Cephu Fibre Channel target je proveditelne, ale bylo by to dosti experimentalni. Linuxovy framework LIO obecne umi delat target nejen pro iSCSI, ale i pro dalsi technologie vcetne FC. Ono uz pri staveni Ceph over iSCSI ma clovek trochu pocit vyletu do dzungle co se tyce softwarovych verzi. Jeste to neni zabalickovane ve stabilnich distribucich.

Taky tu mam k pronajmu nejake HPE 3PARy s Fibre Channel. Myslim, ze bychom se dostali na nejakych 500 Kc za 1 TB. Musel bych si nechat udelat nabidku na znackove disky.

[Jose D]

Hledame neco ne-enterprise

Jose D:  Gridscaler bude drahy. Diky za info o Seagate, zatim to vypada jako jedine schudne reseni. Zkusim nekde poptat cenu za Seagate Exos X 5U84.

ten Exos bude IMO taky vysoko.
zkus ještě netapp E5660 + enclosury.
manipulace s disky je výrazně horší,
ale myslím, že to poznáš na cenovce.

[_Tomáš_]

Na fiberchannel je potřeba nejspíš běžný server a karta, lze použít supermicro nebo cokoliv. Běžné diskové polé si za tohle nechávají platit. Low-cost storage děláme s mellanoxem (pcie karta 2x QSFT 56Gb/s za 20t).

Homeatcloud: nákup a pronájem je trochu rozdíl, na jaké období to pronajmeš za 300 Kč? Napořád nebo na rok? Jedny z nejlevnějších disků jsou zmíněné 12TB Seagate Exos a ty pořád výjdou mezi 500 - 600 za TB + HW do kterého je dáš.

[František Ryšánek]

...nebo bych zmínil německý Stordis...

Uff... s/Stordis/Starline/g . Starline dělá RAIDy. Stordis dělá HPC věci a míval tuším i nějaké storage boxy, ale dneska už zřejmě jenom switche na Ethernet/SAS/FC a optickou bižuterii. Kupodivu tam nevidím ani Infiniband... Mívali značkové SFP transceivery. Asi taky nemají na webu všechno, co jsou schopni obstarat.

Je to asi deset let, co jsem si hrál s iSCSI v rámci SCST nad Myricom 10Gb Eth a koukám, že i SCST jde dál, má drivery pro dost moderní čipy Qlogic, ale bohužel je dodnes "out of tree", na rozdíl od LIO které se dostalo do kernelu... a jako RCS používá SCST dodnes Subversion.

[Michal Zacek]

Diky za vsechny odpovedi, Netapp E5660 vypada taky dobre.
Protoze nam GPFS zaridi vse co potrebujeme (replikace, snapshoty), potrebujeme vlastne jen dostat diskovou kapacitu na GPFS nody. Nejake Supermicro nacpane disky s FC kartou v target rezimu by nam naprosto stacilo, ale netusim jak moc spolehlive a vykonne to muze byt. Pouzivate nekdo v ostrem provozu linux v target rezimu pres FC?

[Homeatcloud]

Aha, to byla kalkulace navěky. Ta moje byla měsíčně. Ale zase bychom neúčtovali prázdné místo ale jen to skutečně využité a starali se o celé to řešení.

Navěky ale není moc realistické počítat. Spíš tak na 3 roky životnosti. Když se to natahuje, tak ty enterprise storage boxy začnou mít další náklady an support od výrobce, který není levný. Vlastní zkušenost. Ta naše kalkulace pronájmu je dělaná tak, že by neměla být víc než 2x dražší než vlastní hardware.

Obecně u toho Cephu je výhoda, že se do něj dají kupovat podstatně levnější SATA disky. Není potřeba mít 2-portový SAS až k disku, protože redundance je řešená na vyšší úrovni. Podle toho, kolik disků na jeden server dáte, takovou máte dostupnost a propustnost. My ho stavíme právě na serverech na 8 disků a přidáváme ještě NVMe SSD kartu. Výhledově na to chceme převést náš cloud, který momentálně běží na těch 3PARech.

[Michal Zacek]

Tak nejspise vyhral Seagate. Plne obsazeny Seagate X5U84 (84x12TB) s 2x SFP+ 16GB FC za 1,2 milionu. To je o 500k mene nez jsem cekal  .

[Homeatcloud]

Pekne. Ale pocitate s tim, ze to bude mit na konci min nez 1 PB? Kdyz zapocitate prevodni pomer mezi GB a GiB a redundanci RAIDu, tak budete tak na... 775 TB, kdyz RAID bude 4+1.