Fórum Root.cz

Hlavní témata => Server => Téma založeno: Michal Zacek 28. 01. 2019, 19:36:53

Název: Kolik stojí 1PB úložiště?
Přispěvatel: Michal Zacek 28. 01. 2019, 19:36:53
Ahoj,

potrebovali bychom rozsirit diskovou kapacitu nejakym levnym diskovym polem. Slouzilo by hlavne pro zalohy nebo jako cold storage. Pocatecni kapacita by mela byt 1PB s nejakou rozumnou moznosti rozsireni alespon na 3PB. Pole muze byt uplne hloupe (vse co potrebujeme zvladne GPFS), podminkou je RAID6, fibre channel konektivita a idelane high-density, aby nezabralo cely rack. Pomoci goole jsem nasel Seagate Exos X 5U84 (https://www.seagate.com/files/www-content/datasheets/pdfs/exos-x-5u84DS1982-1-1805US-en_US.pdf) (PDF), ktere by nejspise vyhovovalo.
Mate nekdo neco podobneho a podelili byste se o zkusenosti a alespon radove kolik to stalo?
Diky
Název: Re:Kolik stoji 1PB?
Přispěvatel: AoK 28. 01. 2019, 20:29:52
nedávno jsme klientovi dodávali 2PB v podobě HPE Apollo 4200 (https://h20195.www2.hpe.com/v2/getdocument.aspx?docname=a00056091enw) s 24x 12TB disky v šesti 2U serverech, cca 700 GB ram každý, cena 3M vč. 5Y supportu, má ale výraznou slevu.

Pokud bys to kupoval jako nováček bez lepší slevy u výrobce, očekával bych cenu za 1PB ve třech 2U serverech kolem 2,5M. Jedná se o klasické dvousocketové servery s hpe smartarray řadičem, takže nad tím sprovozníš cokoliv.

Případně můžeš jít do HPE D3000, do toho nacpeš cca 100 velkých disků a dokoupíš si k tomu server, které je bude udržovat. Vše záleží jaké jsou tvoje finanční očekávání, technické a prostorové možnosti.

Pokud nebudeš kupovat vše z druhé ruky, 12TB enteprise servový disk tě výjde na 20 - 30 tisíc, takže 1 PB jen v diskách stojí přes 1,5 a o moc níže se nejspíš jít nedá. Drahé velké diskové pole s SW tě výjde na další podobnou částku, pokud si ale SW budeš řešit sám, můžeš na tom ušetřit.
Název: Re:Kolik stoji 1PB?
Přispěvatel: alesseon 28. 01. 2019, 20:44:24
Ahoj,
Jen jako nápad OneStor od Seagate, je to "hloupý" 5U storage pro 84 SATA / SAS disků přes SAS

Edit: Link, https://www.seagate.com/www-content/product-content/xyratex-branded/storage-application-platforms/en-us/docs/modular-enclosures-sp2584-datasheet.pdf (https://www.seagate.com/www-content/product-content/xyratex-branded/storage-application-platforms/en-us/docs/modular-enclosures-sp2584-datasheet.pdf)
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: Jose D 28. 01. 2019, 23:19:44
Mozna se chces kouknout na DDN Gridscaler - tam uz je komplet GPFS appliance, ale nevím, jestli mají něco high-density.

Predchudce te seagatí storage jsem v ruce taky měl - nevzpomínám si na zadny vetsi problem, menily se nejake expandery, ale vzhledem k rozsahu instalace to vlastně bylo nic. Ty šuplíky jsou dost dobře mechanicky udělaný, a zavírají se jak kufr od Forda. (tzn. ne jak NetApp E-series, třeba :) )

Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: Michal Zacek 29. 01. 2019, 08:52:40
Ahoj,

AoK: Hledame neco ne-enterprise, na skutecne dulezita data mame dvakrat IBM Storwize. Cena za TB na Storwize je pri zapocitani replikace a RAID6 pres 8 tisic  (12TB  SATA disky). V posledni dobe nam pribyva spousta dat, ktera neni potreba replikovat a v pripade jejich ztraty je mozne je bez problemu znovu vygenerovat. Pokud bychom postavily diskove pole napr. z 12TB Seagate Exos disku bude cena za TB kolem 1500.

alesseon: OneStor by nebyl spatny, ale nema fibre channel a pres to vlak nejede.

Jose D:  Gridscaler bude drahy. Diky za info o Seagate, zatim to vypada jako jedine schudne reseni. Zkusim nekde poptat cenu za Seagate Exos X 5U84. 

Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: František Ryšánek 29. 01. 2019, 09:10:07
Top-loading za relativně málo peněz by se asi ještě dal, ale ten fibrechannel je zřejmě fakt docela stopka :-)

Jsou trapný v tom Supermicru, že to mají všecko jako NAS (aneb "udělejte si sami iSCSI")
https://www.supermicro.com/products/nfo/storage.cfm

Jinak klasické kastle se šuplíkama zepředu si začala sama prodávat taky Areca, nebo bych zmínil německý Stordis - mají nějaká svoje noname šasi (kromě toho že zastupují Infortrend)
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: RDa 29. 01. 2019, 09:54:43
Tak pri tom objemu bych premyslel fakt o svym reseni - nejaky linuxovy node s 24 diskama + FC karta v target rezimu. A pro navysovani kapacity jen instanciovat dalsi krabicky podle potreby... zbytek vam resi FC switch a GPFS.
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: Homeatcloud 29. 01. 2019, 10:51:50
Ty ceny za TB mate nejake vysoke. Na softwarove definovanem ulozisti Ceph jsem pocital, ze jsem schopen pro klienta postavit 1 PB uloziste a pronajmout ho za 300 Kc za 1 TB. Bylo by postavene z 15 ks serveru na 8 disku s toleranci ztraty 3 serveru. Kdybychom sli do hustsich serveru (mysleno v poctu disku na server), tak bychom mozna obetovali propustnost, ale mohli snizit cenu. Oproti RAIDu stejne urovne ma Ceph lepsi durabilitu dat diky rychlejsim rebuildum.

Udelat z Cephu Fibre Channel target je proveditelne, ale bylo by to dosti experimentalni. Linuxovy framework LIO obecne umi delat target nejen pro iSCSI, ale i pro dalsi technologie vcetne FC. Ono uz pri staveni Ceph over iSCSI ma clovek trochu pocit vyletu do dzungle co se tyce softwarovych verzi. Jeste to neni zabalickovane ve stabilnich distribucich.

Taky tu mam k pronajmu nejake HPE 3PARy s Fibre Channel. Myslim, ze bychom se dostali na nejakych 500 Kc za 1 TB. Musel bych si nechat udelat nabidku na znackove disky.
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: Jose D 29. 01. 2019, 18:20:58
Hledame neco ne-enterprise

Jose D:  Gridscaler bude drahy. Diky za info o Seagate, zatim to vypada jako jedine schudne reseni. Zkusim nekde poptat cenu za Seagate Exos X 5U84.

ten Exos bude IMO taky vysoko.
zkus ještě netapp E5660 + enclosury.
manipulace s disky je výrazně horší,
ale myslím, že to poznáš na cenovce.
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: AoK 29. 01. 2019, 19:44:30
Na fiberchannel je potřeba nejspíš běžný server a karta, lze použít supermicro nebo cokoliv. Běžné diskové polé si za tohle nechávají platit. Low-cost storage děláme s mellanoxem (pcie karta 2x QSFT 56Gb/s za 20t).

Homeatcloud: nákup a pronájem je trochu rozdíl, na jaké období to pronajmeš za 300 Kč? Napořád nebo na rok? Jedny z nejlevnějších disků jsou zmíněné 12TB Seagate Exos a ty pořád výjdou mezi 500 - 600 za TB + HW do kterého je dáš.
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: František Ryšánek 29. 01. 2019, 21:01:57
...nebo bych zmínil německý Stordis...
Uff... s/Stordis/Starline/g . Starline dělá RAIDy. Stordis dělá HPC věci a míval tuším i nějaké storage boxy, ale dneska už zřejmě jenom switche na Ethernet/SAS/FC a optickou bižuterii. Kupodivu tam nevidím ani Infiniband... Mívali značkové SFP transceivery. Asi taky nemají na webu všechno, co jsou schopni obstarat.

Je to asi deset let, co jsem si hrál s iSCSI v rámci SCST nad Myricom 10Gb Eth a koukám, že i SCST jde dál, má drivery pro dost moderní čipy Qlogic, ale bohužel je dodnes "out of tree", na rozdíl od LIO které se dostalo do kernelu... a jako RCS používá SCST dodnes Subversion.
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: Michal Zacek 30. 01. 2019, 09:45:58
Diky za vsechny odpovedi, Netapp E5660 vypada taky dobre.
Protoze nam GPFS zaridi vse co potrebujeme (replikace, snapshoty), potrebujeme vlastne jen dostat diskovou kapacitu na GPFS nody. Nejake Supermicro nacpane disky s FC kartou v target rezimu by nam naprosto stacilo, ale netusim jak moc spolehlive a vykonne to muze byt. Pouzivate nekdo v ostrem provozu linux v target rezimu pres FC?
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: Homeatcloud 30. 01. 2019, 10:26:43
Aha, to byla kalkulace navěky. Ta moje byla měsíčně. Ale zase bychom neúčtovali prázdné místo ale jen to skutečně využité a starali se o celé to řešení.

Navěky ale není moc realistické počítat. Spíš tak na 3 roky životnosti. Když se to natahuje, tak ty enterprise storage boxy začnou mít další náklady an support od výrobce, který není levný. Vlastní zkušenost. Ta naše kalkulace pronájmu je dělaná tak, že by neměla být víc než 2x dražší než vlastní hardware.

Obecně u toho Cephu je výhoda, že se do něj dají kupovat podstatně levnější SATA disky. Není potřeba mít 2-portový SAS až k disku, protože redundance je řešená na vyšší úrovni. Podle toho, kolik disků na jeden server dáte, takovou máte dostupnost a propustnost. My ho stavíme právě na serverech na 8 disků a přidáváme ještě NVMe SSD kartu. Výhledově na to chceme převést náš cloud, který momentálně běží na těch 3PARech.
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: Michal Zacek 31. 01. 2019, 13:13:16
Tak nejspise vyhral Seagate. Plne obsazeny Seagate X5U84 (84x12TB) s 2x SFP+ 16GB FC za 1,2 milionu. To je o 500k mene nez jsem cekal  :D.
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: Homeatcloud 31. 01. 2019, 13:20:48
Pekne. Ale pocitate s tim, ze to bude mit na konci min nez 1 PB? Kdyz zapocitate prevodni pomer mezi GB a GiB a redundanci RAIDu, tak budete tak na... 775 TB, kdyz RAID bude 4+1.
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: BrainLess 31. 01. 2019, 13:31:44
Pro inspiraci .. https://www.backblaze.com/blog/open-source-data-storage-server/
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: Michal Zacek 31. 01. 2019, 15:22:44
Jasny, planujeme RAID6 takze pocitam s 3/4 z hrube kapacity. I tak je to porad dobry. Jeste zkusim nekde zjistit, co je zac ten jejich Seagate ADAPT jako raid.
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: Jose D 03. 02. 2019, 16:26:40
Tak pak pls. dej vědět jak to dopadlo - je mi jasný že přesný nacenění je celkem NDA, ale bylo by dobrý alespoň vědět, co vyšlo nakonec líp.
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: Ladislav Jech 03. 02. 2019, 18:52:23
Pro inspiraci .. https://www.backblaze.com/blog/open-source-data-storage-server/

Jako necekam, ze to bude jako nejaky high iops instance, ale na druhou stranu 50TB za cca 250 dolaru mesicne to neni zle, zajimal by me vykon a samozrejme jaka je k tomu konektivita.
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: BrainLess 05. 02. 2019, 13:50:10
Pro inspiraci .. https://www.backblaze.com/blog/open-source-data-storage-server/

Jako necekam, ze to bude jako nejaky high iops instance, ale na druhou stranu 50TB za cca 250 dolaru mesicne to neni zle, zajimal by me vykon a samozrejme jaka je k tomu konektivita.

ja to myslel jako ze si to muzes postavit podle toho navodu, je to "open hw" nebo jak se tomu nadava .. Zaklad je 3x 4portovy low cost radic celkem za cca 170$ a potom 12x 5ti portovy Sata port multiplier = 60 disku ;-)
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: alesseon 05. 02. 2019, 20:46:20
alesseon: OneStor by nebyl spatny, ale nema fibre channel a pres to vlak nejede.
Dobrá, stejný výrobek od DELL - OneStor - Xyratex, dá se do něj nacpat controller s linuxem a ten už FC má, dokonce 4 porty x 2 vlákna. Nevím přesně jak se to jmenuje a už to asi nedohledám ale dělal jsem na servisku těhle věcí a vím že je ta samá varianta u jiného dodavatele s jinými controllery. Teoreticky sehnat OneStor bez kontrollerů a dát do něj buď tu variantu od DELL nebo HPE koupil 3PAR storage jehož kontrolery vycházejí z Xyratex designu - dají se použít ve stejném chassis po nastavení hodnot v kontroleru pro dané chassis pokud se bude tedy jednat o ne-enterprise řešení.
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: alesseon 05. 02. 2019, 21:00:39
Seženu konkrétní Čísla produktů, nechám ozkoušet a dám vědět.

https://www.ebay.com/itm/Xyratex-RS-LRC-F4-6412E-2048-Control-Module-94981-01-93246-06-Never-Used/142892273971?hash=item21450b1133:g:mgkAAOSwijhbYepr (https://www.ebay.com/itm/Xyratex-RS-LRC-F4-6412E-2048-Control-Module-94981-01-93246-06-Never-Used/142892273971?hash=item21450b1133:g:mgkAAOSwijhbYepr)

+

https://www.seagate.com/www-content/product-content/xyratex-branded/embedded-storage-platforms/en-us/one-stor-ap2584-datasheet.pdf (https://www.seagate.com/www-content/product-content/xyratex-branded/embedded-storage-platforms/en-us/one-stor-ap2584-datasheet.pdf)
Název: Re:Kolik stojí 1PB úložiště?
Přispěvatel: Jose D 05. 02. 2019, 21:10:31
stejný výrobek od DELL - OneStor - Xyratex
No, točíme se v kruhu, tenhle "dell výrobek" je OEM Seagate, který se řešil na předchozí stránce.
hint: Xyratec = Seagate