SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků

PanVP

Ahoj,

řeším úložiště pro VMware (musí být dvě a vzájemně se replikovat).
K úložištím budou připojené (iSCSI) tři VMware servery.
Řešení musí přežít výpadek jednoho z úložišť a selhání jednoho ze serverů.

Tohle není žádný "neobvyklý" požadavek, ale klient je specifický.
- Nemá tolik peněz, aby mohl jít do profesionální řešení typu Dell PowerVault
(Ono i podobné od Synology vychází dost podobně.)

- Zároveň to není úplně malá firma. Jistě bych mohl úložiště postavit nad Linuxem nebo něčím jako FreeNAS, ale toho se bojím. Pokud by se data ukládala "blbě" a došlo by k jejich poškození, mohla by z toho být ohromná škoda.

S jedním zařízením bych se měl vejít do 50 000 resp. s celým řešením do 100 000 Kč bez disků.
A mělo by to být pokryté zárukou od výrobce (samozřejmě budu mít vlastní - další vrstvu zálohování).

Takže co s tím?
Nějaké nápady a řešení?
Vážně bych raději pořídil něco hotového, než tu kutil nějakou "skládačku".
« Poslední změna: 01. 02. 2021, 12:02:00 od PanVP »


Jsou už ty servery a VMWare koupeny?

Tohle je jasná úloha pro vSAN a v případě ROBO licencí je to skoro za hubičku ...

PanVP

Jsou už s VMware, ale jen Essential, alespoň že pod supportem.
Navíc se vSAN platí zvlášť a stojí to raketu, každý server má 2 CPU a virtuálů je hodně.

AD ROBO - tedy Remote Office Branch Office (Standard) je omezený jen na 25 virtuálů.
To ROBO nám někdo rozmlouval, prý cesta vSANou je nejlepší, ale měli bychom začít povýšením na "plnotučný" VMware a přikoupením vSANy...


Navíc se vSAN platí zvlášť a stojí to raketu, každý server má 2 CPU a virtuálů je hodně.
AD ROBO - tedy Remote Office Branch Office (Standard) je omezený jen na 25 virtuálů.

Pokud by nebylo 25 VM omezení, tak v rámci ROBO je vSAN v ceně ...

Jsou už s VMware, ale jen Essential, alespoň že pod supportem.

Takže Proxmox nebo OpenStack nepřichází v úvahu ... Obávám se, že skončíte u toho FreeNAS ...


Pokud by se data ukládala "blbě" a došlo by k jejich poškození, mohla by z toho být ohromná škoda.

S jedním zařízením bych se měl vejít do 50 000 resp. s celým řešením do 100 000 Kč bez disků.
A mělo by to být pokryté zárukou od výrobce (samozřejmě budu mít vlastní - další vrstvu zálohování).


Kde jsou pozadavky na konektivitu? Kde jsou pozadavky na iops? Kde jsou pozadavky na redundanci, SLA?
Zaruka od vyrobce je co? HW? SW? Doba zaruky?

Ty pozadavky zakaznika jsou takovy, ze chce minimalne superba za cenu thalie. Ruce pryc od samodomo skladacky. A pripadne ruce pryc od zakaznika.

FreeNAS, pokud vím, tak neumí replikovat v reálném čase.
Aby FreeNAS fungoval solidně, potřebuje jedno SSD na L2ARC a na ZIL, další disk na samotný freenas plus nějaké pole.
K tomu potřebuje hromadu RAM, zejména pokud to bude připojení >= 10 Gbit. Ladění freenas na takový výkon je peklo samo o sobě.

Předpokládám, že pokud na tom běží hodně VM a je požadavek na replikaci úložiště, bude celkově dost velký požadavek i na IOPS a na nepřetržitost provozu...

Moje osobní zkušenost je, že i bez replikace se takové železo nedá postavit do 50 kKč bez disků.

Asi bych jako správce na sebe nebral odpovědnost za skládačku, k jejíž podpoře se nikdo nehlásí, a kde může dojít k velkým škodám na datech. To, co by si výrobci nechali zaplatit, vy osobně poskytnete svým jménem. Když to bude fungovat, tak nedostanete nic kromě své výplaty. Když bude průšvih, pověsí Vás za koule do průvanu. To nedává smysl vůbec dělat pro jedno úložiště (kdybyste jich měl postavit desítky, pak už se investice do know how a týmu lidí, co to budou řešit, možná vyplatí).

Synology, QNAP - jsou poměrně levné, IMO levnější, než si dělat skládačku. Jen hardware mají nevalný - co jsem to kde potkal, tak se to po pár letech vypnulo a zdroje už nezapnuly; docela nemilé v produkci. Se skládačkou získáte aspoň možnost operativně řešit hardware. Nevím, jestli takový přístup zákazník (zaměstnavatel) ocení; každý ocení na začátku uspořenou korunu, ale v případě průšvihu se pak diví, že s o rizicích nebyl poučen.

PanVP


Vidím to stejně.
Ale jak z toho?

Pokud by nebylo 25 VM omezení, tak v rámci ROBO je vSAN v ceně ...
Možná by to nakonec mohlo být řešení...
Teoreticky tam nacpat těch 25 nejdůležitějších...

Rozhodně Vám děkuji za námět k přemýšlení!

Hamparle

  • ****
  • 360
  • junior developer ucho
    • Zobrazit profil
    • E-mail
Sice je v nadpisu  zmínka bez disků (dalo by se to vykládat i 50 000 s disky resp 100 000bez disků ale to je přitažené za vlasy), ale ono je něco mít 1-16TB úložiště, na které stačí jeden disk než 50TB, na které bude potřeba i 5 disků.

Jinak také mám stížnost na Synology že po pár měsících přestal jít.


Vidím to stejně.
Ale jak z toho?

Podle mě je jediná smysluplná cesta nejprve se zákazníkem sepsat parametry požadovaného řešení. Tj. požadavek na IOPS (zápis, čtení), projektované havárie (které prvky smí odejít aniž by vypadl provoz - disk, pole, switch, spojení), požadavky na rychlost servisu (reakční doba, doba do vyřešení), nezapomenout na následnou migraci (např. jestli nyní a v budoucnosti budou migrace s výpadkem či bez výpadku) atd.

Následně se dají poptat dodavatelé (DELL, HP, ...) a vedle toho jako projekt zpracovat vlastní řešení na synology, freenas, ... Z toho Vám vypadne cena na dalších (řekněme) pět let provozu a můžete srovnávat. Klient pak taky může podle cen slevit ze svých požadavků.

Nicméně bych nevynechával tu fázi popisu poptávaného (hledaného) řešení a zahrnutí objednatele do rozhodnutí o tom, co je důležité, a co není. Vy za něj nemůžete rozhodnout, jestli se vyplatí ušetřit X Kč a riskovat výpadek v trvání Y hodin, nebo naopak.

Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
« Odpověď #10 kdy: 01. 02. 2021, 13:40:53 »
Ad: "Pokud by se data ukládala "blbě" a došlo by k jejich poškození, mohla by z toho být ohromná škoda." Ohromná škoda je docela dobrý argument pro výběr kvalitního HW a dobře použitelného SW, ne? Možná by dovedl zadavatel přehodnotit rozpočet, pokud by některý ze značkových dodavatelů nabídl dobrou záruku nebo pokud by se daly dopředu rozmyslet scénáře při selhání hrající ve prospěch profi řešení. Když pak uvidí: teď při nákupu ušetříme XY, ale až se to pokazí, budeme muset koupit..., možná se rozmyslí.

PanVP

Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
« Odpověď #11 kdy: 01. 02. 2021, 13:46:32 »
mám stížnost na Synology

Mně takhle naráz odešly tři QNAPy - jeden asi na Intel bug, dva to najednou přestalo bavit a jednalo se o "nová zařízení" (v případě těch dvou).
Dnešní hardware nevydrží ani omylem to, co vydržel hardware před deseti lety.

Všichni mluví i IOPSech, ale moderní úložiště (čti SSD), vesměs nabízí mnohem víc IOPS než jaká je reálná potřeba "čehokoliv". Viděl jsem běžet třicet VPS z jednoho (!!!) konzumního NVMe SSD SAMSUNG... Jednalo se sice o Linux s vypnutými blbinkami (zaznamenej poslední otevření souboru pro čtení atd.), ale všech třicet z něj spokojeně běželo tři roky (nejspíš i dál, ale to už jsem tam nebyl). A to tam každé z těch VPS mělo svou databázi, protože na tom měli lidi vesměs e-shop na Apache, PHP a MySQL. Vytížení SSD bylo pod 20%. IMHO IOPS bylo téma především u pevných disků, kdy HDD zvládne 300-500 IOPS, kdežto SSD 70000+ IOPS. Pokud by IOPS bylo téma, sám bych to zmínil. Což vy, jako velmi chytrý člověk, chápete. Ostatně se známe osobně.

Havárie také nejsou téma, má se jednat o řešení, kde jsou dva - vzájemně se zálohující - prvky, případně svědek.
Pokud jedno z řešení vypadne, očekává se oprava NBD+1(den s výpadkem, den diagnostiky a objednání servisu, den obnovení služby). Ideální samozřejmě je mít krizový plán, co dělat, když selže obojí, ale...
Na nic lepšího nejsou peníze.

Jedním z řešení, nad kterými jsem uvažoval, je pořídit starší Powervault, třeba 3-4 kusy.
Do dvou z nich pořídit nové zdroje a provozovat si iSCSI řešení se starším a nepodporovaným hardware.
Resp. podpora by se sestávala z dvou fungujících kusů, které bych tam v případě nehody prdnul.
...to je zoufalost, ale menší, než tam ladit něco na bází FreeNASu. Možná i menší zoufalost, než to honit na Synology, byť Synology samozřejmě používám na zálohování.

« Poslední změna: 01. 02. 2021, 13:51:12 od PanVP »

PanVP

Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
« Odpověď #12 kdy: 01. 02. 2021, 13:48:15 »
...možná se rozmyslí.

Ano, to rozhodně, ale rozpočet se plánuje poměrně dlouho dopředu.
Až stávající servery dodýchají, tak se to postaví celé znovu a lépe.
Jenže to bude trvat ještě tři roky.

Mně by se nejvíc líbilo řešení s VMware a vSAN, ale to bude možné pořídit až s novým serverem.

Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
« Odpověď #13 kdy: 01. 02. 2021, 13:52:42 »
A aktuální stav je, že je nějaké pseudo úložiště? Nebo ta drahá data teprve vzniknou. Protože pokud už to nějak funguje, tak zjistit požadavky není problém, ale pak je tedy hrozba ohromných škod každou minutu...

Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
« Odpověď #14 kdy: 01. 02. 2021, 13:59:09 »
Všichni mluví i IOPSech, ale moderní úložiště (čti SSD), vesměs nabízí mnohem víc IOPS než jaká je reálná potřeba "čehokoliv". Viděl jsem běžet třicet VPS z jednoho (!!!) konzumního NVMe SSD SAMSUNG... Jednalo se sice o Linux s vypnutými blbinkami (zaznamenej poslední otevření souboru pro čtení atd.), ale všech třicet z něj spokojeně běželo tři roky. A to tam každé z těch VPS mělo svou databázi, protože na tom měli lidi vesměs e-shop na Apache, PHP a MySQL. Vytížení SSD bylo pod 20% IOPS bylo téma především u pevných disků, kdy HDD zvládne 300-500 IOPS, kdežto SSD 70000+ IOPS. Pokud by IOPS bylo téma, sám bych to zmínil. Což vy, jako velmi chytrý člověk, chápete. Ostatně se známe osobně.

Osobně?

IOPS musíte posoudit, záleží na zátěži. Nejlépe se to, pochopitelně, pozná z provozu současného řešení.


Havárie také nejsou téma, má se jednat o řešení, kde jsou dvě - vzájemně se zálohující - prvky, případně svědek.
Pokud jedno z řešení vypadne, očekává se oprava NBD+1(den s výpadkem, den diagnostiky a objednání servisu, den obnovení služby). Ideální samozřejmě je mít krizový plán, co dělat, když selže obojí, ale...
Na nic lepšího nejsou peníze.

OK, takže nemáte na mysli online replikaci na úrovni pole.

Jedním z řešení, nad kterými jsem uvažoval, je pořídit starší Powervault, třeba 3-4 kusy.
Do dvou z nich pořídit nové zdroje a provozovat si iSCSI řešení se starším a nepodporovaným hardware.
Resp. podpora by se sestávala z dvou fungujících kusů, které bych tam v případě nehody prdnul.
...to je zoufalost, ale menší, než tam ladit něco na bází FreeNASu. Možná i menší zoufalost, než to honit na Synology, byť Synology samozřejmě používám na zálohování.

Ano, to je životaschopné řešení. Za zlomek ceny se dá solidní spolehlivost nahnat množstvím hardwaru (třeba i do zásoby), klidně z eBay. Někdy jsou trochu problémy s hledáním kompatibilních disků, někdy se nepohodnou firmwary - což je otravné, ale většinou nějak řešitelné.