Geograficky redundantní NAS

[czechsys]

Ahoj,

provozujeme lokalni HA nas v jedne lokalite a potrebovali bychom reseni pro 2 lokality z hlediska HA. Jiz jsme poridil SAN (iscsi), ktery operuje nad obema lokalitami, ale neporidila se s nim licence nfs a dokoupeni je "docela drahe".

Testoval jsem VM nfs na tom SANu a dostal jsem se na 1/3 vykon stareho reseni (30k iops read, 10k iops write, fio randrw mixed mode). Kolega testoval obdobne jeho specificky cephfs cluster a dostal se na 2/3. Tudy tedy zrejme cesta nevede, i kdybych postavil vice VM s nfs a rozdelil provoz.

Sice bych mohl postavit stare reseni po novu pomoci, ale urcite neni v mych silach pokryt vetsinu klasickych vypadkovych stavu, nemluve o nejakem oddeleni uzivatelu - mit na NASu desitky L2 siti (sitovek) me docela desi.

Ma nekdo v provozu nejaka reseni, ktera by se dala dat na uroven small/middle business? Nevim, zda by to pokrylo treba synology. Lokality mame propojene optikou, pro pripadnou 3. lokalitu (quorum) pouzivame cloud. Hodi se i tipy na firmy, ktere takova reseni implementuji, abychom mohli ziskat cenu takovych reseni.

Diky.

[Reklama]

[Tomáš Crhonek]

Ahoj,

provozujeme lokalni HA nas v jedne lokalite a potrebovali bychom reseni pro 2 lokality z hlediska HA. Jiz jsme poridil SAN (iscsi), ktery operuje nad obema lokalitami, ale neporidila se s nim licence nfs a dokoupeni je "docela drahe".

Testoval jsem VM nfs na tom SANu a dostal jsem se na 1/3 vykon stareho reseni (30k iops read, 10k iops write, fio randrw mixed mode). Kolega testoval obdobne jeho specificky cephfs cluster a dostal se na 2/3. Tudy tedy zrejme cesta nevede, i kdybych postavil vice VM s nfs a rozdelil provoz.

Sice bych mohl postavit stare reseni po novu pomoci, ale urcite neni v mych silach pokryt vetsinu klasickych vypadkovych stavu, nemluve o nejakem oddeleni uzivatelu - mit na NASu desitky L2 siti (sitovek) me docela desi.

Ma nekdo v provozu nejaka reseni, ktera by se dala dat na uroven small/middle business? Nevim, zda by to pokrylo treba synology. Lokality mame propojene optikou, pro pripadnou 3. lokalitu (quorum) pouzivame cloud. Hodi se i tipy na firmy, ktere takova reseni implementuji, abychom mohli ziskat cenu takovych reseni.

Diky.

Můžu vám nabídnout placené konzultace, tohle umím velmi dobře. Moje cena je nízké desetitisíce kč za nastavení jednoho serveru s hromadou disků. Síti ale nerozumím.

[r223]

Myslím, že by to měl řešit Ceph multisite. Tzn, máš 2 Ceph clustery a mezi nimi tohle. Ale prakticky jsme nezkoušel.

[Tomáš Crhonek]

Myslím, že by to měl řešit Ceph multisite. Tzn, máš 2 Ceph clustery a mezi nimi tohle. Ale prakticky jsme nezkoušel.

Já mám vynikající zkušenosti s multi-site až do 100nodů (Linux, BTRFS, ZFS, FreeBSD, automatické, i offline záloha). Jen to chce síťaře. Umím elektřinu, takže připojím i UPS. Nabízím své služby v ČR. Platba fakturou. Vše s dokumentací. A vše v majetku objednavatele.

[honzako]

Nebyl by lepší, a možná levnější Azure, a nebo možná AWS?
Azure Files, Azure NetApp Files - podle ceny a potřeby

[Reklama]

[Mmmartan]

Nebyl by lepší, a možná levnější Azure, a nebo možná AWS?
Azure Files, Azure NetApp Files - podle ceny a potřeby

V jednotkách GB určitě, pokud ale řešíme terabajty, tak ani náhodou

[czechsys]

Tak AWS apod. rovnou skrtam, kdyz jsem koukal na ceniky EFS, tak by to urcite nevychazelo. Tam by melo akorat smysl nacpat web aplikaci primo do tech web VM/kontejneru a teprve zbytek souborovych dat na EFS, ale i tak by to bylo ve stovkach GB - realny provoz na nfs siti se spatne kalkuluje.

Cephfs jsem moc nezkousel, ale uz zpusob pripojovani klienta (auth) do ceph clusteru me od toho trochu odrazuje. Navic multisite (znam jen z proxmoxu) je spis jednostranna replika. Nemluve o tom, ze pro potrebny vykon bych potreboval nejakou hromadu ceph nodu na obou stranach. To se nevyrovna max 2U per lokalita profi reseni.

Jinak cekal jsem spis informace, ze nekdo pouziva takove reseni (synology HA, truenas, konejnery) popr. odkazy na ruzne MSP ci firmy to zajistujici. Nejak se mi nechce verit, ze jsme v CR jedini, kdo to resi a neni to banka nebo korporat.

Zatim me napadlo prinejhorsim postavit lokalni nfs cluster v kazde lokalite, z gitu by se posilaly zdrojaky na oba, a mezi clustery nasadit nejaky replikacni mechanismus pro zbytek souborovych "dat" - dokumenty, obrazky, apod. Mozna porad lepsi, kdyz sluzba "bezi", ale nema "data", nez nebezi nic. Ale krome drbd neznam nic, co by bezelo v realtime (async,sync) a ne opakovanym cronem apod.

[r223]

Tak AWS apod. rovnou skrtam, kdyz jsem koukal na ceniky EFS, tak by to urcite nevychazelo. Tam by melo akorat smysl nacpat web aplikaci primo do tech web VM/kontejneru a teprve zbytek souborovych dat na EFS, ale i tak by to bylo ve stovkach GB - realny provoz na nfs siti se spatne kalkuluje.

Cephfs jsem moc nezkousel, ale uz zpusob pripojovani klienta (auth) do ceph clusteru me od toho trochu odrazuje. Navic multisite (znam jen z proxmoxu) je spis jednostranna replika. Nemluve o tom, ze pro potrebny vykon bych potreboval nejakou hromadu ceph nodu na obou stranach. To se nevyrovna max 2U per lokalita profi reseni.

Jinak cekal jsem spis informace, ze nekdo pouziva takove reseni (synology HA, truenas, konejnery) popr. odkazy na ruzne MSP ci firmy to zajistujici. Nejak se mi nechce verit, ze jsme v CR jedini, kdo to resi a neni to banka nebo korporat.

Zatim me napadlo prinejhorsim postavit lokalni nfs cluster v kazde lokalite, z gitu by se posilaly zdrojaky na oba, a mezi clustery nasadit nejaky replikacni mechanismus pro zbytek souborovych "dat" - dokumenty, obrazky, apod. Mozna porad lepsi, kdyz sluzba "bezi", ale nema "data", nez nebezi nic. Ale krome drbd neznam nic, co by bezelo v realtime (async,sync) a ne opakovanym cronem apod.

Já to z popisu chápu tak, že chceš něco, co má mít už dost enterprise charakteristiky...
Z toho ten Ceph vychází jako levná a dobrá alternativa. Na věci typu Synology bych zapomněl rovnou, truenas bych považoval take jen za dost tupý storage...
Kolega ti tady nabízel konzultaci, takových lidí je málo, kteří jsou schopní s tím fundovaně poradit. A také záleží na budgetu, podkud není, tak se na to raději vykašli.

[Exceptions]

chceš moc za málo peněz.

Active-active replikace mezi dvěma lokalitami je vysoká dívčí, to nelze zajistit na koleni, asynchronní replikaci umí i cvičený králík.

Synology, TrueNAS jsou hračky pokud jde o HA s více lokalitami, plno heků, plno vylomenin, minimální podpora a záruky, při řešení problémů to je spíše ke vzteku.

Ceph je toho plně schopný, ale na obou stranách potřebuješ několik nodů, v 2U krabici to lze řešit, ale pak výpadek krabice ti položí značnou část clusteru (či dokonce celý), otázka je co vlastně potřebuješ.

Na druhé straně tady máš enterprise řešení jako purestorage.com nebo Dell PowerScale (dříve IBM Isilon), to tě výjde na miliony na lokalitu.

Nepíšeš nic o latencích, datových přenosech a ani plánovaných iops. Umím ti s tím poradit, orientuji se i v sítích a cephu, ale zatím mám dojem, že toho chceš prostě příliš.

[czechsys]

Ja to nechci, to chce vedeni :-) Ja si uvedomuji, ze pokud to neni garazove reseni (ten stary nfs jsem slepil ja) slepene sysadminem/netadminem, tak to nikdy nebude levne. Synchronni to byt spis nemusi, vse, co jsme tu zatim zakoupili/postavili jsou urcite asynchroni reseni.

U tech truenas/synology mam info z vice stran - jedna si to pochvaluje, jedna si stezuje a tak. Tezko pak posoudit pouzitelnost do SMB. Reseni za miliony tady neuspeje, kdyz zatim neuspela nfs licence za nzke desitky tisic euro (licence+support).

Konzultace za desitky tisic, na to mi budget asi taky nedaji, resp. budget reseni jen vedeni, takze ja nemam v ruce ani halir, podle ktereho bych se mohl ridit :-) Stacilo by mi, kdyby mi nekdo napsal nejake firmy, ktere takove reseni nabizeji, ktere bych mohl oslovit pro zakladni naceneni. Ty konzultace "predbihaji" posloupnost. Vedeni proste potrebuje znat nejake ceny, aby se mohlo "rozhodnout", kterym smerem se pujde.

Co se tyce technickych parametru, nejsou momentalne primo definovane. Co urcite zname, jsou parametry stareho NFS (sata i nvme ssd) - a treba novy SAN ISCSI ma nizsi vykon, ale ma ty "feature". Ze na vse pouzivame 10G site, mame moznost strcit (pouze) NAS na 100GB switch. K tomu mame vyhrazenou 10G optiku mezi lokalitami, opet moznost prepojit na 100G, ale zaklad je tech 10G.

Zatim jsem si obnovil znalost, ze jsem tehdy objevil Starwinds VSAN.

[jjrsk]

Jak tu rekli jini, ujasni si nejdriv, co se vlastne ocekava a predevsim PROC. Pak si ujasni, kolik na to mas, a dost pravdepodobne zjistis, ze na to nemas. Nema smysl utracet miliony kdyz resis potencielni skody za tisice.

A uvedom si predevsim, ze za jakejkoli samorobo batl pak taky sam zodpovidas, coz je pohoda presne do chvile, nez se to podela.

Pricemz stejne jak tu psali jini, tvoje pozadavky uz jen takhle od stolu a velmi bywoko vpohode prelezou 10M.

[Exceptions]

pokud potřebuješ nějaké referenční nabídky, tak zkus namátkou oslovit společnosti jako cnnc.cz, asbis.cz, fortion.cz atd. (nemám s žádnou žádný vztah, pouze je znám), ale ta cena ti půjde vysoko.

Problém Synology je, že se to umí nepěkně rozbít a nejsi schopný to nijak opravit, musíš koupit nový HW (či mít ve skladu náhradní) a data mít někde zálohovaná, je to blackbox, který nelze snadno opravit a ani rekonstruovat. TrueNAS teď přechází na linux, v podloubí není tak zlý, zfs dokážeš obnovit i externími nástroji, je relativně otevřený, ale primárně to je standalone, o mutlilokalitě tam vůbec nevím (replikace přes snapshoty je něco jiného).

Pokud chceš levné řešení, tak ideálně práce přes jednu lokalitu a replikace přes snapshoty do druhé, DR s výpadky a ruční/poloautomatickou prací atd. To jsou levná řešení, které lze zprovoznit na komunitním SW nebo nějakých retail krabičkách.

[RDa]

A znas alespon zakladni pozadavky?

- pristup jako block device vs pristup jako k souborum/objektum?

- potrebujes garantovanou synchronicitu dat (a tudiz ztrata spojeni bude znamenat media offline, nebo drop do RO), nebo lze akceptovat lazy-sync s nejakou latenci?

- potrebujes pristup skrze klasicke protokoly (smb/nfs), nebo jde o datove uloziste pres vyssi API ?

- co jsou klienti daneho storage reseni? a jaka data tam jsou ulozena

[r223]

Ja to nechci, to chce vedeni :-) Ja si uvedomuji, ze pokud to neni garazove reseni (ten stary nfs jsem slepil ja) slepene sysadminem/netadminem, tak to nikdy nebude levne. Synchronni to byt spis nemusi, vse, co jsme tu zatim zakoupili/postavili jsou urcite asynchroni reseni.

Tak se zamysli nad tim, ze nechat se do toho natlacit znamena pro tebe osobne nejspis slapnout do poradne velkeho hovna.
Ale myslim, ze to sam tusis...

[honzako]

Jak píše RDa dej požadavky a popiš co od toho očekáváš za funkcionalitu. A stanov skutečný rozpočet na investice, ev. na měsíční bázi.
Ideální by bylo i kdyby jsi dal zadání od vedení, co vlastně oni od toho očekávají.
Teprve pak zde můžeš získat nějaké obecné řešení, a nebo radu která tě smyslplně posune dál.

Zatím mám pocit že jsi napsal že jsi koupil nějaký SAN. A NFS je údajně drahé!
Takže nejspíše nějaké peníze jsou, ale jde se na to takovým tím švejkovský postupem, něco koupím a pak přemýšlím.
No, myslím si že se zde mělo nejdříve víc přemýšlet, pak analyzovat, pak se na to vyspat a ještě jednou probrat zda se něco neopomnělo a pak poptat např. u Servodata atd. aby vznikl cenový nástřel.

Já jsem zmínil Azure, netuším jestli je to to pravé.
Je SQL Oracle nebo co tam je. Je tam SAP/HANA nebo něco podobné?
A nebo je to pouhopouhé sdílení souborů.

Ale všechny tyto řešení většinou očekávají i robustní infrastrukturu a hlavně konektivitu.

Kdysi velmi dávno jsem řešil podobné úvahy v jedné vesnické firmě s podobným záměrem, ale když mi řekli že mají 10Mbit wifi a měsíční náklady "nejradši zadarmo" tak jsem to radši sám ukončil.