Fórum Root.cz

Hlavní témata => Server => Téma založeno: PanVP 01. 02. 2021, 12:00:10

Název: SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: PanVP 01. 02. 2021, 12:00:10
Ahoj,

řeším úložiště pro VMware (musí být dvě a vzájemně se replikovat).
K úložištím budou připojené (iSCSI) tři VMware servery.
Řešení musí přežít výpadek jednoho z úložišť a selhání jednoho ze serverů.

Tohle není žádný "neobvyklý" požadavek, ale klient je specifický.
- Nemá tolik peněz, aby mohl jít do profesionální řešení typu Dell PowerVault
(Ono i podobné od Synology vychází dost podobně.)

- Zároveň to není úplně malá firma. Jistě bych mohl úložiště postavit nad Linuxem nebo něčím jako FreeNAS, ale toho se bojím. Pokud by se data ukládala "blbě" a došlo by k jejich poškození, mohla by z toho být ohromná škoda.

S jedním zařízením bych se měl vejít do 50 000 resp. s celým řešením do 100 000 Kč bez disků.
A mělo by to být pokryté zárukou od výrobce (samozřejmě budu mít vlastní - další vrstvu zálohování).

Takže co s tím?
Nějaké nápady a řešení?
Vážně bych raději pořídil něco hotového, než tu kutil nějakou "skládačku".
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: Petr Klíma 01. 02. 2021, 12:05:26
Jsou už ty servery a VMWare koupeny?

Tohle je jasná úloha pro vSAN a v případě ROBO licencí je to skoro za hubičku ...
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: PanVP 01. 02. 2021, 12:19:25
Jsou už s VMware, ale jen Essential, alespoň že pod supportem.
Navíc se vSAN platí zvlášť a stojí to raketu, každý server má 2 CPU a virtuálů je hodně.

AD ROBO - tedy Remote Office Branch Office (Standard) je omezený jen na 25 virtuálů.
To ROBO nám někdo rozmlouval, prý cesta vSANou je nejlepší, ale měli bychom začít povýšením na "plnotučný" VMware a přikoupením vSANy...

Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: Petr Klíma 01. 02. 2021, 12:23:21
Navíc se vSAN platí zvlášť a stojí to raketu, každý server má 2 CPU a virtuálů je hodně.
AD ROBO - tedy Remote Office Branch Office (Standard) je omezený jen na 25 virtuálů.

Pokud by nebylo 25 VM omezení, tak v rámci ROBO je vSAN v ceně ...
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: Petr Klíma 01. 02. 2021, 12:25:16
Jsou už s VMware, ale jen Essential, alespoň že pod supportem.

Takže Proxmox nebo OpenStack nepřichází v úvahu ... Obávám se, že skončíte u toho FreeNAS ...
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: czechsys 01. 02. 2021, 12:50:38
Pokud by se data ukládala "blbě" a došlo by k jejich poškození, mohla by z toho být ohromná škoda.

S jedním zařízením bych se měl vejít do 50 000 resp. s celým řešením do 100 000 Kč bez disků.
A mělo by to být pokryté zárukou od výrobce (samozřejmě budu mít vlastní - další vrstvu zálohování).


Kde jsou pozadavky na konektivitu? Kde jsou pozadavky na iops? Kde jsou pozadavky na redundanci, SLA?
Zaruka od vyrobce je co? HW? SW? Doba zaruky?

Ty pozadavky zakaznika jsou takovy, ze chce minimalne superba za cenu thalie. Ruce pryc od samodomo skladacky. A pripadne ruce pryc od zakaznika.
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: Miroslav Šilhavý 01. 02. 2021, 12:54:30
FreeNAS, pokud vím, tak neumí replikovat v reálném čase.
Aby FreeNAS fungoval solidně, potřebuje jedno SSD na L2ARC a na ZIL, další disk na samotný freenas plus nějaké pole.
K tomu potřebuje hromadu RAM, zejména pokud to bude připojení >= 10 Gbit. Ladění freenas na takový výkon je peklo samo o sobě.

Předpokládám, že pokud na tom běží hodně VM a je požadavek na replikaci úložiště, bude celkově dost velký požadavek i na IOPS a na nepřetržitost provozu...

Moje osobní zkušenost je, že i bez replikace se takové železo nedá postavit do 50 kKč bez disků.

Asi bych jako správce na sebe nebral odpovědnost za skládačku, k jejíž podpoře se nikdo nehlásí, a kde může dojít k velkým škodám na datech. To, co by si výrobci nechali zaplatit, vy osobně poskytnete svým jménem. Když to bude fungovat, tak nedostanete nic kromě své výplaty. Když bude průšvih, pověsí Vás za koule do průvanu. To nedává smysl vůbec dělat pro jedno úložiště (kdybyste jich měl postavit desítky, pak už se investice do know how a týmu lidí, co to budou řešit, možná vyplatí).

Synology, QNAP - jsou poměrně levné, IMO levnější, než si dělat skládačku. Jen hardware mají nevalný - co jsem to kde potkal, tak se to po pár letech vypnulo a zdroje už nezapnuly; docela nemilé v produkci. Se skládačkou získáte aspoň možnost operativně řešit hardware. Nevím, jestli takový přístup zákazník (zaměstnavatel) ocení; každý ocení na začátku uspořenou korunu, ale v případě průšvihu se pak diví, že s o rizicích nebyl poučen.
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: PanVP 01. 02. 2021, 13:04:54

Vidím to stejně.
Ale jak z toho?

Pokud by nebylo 25 VM omezení, tak v rámci ROBO je vSAN v ceně ...
Možná by to nakonec mohlo být řešení...
Teoreticky tam nacpat těch 25 nejdůležitějších...

Rozhodně Vám děkuji za námět k přemýšlení!
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: Hamparle 01. 02. 2021, 13:06:43
Sice je v nadpisu  zmínka bez disků (dalo by se to vykládat i 50 000 s disky resp 100 000bez disků ale to je přitažené za vlasy), ale ono je něco mít 1-16TB úložiště, na které stačí jeden disk než 50TB, na které bude potřeba i 5 disků.

Jinak také mám stížnost na Synology že po pár měsících přestal jít.
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: Miroslav Šilhavý 01. 02. 2021, 13:15:26

Vidím to stejně.
Ale jak z toho?

Podle mě je jediná smysluplná cesta nejprve se zákazníkem sepsat parametry požadovaného řešení. Tj. požadavek na IOPS (zápis, čtení), projektované havárie (které prvky smí odejít aniž by vypadl provoz - disk, pole, switch, spojení), požadavky na rychlost servisu (reakční doba, doba do vyřešení), nezapomenout na následnou migraci (např. jestli nyní a v budoucnosti budou migrace s výpadkem či bez výpadku) atd.

Následně se dají poptat dodavatelé (DELL, HP, ...) a vedle toho jako projekt zpracovat vlastní řešení na synology, freenas, ... Z toho Vám vypadne cena na dalších (řekněme) pět let provozu a můžete srovnávat. Klient pak taky může podle cen slevit ze svých požadavků.

Nicméně bych nevynechával tu fázi popisu poptávaného (hledaného) řešení a zahrnutí objednatele do rozhodnutí o tom, co je důležité, a co není. Vy za něj nemůžete rozhodnout, jestli se vyplatí ušetřit X Kč a riskovat výpadek v trvání Y hodin, nebo naopak.
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: farbydos2 01. 02. 2021, 13:40:53
Ad: "Pokud by se data ukládala "blbě" a došlo by k jejich poškození, mohla by z toho být ohromná škoda." Ohromná škoda je docela dobrý argument pro výběr kvalitního HW a dobře použitelného SW, ne? Možná by dovedl zadavatel přehodnotit rozpočet, pokud by některý ze značkových dodavatelů nabídl dobrou záruku nebo pokud by se daly dopředu rozmyslet scénáře při selhání hrající ve prospěch profi řešení. Když pak uvidí: teď při nákupu ušetříme XY, ale až se to pokazí, budeme muset koupit..., možná se rozmyslí.
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: PanVP 01. 02. 2021, 13:46:32
mám stížnost na Synology

Mně takhle naráz odešly tři QNAPy - jeden asi na Intel bug, dva to najednou přestalo bavit a jednalo se o "nová zařízení" (v případě těch dvou).
Dnešní hardware nevydrží ani omylem to, co vydržel hardware před deseti lety.

Všichni mluví i IOPSech, ale moderní úložiště (čti SSD), vesměs nabízí mnohem víc IOPS než jaká je reálná potřeba "čehokoliv". Viděl jsem běžet třicet VPS z jednoho (!!!) konzumního NVMe SSD SAMSUNG... Jednalo se sice o Linux s vypnutými blbinkami (zaznamenej poslední otevření souboru pro čtení atd.), ale všech třicet z něj spokojeně běželo tři roky (nejspíš i dál, ale to už jsem tam nebyl). A to tam každé z těch VPS mělo svou databázi, protože na tom měli lidi vesměs e-shop na Apache, PHP a MySQL. Vytížení SSD bylo pod 20%. IMHO IOPS bylo téma především u pevných disků, kdy HDD zvládne 300-500 IOPS, kdežto SSD 70000+ IOPS. Pokud by IOPS bylo téma, sám bych to zmínil. Což vy, jako velmi chytrý člověk, chápete. Ostatně se známe osobně.

Havárie také nejsou téma, má se jednat o řešení, kde jsou dva - vzájemně se zálohující - prvky, případně svědek.
Pokud jedno z řešení vypadne, očekává se oprava NBD+1(den s výpadkem, den diagnostiky a objednání servisu, den obnovení služby). Ideální samozřejmě je mít krizový plán, co dělat, když selže obojí, ale...
Na nic lepšího nejsou peníze.

Jedním z řešení, nad kterými jsem uvažoval, je pořídit starší Powervault, třeba 3-4 kusy.
Do dvou z nich pořídit nové zdroje a provozovat si iSCSI řešení se starším a nepodporovaným hardware.
Resp. podpora by se sestávala z dvou fungujících kusů, které bych tam v případě nehody prdnul.
...to je zoufalost, ale menší, než tam ladit něco na bází FreeNASu. Možná i menší zoufalost, než to honit na Synology, byť Synology samozřejmě používám na zálohování.

Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: PanVP 01. 02. 2021, 13:48:15
...možná se rozmyslí.

Ano, to rozhodně, ale rozpočet se plánuje poměrně dlouho dopředu.
Až stávající servery dodýchají, tak se to postaví celé znovu a lépe.
Jenže to bude trvat ještě tři roky.

Mně by se nejvíc líbilo řešení s VMware a vSAN, ale to bude možné pořídit až s novým serverem.
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: kotelgg 01. 02. 2021, 13:52:42
A aktuální stav je, že je nějaké pseudo úložiště? Nebo ta drahá data teprve vzniknou. Protože pokud už to nějak funguje, tak zjistit požadavky není problém, ale pak je tedy hrozba ohromných škod každou minutu...
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: Miroslav Šilhavý 01. 02. 2021, 13:59:09
Všichni mluví i IOPSech, ale moderní úložiště (čti SSD), vesměs nabízí mnohem víc IOPS než jaká je reálná potřeba "čehokoliv". Viděl jsem běžet třicet VPS z jednoho (!!!) konzumního NVMe SSD SAMSUNG... Jednalo se sice o Linux s vypnutými blbinkami (zaznamenej poslední otevření souboru pro čtení atd.), ale všech třicet z něj spokojeně běželo tři roky. A to tam každé z těch VPS mělo svou databázi, protože na tom měli lidi vesměs e-shop na Apache, PHP a MySQL. Vytížení SSD bylo pod 20% IOPS bylo téma především u pevných disků, kdy HDD zvládne 300-500 IOPS, kdežto SSD 70000+ IOPS. Pokud by IOPS bylo téma, sám bych to zmínil. Což vy, jako velmi chytrý člověk, chápete. Ostatně se známe osobně.

Osobně?

IOPS musíte posoudit, záleží na zátěži. Nejlépe se to, pochopitelně, pozná z provozu současného řešení.


Havárie také nejsou téma, má se jednat o řešení, kde jsou dvě - vzájemně se zálohující - prvky, případně svědek.
Pokud jedno z řešení vypadne, očekává se oprava NBD+1(den s výpadkem, den diagnostiky a objednání servisu, den obnovení služby). Ideální samozřejmě je mít krizový plán, co dělat, když selže obojí, ale...
Na nic lepšího nejsou peníze.

OK, takže nemáte na mysli online replikaci na úrovni pole.

Jedním z řešení, nad kterými jsem uvažoval, je pořídit starší Powervault, třeba 3-4 kusy.
Do dvou z nich pořídit nové zdroje a provozovat si iSCSI řešení se starším a nepodporovaným hardware.
Resp. podpora by se sestávala z dvou fungujících kusů, které bych tam v případě nehody prdnul.
...to je zoufalost, ale menší, než tam ladit něco na bází FreeNASu. Možná i menší zoufalost, než to honit na Synology, byť Synology samozřejmě používám na zálohování.

Ano, to je životaschopné řešení. Za zlomek ceny se dá solidní spolehlivost nahnat množstvím hardwaru (třeba i do zásoby), klidně z eBay. Někdy jsou trochu problémy s hledáním kompatibilních disků, někdy se nepohodnou firmwary - což je otravné, ale většinou nějak řešitelné.
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: PanVP 01. 02. 2021, 14:26:17
je tedy hrozba ohromných škod každou minutu...

To ano, navíc za jejich zálohování bych do ohně ani špičku prstu :P

Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: PanVP 01. 02. 2021, 14:34:43
Osobně?

Ano.

Ano, to je životaschopné řešení. Za zlomek ceny se dá solidní spolehlivost nahnat množstvím hardwaru

Takže z nejšpatnější řešení to méně špatné?
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: Miroslav Šilhavý 01. 02. 2021, 14:41:49
Takže z nejšpatnější řešení to méně špatné?

Technicky: jedná se o stroje po konci stanovené životnosti. Dá se s určitou mírou odhadnout, jestli a jak budou sloužit do budoucna, dá se odhadnout jejich kompatibilita a výkon. Nedá se s jistotou říct, jestli to tak opravdu bude - můžete mít smůlu na kus, můžete mít smůlu na řadu, která se nepovedla (zatímco historicky se téže značce povedly všechny jiné), můžete mít smůlu, že vmware bude v novější verzi nekompatibilní. Roste i riziko náhlé smrti hardwaru. Vše toto se dá +/- řešit rezervami, počítat s tím, že to nemusí sloužit další tři roky, ale třeba jen jeden (a být spokojený, když to bude fungovat dobře).

Co neumím posoudit ve Vašem případě je, jestli ten pohled přijme investor; to je o důvěře mezi ním a Vámi. Je to forma dohody: on důvěřuje Vám, že vybíráte podle svého nejlepšího přesvědčení, a Vy důvěřujete jemu, že Vás podrží, kdyby se něco zvrtlo.
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: Logik 01. 02. 2021, 14:49:45
Citace
a Vy důvěřujete jemu, že Vás podrží, kdyby se něco zvrtlo.
To je dobrá poznámka. Jedna z věcí, které si člověk draze platí u enterprise řešení je "přenesení zodpovědnosti".Tedy, že když se něco zvrtne, tak sice to firmu stojí třeba úplně stejně, jako když selže adminovo "samodomo" řešení,ale admin může říci: použil jsem enterprise hardware, víc jsem udělat nemohl.
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: nocturne.op.15 01. 02. 2021, 14:51:39
Ty pozadavky zakaznika jsou takovy, ze chce minimalne superba za cenu thalie. Ruce pryc od samodomo skladacky. A pripadne ruce pryc od zakaznika.

Do kamene tesat! Lepší přijít o blbého zákazníka, než si samou ochotou vypěstovat blbou pověst.

Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: František Ryšánek 01. 02. 2021, 17:01:52
Pokud si cca správně pamatuju, cena do 50 kKč za PC server s pár diskovými šuplíky (nebo noname DAS RAID box) vychází tak na nějaké SuperMicro nebo taiwanský RAID s řadičem Accusys/Areca. Možná. Záleží co do toho za motherboard a procesor a kolik RAM. Pokud to má být spolehlivé, tak něco s ECC = entry-level Xeon. Pokud se do toho má vejít víc jak 64 GB RAM, tak to IMO vede na plnotučné Xeony. Supermicro se tu dá koupit. Záruka od výrobce je v základu 1 rok, ale náhradní zdroje bývají dostupné dlouhá léta po záruce. Otázka je, jestli tam cpát HW RAID (který pro nějakých 16 kanálů už taky něco stojí, může být úzkým hrdlem průchodnosti apod.), nebo připojit disky přes prosté HBA - ale o to složitější může být softwarové řešení.

Externí RAIDy a JBODy s Arecou dodává dlouhá léta pod svou značkou německý Starline. Externí box může mít nativní iSCSI, nebo DAS připojení přes SAS či PCI-e. Pravda je, že skvělá doba velkých boxů s mnoha točivými disky je pryč... A záloha dvou řadičů je výsadou spíš fajnovějších značek (jako minimum bych viděl Infortrend, ačkoli koukám že Areca to umí údajně taky) - ale tohle je spíš v rámci jednoho šasi. Poptávka zjevně zněla na nějaké modernější řešení redundance :-)

Nezkoušeli jste někdo CEPH ? Nešel by zapřáhnout? Bloková abstrakce nebo i větší soubory jako bootdisk pro ty virtuály (aby těmi soubory nebo oddíly disponoval hypervizor), případně dát jednotlivým virtuálům přímý přístup i k "souborové abstrakci", pokud bude zájem? Jsem pustý teoretik, nesáhl jsem si na to.
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: M_D 01. 02. 2021, 17:37:57
I místní prodejci Supermicra pro něj nabízí onsite NBD na 3 nebo 5 let. Pravda, něco to stojí (třeba cca 40 kKč pro šasi s osmisystémem SYS-5039MC-H8TRF za 520 kKč).

Je otázka, zda by za těch 100 kKč dokázal koupit 2 šasi od QNAPu nebo Synology s podporou pro live replikaci iSCSI svazků. Myslím, že s trochu štěstí ano  a pár let to vydrží, než chcípne ten vlastní HW serverů. U Synology jenom pozor, že je tam požadavek na odezvu mezi šasi do 1 ms, takže nejde tak třeba replikovat 2 šasi Brno-České Budějovice, Albert nám dal rychlost světla příliš nízko. :-)

By mě zajímalo porovnání třeba CEPH kontra GlusterFS. GlusterFS používáme 2 servery, někde 3 servery, co se vzájemně synchronizují lokální SSDéčka přes vyhrazené 10 Gbps propoje a nad tím virtuály. Jako podklad CentOS7 s cluster suitem, nad tím KVM a hromada virtuálů, kupodivu celkem OK pro pár desítek virtuálů, kde jsou i celkem velké PostgreSQL InfluxDB a Oracle databáze s pár seg giga až tera daty.
Pokud se nám na tom v posledních letech někdy něco podělalo, tak to byly servery se sdíleným externím SAS polem (GFS2 filesystém), když nějak blbě lehnul některý z řadičů v řádu měsíc-dva po skončemí záruky na HW. :-)
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: František Ryšánek 02. 02. 2021, 13:14:50
Pokud se nám na tom v posledních letech někdy něco podělalo, tak to byly servery se sdíleným externím SAS polem (GFS2 filesystém), když nějak blbě lehnul některý z řadičů v řádu měsíc-dva po skončemí záruky na HW. :-)

...RedHat GFS2 pokud vím řeší hlavně mount téhož DAS zařízení/svazku na více hostitelích paralelně. Kdysi jsem na to koukal, tuším se to tvářilo zhruba jako EXT3 s dodělaným vícenásobným mountováním a nějakou vzájemnou synchronizací hostitelů. Redundanci toho DAS zařízení GFS2 neřeší = ten box je single point of failure, ledaže bude mít uvnitř dva řadiče se vzájemnou synchronizací na blokové vrstvě. Je to tak?

Citovaný "incident" se skonáním řadiče... to jenom odpadl konkrétní server, nebo se nějak hnusně zbořil FS ?

Představuju si, že CEPH se tváří cca jako Samba, ale zároveň replikuje data mezi více storage uzlů. Případně nad tímto základem umí emulovat i blokové zařízení.
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: František Ryšánek 09. 03. 2021, 17:13:10
Omluva za troufalou exhumaci, spadl mi před chvilkou do schránky SPAM od německého Starline (v AJ) kde werbují na nějaký live webinář zdarma na téma harddisky/storage a CEPH... moc od toho nečekám, ale asi se ze zvědavosti přihlásím. Já sám zrovna z téhle firmy nic nemám, a nechci sem umísťovat link, jednak protože reklama ve free fóru, jednak přihlašovací link nevisí u Starline volně na webu. Pokud by to někoho zajímalo tak odpovím na SZ. Když mi moderátor toto smahne tak vím za co, omlouvám se a uvítám feedback, jestli jsem tentokrát už za čárou :-)
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: StanoTmavy 24. 03. 2021, 01:10:59
Dobry vecer, par mojich poznamok,

synology a qnap mame ich par 10tok.
Niektory model dokaze prezit cokolvek inde umrie novy po chvilke. Parkrat nam zacalo len tak failovat disky ktore boli nasledne v dalsom zariadeni bez problemov, parkrat umrelo cele, o HA ani nehovorim. Pouzivame to u lowcost zakaznikov max tak na backup storage kde sa odlievaju data.. na produkciu to neodporucam, nehovoriac o priepustnosti.

k tomu profi rieseniu za 50tisic ( ak sa bavime v czk tak neexistuje).

ak to ma prezit vypadok jedneho pola ( bez toho aby si to ktokolvek okrem monitoringu ;-) vsimol, (cize nonstop sync) bavime sa minimalne o dell sc rade s live volume.. tam sa hybeme okolo 50 tisic ale €, HP msa to nevie z hp az 3par pripadne primera.. , netapp a zvysok samozrejme maju tiez zastupcov.
.

raz som vsak nieco podobne buildoval ale bolo to skor na home use.. 2x repasovany hp server.. ( velkost podla poctu diskov, pripadne nejakych ds2600 2700 , k tomu 10gbit sietovky a/ alebo fibre channel karty.

ja som odtestoval aj 10gbit iscsi aj 8gbit san priepustnost skoro rovnaka, trosku ma limitoval sata 3.0Gbps radic v gen7, ktory sata vedel len 3.0 a sas 6.0, takze aj 500MB/s ssd boli zbytocne  :-(

no ale naspak k rieseniu

bezalo mi tam drbd kde sa syncovali disky a tie boli nasledne cez targetcli exportnute na vmware.
slo to celkom fajn az na drbd . dnes by sa dal isto pouzit ceph.. takze ak by to malo byt kind of profi tak by som siel touto cestou.

repasovane servery linux a odtial export, ale ako pisali pani vyssie.. smrdi to trosku.. chcelo by to predsa len dopredu vediet SLA, IOPs, a tak podobne. Treba aj na radice davat pozor. Obstarejsie radice v hp nevedia SATA 6.0 atd. Treba sa dat na vela veci pozor.

ps: ak to bude ten starsi hw bacha aj na pci-e zbernice a ich limity
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: PanVP 24. 03. 2021, 08:46:53
Já se dobral v podstatě ke stejnému výsledku.
A teď čekám, co na to řeknou finance.
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: Jan Forman 24. 03. 2021, 11:24:08
Ono CEPH je primárně block storage a vše ostatní je postavené nad tím. Nativně exportuje block device.
Proto je tam i rozhraní kompatibilní s S3 API a Swift API

V tomhle budgetu to nedává smysl, protože rozumná funkcionalita je tak od 5+ serverů.

Systém replikace připomíná NoSQL databáze jako Cassandra, takže škáluje donekonečna a jeho limit asi bude jen crushmap (mapa clusteru, která musí být přítomná v každém stroji).
Disková kapacita a jeho výkon se dynamicky mění dle připojených serverů - není třeba ruční zásah.
Replikaci lze měnit v reálném čase (výchozí je 3/2) - data jsou na minimálně 3 lokalitách (serverech) a minimálně 2 musí potvrdit zápis.

Filesystém nepoužívám, ale dle dokumentace je to POSIX kompatibilní a tedy vlastní implementace FS

Pokud se nám na tom v posledních letech někdy něco podělalo, tak to byly servery se sdíleným externím SAS polem (GFS2 filesystém), když nějak blbě lehnul některý z řadičů v řádu měsíc-dva po skončemí záruky na HW. :-)

...RedHat GFS2 pokud vím řeší hlavně mount téhož DAS zařízení/svazku na více hostitelích paralelně. Kdysi jsem na to koukal, tuším se to tvářilo zhruba jako EXT3 s dodělaným vícenásobným mountováním a nějakou vzájemnou synchronizací hostitelů. Redundanci toho DAS zařízení GFS2 neřeší = ten box je single point of failure, ledaže bude mít uvnitř dva řadiče se vzájemnou synchronizací na blokové vrstvě. Je to tak?

Citovaný "incident" se skonáním řadiče... to jenom odpadl konkrétní server, nebo se nějak hnusně zbořil FS ?

Představuju si, že CEPH se tváří cca jako Samba, ale zároveň replikuje data mezi více storage uzlů. Případně nad tímto základem umí emulovat i blokové zařízení.
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: ondrej _ 24. 03. 2021, 11:35:06
Tu sa natiska CEPH ale na to potrebujes know-how(bez predchadzajucich skusenosti by som sa to bal sam rozbehat a dat do produkcie) alebo si najst nejakeho dodavatela na to ale to uz urcite preskoci rozpocet.

CEPH som onoho casu skusal s Proxmoxom a bezalo to pekne. Daju sa s tym robit zaujimave veci aj s nizkym rozpoctom. Na CEPH som pouzil HPMicroserverGen8, ktore sa dali zohnat za velmi nizku cenu a dal sa tak poskladat super entry level storage.
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: franc.josef 24. 03. 2021, 22:51:01
Takže firma poskytla rozpočet ve výši dvou měsíčních nákladů na průměrného zaměstnance na řešení, které pokud selže, může způsobit ohromné škody.
Vy jste ten, kdo to má celé od začátku do konce na zodpovědnost.

Asi mi něco uniká, ale můžete mi, prosím, říct, proč se tím vůbec zabýváte?
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: tr1l1ner 25. 03. 2021, 13:28:00
Postavit by to za danou castku asi slo... z pouzitych komponentu a urcite bych nechtel nest za to zodpovednost.

Coz mi pripomnelo krasny diagram:
(https://www.quotemaster.org/images/84/846569f09890b48d6b51d68985ddb6a7.png)

Ale jako reseni bych zvolil jak predchozi prispevatele - CEPH. Mam na to sice certifikat od RH, ale pouzil jsem to realne jen doma v labu na dvou Proxmox serverech a tam to funguje. :)
Název: Re:SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků
Přispěvatel: dfxxfd 25. 03. 2021, 14:24:23
Toto je taka poziadavka ako ked chce niekto za cenu ojazdenej fabie rovnako bezpecne a spolahlive auto ako je nove BMW radu 5.

Len by ma zaujimalo, kolko chcu platit cloveku, ktory im to bude spravovat. Lebo to by zobral len samovrah.