SAN - profesionální řešení okolo 50 tisíc, resp. do 100 bez disků

[PanVP]

je tedy hrozba ohromných škod každou minutu...

To ano, navíc za jejich zálohování bych do ohně ani špičku prstu

[Reklama]

[PanVP]

Osobně?

Ano.

Ano, to je životaschopné řešení. Za zlomek ceny se dá solidní spolehlivost nahnat množstvím hardwaru

Takže z nejšpatnější řešení to méně špatné?

[Miroslav Šilhavý]

Takže z nejšpatnější řešení to méně špatné?

Technicky: jedná se o stroje po konci stanovené životnosti. Dá se s určitou mírou odhadnout, jestli a jak budou sloužit do budoucna, dá se odhadnout jejich kompatibilita a výkon. Nedá se s jistotou říct, jestli to tak opravdu bude - můžete mít smůlu na kus, můžete mít smůlu na řadu, která se nepovedla (zatímco historicky se téže značce povedly všechny jiné), můžete mít smůlu, že vmware bude v novější verzi nekompatibilní. Roste i riziko náhlé smrti hardwaru. Vše toto se dá +/- řešit rezervami, počítat s tím, že to nemusí sloužit další tři roky, ale třeba jen jeden (a být spokojený, když to bude fungovat dobře).

Co neumím posoudit ve Vašem případě je, jestli ten pohled přijme investor; to je o důvěře mezi ním a Vámi. Je to forma dohody: on důvěřuje Vám, že vybíráte podle svého nejlepšího přesvědčení, a Vy důvěřujete jemu, že Vás podrží, kdyby se něco zvrtlo.

[Logik]

a Vy důvěřujete jemu, že Vás podrží, kdyby se něco zvrtlo.

To je dobrá poznámka. Jedna z věcí, které si člověk draze platí u enterprise řešení je "přenesení zodpovědnosti".Tedy, že když se něco zvrtne, tak sice to firmu stojí třeba úplně stejně, jako když selže adminovo "samodomo" řešení,ale admin může říci: použil jsem enterprise hardware, víc jsem udělat nemohl.

[nocturne.op.15]

Ty pozadavky zakaznika jsou takovy, ze chce minimalne superba za cenu thalie. Ruce pryc od samodomo skladacky. A pripadne ruce pryc od zakaznika.

Do kamene tesat! Lepší přijít o blbého zákazníka, než si samou ochotou vypěstovat blbou pověst.

[Reklama]

[František Ryšánek]

Pokud si cca správně pamatuju, cena do 50 kKč za PC server s pár diskovými šuplíky (nebo noname DAS RAID box) vychází tak na nějaké SuperMicro nebo taiwanský RAID s řadičem Accusys/Areca. Možná. Záleží co do toho za motherboard a procesor a kolik RAM. Pokud to má být spolehlivé, tak něco s ECC = entry-level Xeon. Pokud se do toho má vejít víc jak 64 GB RAM, tak to IMO vede na plnotučné Xeony. Supermicro se tu dá koupit. Záruka od výrobce je v základu 1 rok, ale náhradní zdroje bývají dostupné dlouhá léta po záruce. Otázka je, jestli tam cpát HW RAID (který pro nějakých 16 kanálů už taky něco stojí, může být úzkým hrdlem průchodnosti apod.), nebo připojit disky přes prosté HBA - ale o to složitější může být softwarové řešení.

Externí RAIDy a JBODy s Arecou dodává dlouhá léta pod svou značkou německý Starline. Externí box může mít nativní iSCSI, nebo DAS připojení přes SAS či PCI-e. Pravda je, že skvělá doba velkých boxů s mnoha točivými disky je pryč... A záloha dvou řadičů je výsadou spíš fajnovějších značek (jako minimum bych viděl Infortrend, ačkoli koukám že Areca to umí údajně taky) - ale tohle je spíš v rámci jednoho šasi. Poptávka zjevně zněla na nějaké modernější řešení redundance :-)

Nezkoušeli jste někdo CEPH ? Nešel by zapřáhnout? Bloková abstrakce nebo i větší soubory jako bootdisk pro ty virtuály (aby těmi soubory nebo oddíly disponoval hypervizor), případně dát jednotlivým virtuálům přímý přístup i k "souborové abstrakci", pokud bude zájem? Jsem pustý teoretik, nesáhl jsem si na to.

[M_D]

I místní prodejci Supermicra pro něj nabízí onsite NBD na 3 nebo 5 let. Pravda, něco to stojí (třeba cca 40 kKč pro šasi s osmisystémem SYS-5039MC-H8TRF za 520 kKč).

Je otázka, zda by za těch 100 kKč dokázal koupit 2 šasi od QNAPu nebo Synology s podporou pro live replikaci iSCSI svazků. Myslím, že s trochu štěstí ano  a pár let to vydrží, než chcípne ten vlastní HW serverů. U Synology jenom pozor, že je tam požadavek na odezvu mezi šasi do 1 ms, takže nejde tak třeba replikovat 2 šasi Brno-České Budějovice, Albert nám dal rychlost světla příliš nízko. :-)

By mě zajímalo porovnání třeba CEPH kontra GlusterFS. GlusterFS používáme 2 servery, někde 3 servery, co se vzájemně synchronizují lokální SSDéčka přes vyhrazené 10 Gbps propoje a nad tím virtuály. Jako podklad CentOS7 s cluster suitem, nad tím KVM a hromada virtuálů, kupodivu celkem OK pro pár desítek virtuálů, kde jsou i celkem velké PostgreSQL InfluxDB a Oracle databáze s pár seg giga až tera daty.
Pokud se nám na tom v posledních letech někdy něco podělalo, tak to byly servery se sdíleným externím SAS polem (GFS2 filesystém), když nějak blbě lehnul některý z řadičů v řádu měsíc-dva po skončemí záruky na HW. :-)

[František Ryšánek]

Pokud se nám na tom v posledních letech někdy něco podělalo, tak to byly servery se sdíleným externím SAS polem (GFS2 filesystém), když nějak blbě lehnul některý z řadičů v řádu měsíc-dva po skončemí záruky na HW. :-)

...RedHat GFS2 pokud vím řeší hlavně mount téhož DAS zařízení/svazku na více hostitelích paralelně. Kdysi jsem na to koukal, tuším se to tvářilo zhruba jako EXT3 s dodělaným vícenásobným mountováním a nějakou vzájemnou synchronizací hostitelů. Redundanci toho DAS zařízení GFS2 neřeší = ten box je single point of failure, ledaže bude mít uvnitř dva řadiče se vzájemnou synchronizací na blokové vrstvě. Je to tak?

Citovaný "incident" se skonáním řadiče... to jenom odpadl konkrétní server, nebo se nějak hnusně zbořil FS ?

Představuju si, že CEPH se tváří cca jako Samba, ale zároveň replikuje data mezi více storage uzlů. Případně nad tímto základem umí emulovat i blokové zařízení.

[František Ryšánek]

Omluva za troufalou exhumaci, spadl mi před chvilkou do schránky SPAM od německého Starline (v AJ) kde werbují na nějaký live webinář zdarma na téma harddisky/storage a CEPH... moc od toho nečekám, ale asi se ze zvědavosti přihlásím. Já sám zrovna z téhle firmy nic nemám, a nechci sem umísťovat link, jednak protože reklama ve free fóru, jednak přihlašovací link nevisí u Starline volně na webu. Pokud by to někoho zajímalo tak odpovím na SZ. Když mi moderátor toto smahne tak vím za co, omlouvám se a uvítám feedback, jestli jsem tentokrát už za čárou :-)

[StanoTmavy]

Dobry vecer, par mojich poznamok,

synology a qnap mame ich par 10tok.
Niektory model dokaze prezit cokolvek inde umrie novy po chvilke. Parkrat nam zacalo len tak failovat disky ktore boli nasledne v dalsom zariadeni bez problemov, parkrat umrelo cele, o HA ani nehovorim. Pouzivame to u lowcost zakaznikov max tak na backup storage kde sa odlievaju data.. na produkciu to neodporucam, nehovoriac o priepustnosti.

k tomu profi rieseniu za 50tisic ( ak sa bavime v czk tak neexistuje).

ak to ma prezit vypadok jedneho pola ( bez toho aby si to ktokolvek okrem monitoringu ;-) vsimol, (cize nonstop sync) bavime sa minimalne o dell sc rade s live volume.. tam sa hybeme okolo 50 tisic ale €, HP msa to nevie z hp az 3par pripadne primera.. , netapp a zvysok samozrejme maju tiez zastupcov.
.

raz som vsak nieco podobne buildoval ale bolo to skor na home use.. 2x repasovany hp server.. ( velkost podla poctu diskov, pripadne nejakych ds2600 2700 , k tomu 10gbit sietovky a/ alebo fibre channel karty.

ja som odtestoval aj 10gbit iscsi aj 8gbit san priepustnost skoro rovnaka, trosku ma limitoval sata 3.0Gbps radic v gen7, ktory sata vedel len 3.0 a sas 6.0, takze aj 500MB/s ssd boli zbytocne  :-(

no ale naspak k rieseniu

bezalo mi tam drbd kde sa syncovali disky a tie boli nasledne cez targetcli exportnute na vmware.
slo to celkom fajn az na drbd . dnes by sa dal isto pouzit ceph.. takze ak by to malo byt kind of profi tak by som siel touto cestou.

repasovane servery linux a odtial export, ale ako pisali pani vyssie.. smrdi to trosku.. chcelo by to predsa len dopredu vediet SLA, IOPs, a tak podobne. Treba aj na radice davat pozor. Obstarejsie radice v hp nevedia SATA 6.0 atd. Treba sa dat na vela veci pozor.

ps: ak to bude ten starsi hw bacha aj na pci-e zbernice a ich limity

[PanVP]

Já se dobral v podstatě ke stejnému výsledku.
A teď čekám, co na to řeknou finance.

[Jan Forman]

Ono CEPH je primárně block storage a vše ostatní je postavené nad tím. Nativně exportuje block device.
Proto je tam i rozhraní kompatibilní s S3 API a Swift API

V tomhle budgetu to nedává smysl, protože rozumná funkcionalita je tak od 5+ serverů.

Systém replikace připomíná NoSQL databáze jako Cassandra, takže škáluje donekonečna a jeho limit asi bude jen crushmap (mapa clusteru, která musí být přítomná v každém stroji).
Disková kapacita a jeho výkon se dynamicky mění dle připojených serverů - není třeba ruční zásah.
Replikaci lze měnit v reálném čase (výchozí je 3/2) - data jsou na minimálně 3 lokalitách (serverech) a minimálně 2 musí potvrdit zápis.

Filesystém nepoužívám, ale dle dokumentace je to POSIX kompatibilní a tedy vlastní implementace FS

Pokud se nám na tom v posledních letech někdy něco podělalo, tak to byly servery se sdíleným externím SAS polem (GFS2 filesystém), když nějak blbě lehnul některý z řadičů v řádu měsíc-dva po skončemí záruky na HW. :-)

...RedHat GFS2 pokud vím řeší hlavně mount téhož DAS zařízení/svazku na více hostitelích paralelně. Kdysi jsem na to koukal, tuším se to tvářilo zhruba jako EXT3 s dodělaným vícenásobným mountováním a nějakou vzájemnou synchronizací hostitelů. Redundanci toho DAS zařízení GFS2 neřeší = ten box je single point of failure, ledaže bude mít uvnitř dva řadiče se vzájemnou synchronizací na blokové vrstvě. Je to tak?

Citovaný "incident" se skonáním řadiče... to jenom odpadl konkrétní server, nebo se nějak hnusně zbořil FS ?

Představuju si, že CEPH se tváří cca jako Samba, ale zároveň replikuje data mezi více storage uzlů. Případně nad tímto základem umí emulovat i blokové zařízení.

[ondrej _]

Tu sa natiska CEPH ale na to potrebujes know-how(bez predchadzajucich skusenosti by som sa to bal sam rozbehat a dat do produkcie) alebo si najst nejakeho dodavatela na to ale to uz urcite preskoci rozpocet.

CEPH som onoho casu skusal s Proxmoxom a bezalo to pekne. Daju sa s tym robit zaujimave veci aj s nizkym rozpoctom. Na CEPH som pouzil HPMicroserverGen8, ktore sa dali zohnat za velmi nizku cenu a dal sa tak poskladat super entry level storage.

[franc.josef]

Takže firma poskytla rozpočet ve výši dvou měsíčních nákladů na průměrného zaměstnance na řešení, které pokud selže, může způsobit ohromné škody.
Vy jste ten, kdo to má celé od začátku do konce na zodpovědnost.

Asi mi něco uniká, ale můžete mi, prosím, říct, proč se tím vůbec zabýváte?

[tr1l1ner]

Postavit by to za danou castku asi slo... z pouzitych komponentu a urcite bych nechtel nest za to zodpovednost.

Coz mi pripomnelo krasny diagram:


Ale jako reseni bych zvolil jak predchozi prispevatele - CEPH. Mam na to sice certifikat od RH, ale pouzil jsem to realne jen doma v labu na dvou Proxmox serverech a tam to funguje.