Jak na storage cluster?

Re:Jak na storage cluster?
« Odpověď #45 kdy: 14. 01. 2019, 15:05:16 »
A bude to implementovat, spravovat a supportovat člověk, co se v tom vlastně vůbec nevyzná. Hlavně že to bude levný...

A serverovna vypadá jak? Máte ty servery nastrkaný v kumbále na košťata, protože všechno ostatní vyjde draho?
bude to implementovat člověk, kterej má praxi v IT 15 let, programátor v 5+ jazycích, v posledních letech mmj. linux admin, servery v datacentru, nemá rád OT typu tvá reakce, chtěl jsem jen poradit, a btw. od toho tyhle fora jsou. Místo nějaký rozumný odpovědi akorát spamuješ.


blb

Re:Jak na storage cluster?
« Odpověď #46 kdy: 14. 01. 2019, 15:05:59 »
Nexcloud je urceny na neco trochu jineho. Mrkni na ten Freenas, dostanes presne to co potrebujes vcetne zrcadleni a navic s webovym klikatkem.

Cek

Re:Jak na storage cluster?
« Odpověď #47 kdy: 14. 01. 2019, 15:11:19 »
A bude to implementovat, spravovat a supportovat člověk, co se v tom vlastně vůbec nevyzná. Hlavně že to bude levný...

A serverovna vypadá jak? Máte ty servery nastrkaný v kumbále na košťata, protože všechno ostatní vyjde draho?
bude to implementovat člověk, kterej má praxi v IT 15 let, programátor v 5+ jazycích, v posledních letech mmj. linux admin, servery v datacentru, nemá rád OT typu tvá reakce, chtěl jsem jen poradit, a btw. od toho tyhle fora jsou. Místo nějaký rozumný odpovědi akorát spamuješ.

Takze, kdyz to shrnu, bude to delat clovek, ktery sice dela IT, ale o storage nevi skoro nic, ma nejakou praxi s Linuxem a prevazne programuje. K tomu nema rad lidi, kteri pochybuji o tom, ze nezvladne vsechno na svete maximalne pres noc. Tak preju dlouhy bezproblemovy provoz.....

Re:Jak na storage cluster?
« Odpověď #48 kdy: 14. 01. 2019, 15:14:54 »
Nexcloud je urceny na neco trochu jineho. Mrkni na ten Freenas, dostanes presne to co potrebujes vcetne zrcadleni a navic s webovym klikatkem.
Urcite mrknu. thx

Re:Jak na storage cluster?
« Odpověď #49 kdy: 14. 01. 2019, 15:27:03 »
A bude to implementovat, spravovat a supportovat člověk, co se v tom vlastně vůbec nevyzná. Hlavně že to bude levný...

A serverovna vypadá jak? Máte ty servery nastrkaný v kumbále na košťata, protože všechno ostatní vyjde draho?
bude to implementovat člověk, kterej má praxi v IT 15 let, programátor v 5+ jazycích, v posledních letech mmj. linux admin, servery v datacentru, nemá rád OT typu tvá reakce, chtěl jsem jen poradit, a btw. od toho tyhle fora jsou. Místo nějaký rozumný odpovědi akorát spamuješ.

Takze, kdyz to shrnu, bude to delat clovek, ktery sice dela IT, ale o storage nevi skoro nic, ma nejakou praxi s Linuxem a prevazne programuje. K tomu nema rad lidi, kteri pochybuji o tom, ze nezvladne vsechno na svete maximalne pres noc. Tak preju dlouhy bezproblemovy provoz.....
Ano. Psal jsem to hned na zacatku tohoto threadu že chci poradit. Tvoje nesmyslny posty fakt nechápu a doufam, že je admin smaže. To sem fakt nepatří. A opravdu nemám čas se zaobírat tímto. Jestli mas potrebu psat, tak k veci anebo si vyber jiný forum.


Cx

Re:Jak na storage cluster?
« Odpověď #50 kdy: 14. 01. 2019, 15:58:17 »
Storage cluster řeším už roky a lokální řešení skončí vždy na nějakém kompromisu. Navíc se u toho špatně experimentuje, protože ztráta dat je průser i když máš zálohu.

DRBD: Sync na úrovni blokového zařízení. Je to stará technologie a za mě to je jen něco jako síťový RAID. Na zrcadlení dvou serverů to je super, ale na 10 strojů bych se to bál použít. Nicméně to není založené na zkušenostech, tak směle do toho :-)

CEPH: Nikdy jsem nepoužil, odrazovala mě šílená univerzálnost. Podporuje object storage, block storage i fuse.

Gluster: Funguje pěkně dokud po něm člověk nechce výkon na malých souborech. Možná se to v posledních verzích zlepšilo a asi bych si ho dokázal představit použít. Nicméně fyzické servery už dlouho nemám a tak o tom ani neuvažuju.

S3: Pokud potřebuješ uložit jen hodně dat, nepotřebuješ práva nebo symlinky a nevadí ti přístup přes API, tak tohle je nejlepší možnost. Je to jednoduchá key-value databáze natvarovaná tak, že se tváří, že má stromovou strukturu. Lokálně můžeš nahodit třeba Minio. Mám pocit, že na Minio je postavené S3 úložiště na DigitalOcean a mě fungovalo vždy spolehlivě. V clusteru jsem ho ale nikdy neprovozoval v produkci.

A už se dostáváme do cloudu, protože S3 je nejjednodušší použít od nějakého poskytovatele. 10 TB prostoru u AWS tě přijde na $230 měsíčně + traffic mimo AWS. U DigitalOcean to je $200 + traffic. Ale nejsou to jediní dva.

EBS/EFS od Amazonu: Pak tu jsou elastic block storage a file system. Obojí s vysokými limity a Amazon za tebe clusterování vyřeší. Cenovka za 10 TB začíná na $330 a $1100 měsíčně. K obojímu jsou snad i alternativy v Azure.

Vzhledem k tomu, že píšeš, že není potřeba přenášet moc dat, upravil bych aplikaci tak, aby fungovala s S3.

Pokud se přeci jen rozhodneš použít stroje co máš někde u sebe, neexistuje něco jako specializovaná firma, která by to za tebe udělala a dala ti k tomu support. Nasazení takto citlivých technologií je o procesech. Když to instaluješ, piš dokumentaci. Projeď si případy, kdy ti spadnou všechny stroje a nebo jen část z nich. Vytvoř si plán, podle kterého se budeš moct v případě nutnosti řídit, případně jak to celé nahodit znovu. Používej Ansible. Nastavíš to dneska, ale může se to rozsypat až za dva roky a to už o tom budeš vědět kulový. Až budeš zvažovat nějaké konkrétní řešení, projdi si, jak se dělá upgrade, aby to nechtělo vytvořit cluster znovu.

Když budeš mít support od nějaké firmy, tak o víkendu nic nevyřešíš a v týdnu můžou mít reakční dobu ve dnech. Navíc tě nemusí přes smlouvu pustit dovnitř, takže to pak je jen o čekání a ani po tom se nemusí stát zázrak. Alza by mohla vyprávět.

https://www.lupa.cz/clanky/nestrilejte-specialisty-aneb-co-zpusobilo-rozsahly-databazovy-vypadek-v-alza-cz/

Dobrým zdrojem inspirace je dokumentace Dockeru nebo Kubernetes, kde se tohle řeší:

https://docs.docker.com/engine/extend/legacy_plugins/
https://kubernetes.io/docs/concepts/storage/storage-classes/#provisioner

Re:Jak na storage cluster?
« Odpověď #51 kdy: 14. 01. 2019, 16:30:38 »
S3: Pokud potřebuješ uložit jen hodně dat, nepotřebuješ práva nebo symlinky a nevadí ti přístup přes API
Ja bych jeste pridal "a pokud se nejedna o hodne spis mensich souboru a nechces nad nimi delat nejake prurezove operace". To je na S3 imho dost porod.

BTW, jak se da na S3 dostat takove mnozstvi existujicich dat? Mam pocit, ze jsem nekde zaslechl cosi o tom, ze se jim da nekam do datacentra poslat HDD. Pouzili jste to nekdy nekdo?

Kazdopadne, pokud to chteji mit u sebe v serverovne, tak je S3 asi dost no go...

Re:Jak na storage cluster?
« Odpověď #52 kdy: 14. 01. 2019, 16:34:14 »
To sem fakt nepatří. A opravdu nemám čas se zaobírat tímto. Jestli mas potrebu psat, tak k veci anebo si vyber jiný forum.
Patri. A misto posilani lidi nekam bys udelal lip, kdyby ses zamyslel nad tim, proc ti to pisou.

IT neni jenom (a ani ne prevazne) o technologiich. Je z valne casti o organizaci, lidech, procesech a penezich. Technologii si muzes vybrat dobre, ale to je tak 10% uspechu. Zbytek muzes posrat. A mel bys naslouchat lidem, kteri te pred tim varuji. Samozrejme ale nemusis - kazdy sveho stesti strujcem. Ale pak si to taky pekne sam vyzeres... a do dna.

Re:Jak na storage cluster?
« Odpověď #53 kdy: 14. 01. 2019, 16:48:40 »
Abych se ale ještě vrátil tématu, pokud se má jednat o takovou vostrou partizánštinu na koleně, s nulovým rozpočtem a omezenými znalostmi, možná by stálo za zvážení jít cestou Proxmoxu - tam je Ceph a všechny ty clusterové věci předpřipravené, stačí nainstalovat a přiřadit stroj do clusteru. Nody se dají bez problému přidávat i odebírat, celé je to pěkně udělané a řekl bych, že to docela i drží.  Dokumentace je jakžtakž slušná. Zálohování se kdyžtak dá honit i přes ZFS, pokud by to dávalo smysl.

Zadarmo by pak byla možnost nad tím v případě potřeby nahodit i nějaké ty virtuály nebo kontejnery (třeba pro to webové rozhraní, monitoring nebo tak něco).

David

  • ***
  • 143
    • Zobrazit profil
Re:Jak na storage cluster?
« Odpověď #54 kdy: 14. 01. 2019, 16:53:21 »
Neviděl jsem nikde napsané, kolik nodů máte, ale ceph je v malém počtu pomalý. Já používám s úspěchem ZFS, ale to je pouze vždy lokální úložiště.

Cek

Re:Jak na storage cluster?
« Odpověď #55 kdy: 14. 01. 2019, 16:55:15 »
A bude to implementovat, spravovat a supportovat člověk, co se v tom vlastně vůbec nevyzná. Hlavně že to bude levný...

A serverovna vypadá jak? Máte ty servery nastrkaný v kumbále na košťata, protože všechno ostatní vyjde draho?
bude to implementovat člověk, kterej má praxi v IT 15 let, programátor v 5+ jazycích, v posledních letech mmj. linux admin, servery v datacentru, nemá rád OT typu tvá reakce, chtěl jsem jen poradit, a btw. od toho tyhle fora jsou. Místo nějaký rozumný odpovědi akorát spamuješ.

Takze, kdyz to shrnu, bude to delat clovek, ktery sice dela IT, ale o storage nevi skoro nic, ma nejakou praxi s Linuxem a prevazne programuje. K tomu nema rad lidi, kteri pochybuji o tom, ze nezvladne vsechno na svete maximalne pres noc. Tak preju dlouhy bezproblemovy provoz.....
Ano. Psal jsem to hned na zacatku tohoto threadu že chci poradit. Tvoje nesmyslny posty fakt nechápu a doufam, že je admin smaže. To sem fakt nepatří. A opravdu nemám čas se zaobírat tímto. Jestli mas potrebu psat, tak k veci anebo si vyber jiný forum.

To bylo zcela uprimne prani. Verim tomu, ze ten clovek je schopny to rozbehat. Vubec neverim tomu, ze je schopny vyresit vetsi problem, ktery se na tom pote vyskytne v live provozu. Osobne bych do toho nesel, protoze bych chtel aspon pul roku na rozchozeni a testovani, a i u toho bych se osival nez bych to nasadil do produkce, a to Ti zadna firma neda. Pokud nemas nekoho, kdo uz to delal, je podle me levnejsi reseni nekoho najmout. Nicmene je to Tvuj boj a Tvoje data. Doporucuju zalohovat jako o zivot, a predem popsat managementu jak dlouho tolik dat budes obnovovat......

Re:Jak na storage cluster?
« Odpověď #56 kdy: 14. 01. 2019, 17:08:03 »
Naprosto crazy téma :) já bych použil CEPH, nicméně mi příjde, že člověk který má potřebné know-how se nepotřebuje ptát co má použít.

Ještě existuje LizardFS (ale nezkoušel jsem ho) - možná někdo bude vědět.

Ten co se ptá potřebuje hlavně to know-how, u všech těchto systémů platí, že jsou komplikované na administraci pokud dojde k nějakému extrémnímu stavu.
Každý vám řekne: pokud to nemusíte používat, nedělejte to...
„Řemeslo se naučí každý. Umění nikdo.“
„Jednoduchost je nejvyšší úroveň sofistikovanosti.“
- Leonardo Da Vinci

Re:Jak na storage cluster?
« Odpověď #57 kdy: 14. 01. 2019, 18:13:08 »
A bude to implementovat, spravovat a supportovat člověk, co se v tom vlastně vůbec nevyzná. Hlavně že to bude levný...

A serverovna vypadá jak? Máte ty servery nastrkaný v kumbále na košťata, protože všechno ostatní vyjde draho?
bude to implementovat člověk, kterej má praxi v IT 15 let, programátor v 5+ jazycích, v posledních letech mmj. linux admin, servery v datacentru, nemá rád OT typu tvá reakce, chtěl jsem jen poradit, a btw. od toho tyhle fora jsou. Místo nějaký rozumný odpovědi akorát spamuješ.

Takze, kdyz to shrnu, bude to delat clovek, ktery sice dela IT, ale o storage nevi skoro nic, ma nejakou praxi s Linuxem a prevazne programuje. K tomu nema rad lidi, kteri pochybuji o tom, ze nezvladne vsechno na svete maximalne pres noc. Tak preju dlouhy bezproblemovy provoz.....
Ano. Psal jsem to hned na zacatku tohoto threadu že chci poradit. Tvoje nesmyslny posty fakt nechápu a doufam, že je admin smaže. To sem fakt nepatří. A opravdu nemám čas se zaobírat tímto. Jestli mas potrebu psat, tak k veci anebo si vyber jiný forum.

To bylo zcela uprimne prani. Verim tomu, ze ten clovek je schopny to rozbehat. Vubec neverim tomu, ze je schopny vyresit vetsi problem, ktery se na tom pote vyskytne v live provozu. Osobne bych do toho nesel, protoze bych chtel aspon pul roku na rozchozeni a testovani, a i u toho bych se osival nez bych to nasadil do produkce, a to Ti zadna firma neda. Pokud nemas nekoho, kdo uz to delal, je podle me levnejsi reseni nekoho najmout. Nicmene je to Tvuj boj a Tvoje data. Doporucuju zalohovat jako o zivot, a predem popsat managementu jak dlouho tolik dat budes obnovovat......
vim a s tebou 100% souhlas

Re:Jak na storage cluster?
« Odpověď #58 kdy: 14. 01. 2019, 18:21:24 »
To sem fakt nepatří. A opravdu nemám čas se zaobírat tímto. Jestli mas potrebu psat, tak k veci anebo si vyber jiný forum.
Patri. A misto posilani lidi nekam bys udelal lip, kdyby ses zamyslel nad tim, proc ti to pisou.

IT neni jenom (a ani ne prevazne) o technologiich. Je z valne casti o organizaci, lidech, procesech a penezich. Technologii si muzes vybrat dobre, ale to je tak 10% uspechu. Zbytek muzes posrat. A mel bys naslouchat lidem, kteri te pred tim varuji. Samozrejme ale nemusis - kazdy sveho stesti strujcem. Ale pak si to taky pekne sam vyzeres... a do dna.
urcite jsem nikoho nikam neposilal a prave naopak nasloucham. Ptal jsem se na neco co nevim a stejne tak bych poradil jinym, kdyz budu vedet. chjo :(

Re:Jak na storage cluster?
« Odpověď #59 kdy: 14. 01. 2019, 18:46:05 »
Naprosto crazy téma :) já bych použil CEPH, nicméně mi příjde, že člověk který má potřebné know-how se nepotřebuje ptát co má použít.

Ještě existuje LizardFS (ale nezkoušel jsem ho) - možná někdo bude vědět.

Ten co se ptá potřebuje hlavně to know-how, u všech těchto systémů platí, že jsou komplikované na administraci pokud dojde k nějakému extrémnímu stavu.
Každý vám řekne: pokud to nemusíte používat, nedělejte to...
v tomhle know-how nemam, proto se ptam, abych rok nestravil testovanim ruznych reseni. thx za inspirace ;)