Fórum Root.cz

Hlavní témata => Server => Téma založeno: racchek 14. 01. 2019, 11:30:34

Název: Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 11:30:34
Ahoj, potřebuji postavit diskové úložiště a jelikož s tímto nemám vůbec žádné zkušenosti, prosím o pomoc.
Požadavky:
řešení postavené na open source
diskový prostor lze za provozu dynamicky rozšiřovat (tj. stačí přidat další server)
při výpadku nějakého serveru nedojde k porušení dat (redundance)

Díky za odpovědi
Název: Re:Jak na storage cluster?
Přispěvatel: Mirek Prýmek 14. 01. 2019, 11:32:45
Jakym protokolem se k nemu ma pristupovat?
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 11:38:10
iSCSI? To jsou právě věci, se kterými potřebuju helpnout. Určitě by to mělo běžet na linuxu.
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 11:44:00
nevim jestli to je mozny, ale idealni by bylo, aby se cluster dal mountnout pres NFS
Název: Re:Jak na storage cluster?
Přispěvatel: Mirek Prýmek 14. 01. 2019, 11:51:35
iSCSI? To jsou právě věci, se kterými potřebuju helpnout.
S tím asi nikdo moc pomoct nemůže, to je součástí zadání, co ti tvoji klienti umí :) Nebo bys aspoň musel říct, k čemu ten cluster má sloužit.

nevim jestli to je mozny, ale idealni by bylo, aby se cluster dal mountnout pres NFS
No tak to si asi budeš prvně muset ujasnit, co vlastně chceš :)

Ještě asi taky bude podstatná informace, co si představuješ pod tím "nedojde k porušení dat". Dá se udělat řešení, kde se synchronizuje "občas" (v řádu jednotek minut třeba) a asi se dá udělat i řešení, který bude vyloženě online synchronizované (tj. když klient zapisuje, tak se zápis nepotvrdí, dokud není potvrzený zápis na minimálně dvou replikách).

Asi nejlepší by bylo, kdybys napsal, k čemu to má sloužit. Docela často totiž lidi požadují něco, o čem když zjistí, kolik by to stálo (peněz, úsilí, údržby) a jaké to má vlastnosti, tak najednou zjistí, že to vlastně nechtějí :)

P.S. Nejsem na to žádný odborník, neporadím ti s tím, ale taky mě to téma zajímá, tak se jenom tak ptám.
Název: Re:Jak na storage cluster?
Přispěvatel: MP 14. 01. 2019, 12:03:53
Vzhledem k tomu, ze s tim nemate zadne zkusenosti a vzhledem k bodum 2](rozsiritelnost) a 3](dataloss), doporucuji jedine - zaplatit si profesionalni firmu, ktera to storage doda vcetne supportu.
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 12:07:34
Zaplatit si specializovanou firmu mi asi neprojde :)

Cluster by měl sloužit k ukládání dat zaměstnanců, front-end pro ukládání/stahování souborů pak webová aplikace. Proto ideálně NFS mount.
takže něco na způsob vzdáleného úložiště typu dropbox apod.
Dostupnost a ochrana všech dat by měla být co nejvyšší.

Název: Re:Jak na storage cluster?
Přispěvatel: Vilith 14. 01. 2019, 12:08:52
Treba https://www.root.cz/clanky/velka-reseni-otevrene-souborovy-system-glusterfs/ ?

Zalezi kolik na to mas a co vsecko to ma umet. A pak uz jen jak kriticka data v tom budou...
Název: Re:Jak na storage cluster?
Přispěvatel: Vilith 14. 01. 2019, 12:10:17
Zaplatit si specializovanou firmu mi asi neprojde :)

Cluster by měl sloužit k ukládání dat zaměstnanců, front-end pro ukládání/stahování souborů pak webová aplikace. Proto ideálně NFS mount.
takže něco na způsob vzdáleného úložiště typu dropbox apod.
Dostupnost a ochrana všech dat by měla být co nejvyšší.

NextCloud?

Kolik dat? Jak bude resene zalohovani?
Název: Re:Jak na storage cluster?
Přispěvatel: blb 14. 01. 2019, 12:25:57
https://www.freenas.org/
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 12:36:55
Bude se jednat o desítky až stovky TB kapacity.
Servery pojedou na 1G síti, přičemž traffic nebude až tak kritický.
Dataloss by měl řešit samotný cluster zrcadlením jinam.
Pokud nějaký node odejde, přijdu max. o diskovou kapacitu a naopak přidáním nového navýším.
Na serverech raid 60 (?)
Název: Re:Jak na storage cluster?
Přispěvatel: Mirek Prýmek 14. 01. 2019, 12:44:15
Bez urážky, ale přijde mi to čímdál divnější.

Desítky až stovky TB přes webové rozhraní?

Chcete ukládat desítky až stovky TB, s vysokou jistotou a neprošlo by najmutí externí firmy?

Kdyby po mně tohle někdo chtěl, tak od toho utíkám co nejrychleji, i motorku bych si na to asi radši vzal, abych byl od toho co nejrychleji co nejdál :)
Název: Re:Jak na storage cluster?
Přispěvatel: Vilith 14. 01. 2019, 12:47:44
Co si pronajimat servery z rady https://www.ovh.cz/dedikovane_servery/storage/ ?
Nebo servery budou jen hostovane?

Nebo https://aws.amazon.com/s3/pricing/?nc=sn&loc=4 ?

Trochu mi unika, kam je to cele smerovane...
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 13:02:03
Bez urážky, ale přijde mi to čímdál divnější.

Desítky až stovky TB přes webové rozhraní?

Chcete ukládat desítky až stovky TB, s vysokou jistotou a neprošlo by najmutí externí firmy?

Kdyby po mně tohle někdo chtěl, tak od toho utíkám co nejrychleji, i motorku bych si na to asi radši vzal, abych byl od toho co nejrychleji co nejdál :)

Jde o to, že už mnoho dat máme posbíraných a uložených během několika let po serverech a potřebujeme je zmigrovat právě ideálně do nějakého clusteru. Webového rozhraní bych se nebál, velký provoz tam nebude.

externí firma opravdu asi neprojde.
Název: Re:Jak na storage cluster?
Přispěvatel: Kuba 14. 01. 2019, 13:03:31
Co si pronajimat servery z rady https://www.ovh.cz/dedikovane_servery/storage/ ?
...

Nabídka od OVH vypadá sice hezky, ale co když Vám to nebude fungovat...řekněme den, dva? Garance žádná, když nepočítám to že vrátí poměrnou část měsíční platby. A to říkám jako uživatel virt.serverů od OVH..

Název: Re:Jak na storage cluster?
Přispěvatel: Vilith 14. 01. 2019, 13:11:36
Co si pronajimat servery z rady https://www.ovh.cz/dedikovane_servery/storage/ ?
...

Nabídka od OVH vypadá sice hezky, ale co když Vám to nebude fungovat...řekněme den, dva? Garance žádná, když nepočítám to že vrátí poměrnou část měsíční platby. A to říkám jako uživatel virt.serverů od OVH..

Jen je dobre neobjednavat v CZ, ale primo na OVH.com (Praha nema pracovni dobu 24/7, je to jen obchodni zastoupeni). Vzdy funguje kontaktni formular a nebo mezinarodni telefonaty

Dostupnost (SLA)   99,95 %

Příklad: nedostupnost serveru
Zásah (GTI)   1 hodina
Garantovaná doba opravení (GTR)   GTI + 2 hodiny
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 13:12:34
Co si pronajimat servery z rady https://www.ovh.cz/dedikovane_servery/storage/ ?
Nebo servery budou jen hostovane?

Nebo https://aws.amazon.com/s3/pricing/?nc=sn&loc=4 ?

Trochu mi unika, kam je to cele smerovane...

Jde o migraci mnoha dat na jedno centralizované místo, které nebude založené na DRDB apod. s možností zachování dat při výpadku nějakého node a zároveň navýšení kapacity pouhým přidáním dalšího serveru.

Celé to musí být postavený v naší serverovně a správě.
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 13:16:03
Co si pronajimat servery z rady https://www.ovh.cz/dedikovane_servery/storage/ ?
...

Nabídka od OVH vypadá sice hezky, ale co když Vám to nebude fungovat...řekněme den, dva? Garance žádná, když nepočítám to že vrátí poměrnou část měsíční platby. A to říkám jako uživatel virt.serverů od OVH..

Jen je dobre neobjednavat v CZ, ale primo na OVH.com (Praha nema pracovni dobu 24/7, je to jen obchodni zastoupeni). Vzdy funguje kontaktni formular a nebo mezinarodni telefonaty

Dostupnost (SLA)   99,95 %

Příklad: nedostupnost serveru
Zásah (GTI)   1 hodina
Garantovaná doba opravení (GTR)   GTI + 2 hodiny

jak už jsem zmiňoval, celý projekt musí být v naší správě.
Název: Re:Jak na storage cluster?
Přispěvatel: Vilith 14. 01. 2019, 13:18:05
https://www.dell.com/p/storage-products.aspx?c=cz&cs=RC1077928&l=cs&s=pad&~ck=mn

Zkuste kontaktovat Dell.cz - urcite navrhnou vhodne reseni
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 13:25:44
https://www.dell.com/p/storage-products.aspx?c=cz&cs=RC1077928&l=cs&s=pad&~ck=mn

Zkuste kontaktovat Dell.cz - urcite navrhnou vhodne reseni
díky za tip, ale to mi taky neprojde :/ Úkol zněl jasně, servery máme, open source existuji, tak si to postavíme sami :)
Název: Re:Jak na storage cluster?
Přispěvatel: kkt1 14. 01. 2019, 13:27:51
Chci si postavit atomovy reaktor. Nic sice o tom nevim, ale urcite to musime postavit a spravovat ja a Franta ze skladu, zadneho dodavatele nemuzeme kvuli cene vzit.  ::)
Název: Re:Jak na storage cluster?
Přispěvatel: Vilith 14. 01. 2019, 13:29:56
Pak tedy https://docs.gluster.org/en/v3/ a hodne casu pri uceni se...

https://www.gluster.org/
Název: Re:Jak na storage cluster?
Přispěvatel: kkt1 14. 01. 2019, 13:31:09
Tak treba zacni glusterfs, jednoduche na implementaci, nejak to funguje.
Osobne provozuji 2x 1PB+ storage + 4 x 100TB+, vse na freebsd/zfs a data synchronizuji ruznymi send/receive skripty. Cluster to neni, k tomu abych mel data ve vicero lokalitach to funguje.
Název: Re:Jak na storage cluster?
Přispěvatel: kkt1 14. 01. 2019, 13:33:03
Pak tedy https://docs.gluster.org/en/v3/ a hodne casu pri uceni se...

https://www.gluster.org/
Implementace je IMHO snadna, ale kdyz se to rozjebe, tak ten clovek to neda dokupy. Uz se tesim na dalsi dotazy na rootu - spadnul mi gluster, nevite co s tim?  ::)
Název: Re:Jak na storage cluster?
Přispěvatel: Vilith 14. 01. 2019, 13:34:08
Nejen rozjebe, ale zalohovat to - kam a jak?
Název: Re:Jak na storage cluster?
Přispěvatel: Lol Phirae 14. 01. 2019, 13:38:47
Chci si postavit atomovy reaktor. Nic sice o tom nevim, ale urcite to musime postavit a spravovat ja a Franta ze skladu, zadneho dodavatele nemuzeme kvuli cene vzit.  ::)

Jo. a P.S. Mělo by to bejt hotové tak nejpozdějc do konce měsíce.  ;D
Název: Re:Jak na storage cluster?
Přispěvatel: kkt1 14. 01. 2019, 13:39:39
Nejen rozjebe, ale zalohovat to - kam a jak?
Presne, tam je tolik veci ktere se muzou rozjebat by default a ktere ten clovek netusi vubec jak predem resit... pise o raid60, na desitky az stovky TB dat, ale IMHO vubec netusi pozadavky tech aplikaci. Zapsat 100TB dat je nejaky traffic, nejaky cas trva zapis,... budou data prevazne ke cteni nebo spise k zapisu? Atd. Navrhnout pole o 100TB bez zkusenosti ktere mu evidentne chybi je jako bych ja mel navrhnout motorku.
Název: Re:Jak na storage cluster?
Přispěvatel: kkt1 14. 01. 2019, 13:40:56
Chci si postavit atomovy reaktor. Nic sice o tom nevim, ale urcite to musime postavit a spravovat ja a Franta ze skladu, zadneho dodavatele nemuzeme kvuli cene vzit.  ::)

Jo. a P.S. Mělo by to bejt hotové tak nejpozdějc do konce měsíce.  ;D
Ja myslel ze HW uz maji takze uz jen chce instalovat, predpokladam ze do konce tydne to budou pouzivat... proto se pta na rootu a ne u dodavatele.
Název: Re:Jak na storage cluster?
Přispěvatel: Lol Phirae 14. 01. 2019, 13:44:21
Chci si postavit atomovy reaktor. Nic sice o tom nevim, ale urcite to musime postavit a spravovat ja a Franta ze skladu, zadneho dodavatele nemuzeme kvuli cene vzit.  ::)

Jo. a P.S. Mělo by to bejt hotové tak nejpozdějc do konce měsíce.  ;D
Ja myslel ze HW uz maji takze uz jen chce instalovat, predpokladam ze do konce tydne to budou pouzivat... proto se pta na rootu a ne u dodavatele.

Máš pravdu. Přehlédl jsem toto upřesnění projektu (https://forum.root.cz/index.php?topic=20545.msg303531#msg303531). Tak já myslím, že věc je v zásadě vyřešena, ne?  8) ;)
Název: Re:Jak na storage cluster?
Přispěvatel: MP 14. 01. 2019, 13:56:13
Nejen rozjebe, ale zalohovat to - kam a jak?
Presne, tam je tolik veci ktere se muzou rozjebat by default a ktere ten clovek netusi vubec jak predem resit... pise o raid60, na desitky az stovky TB dat, ale IMHO vubec netusi pozadavky tech aplikaci. Zapsat 100TB dat je nejaky traffic, nejaky cas trva zapis,... budou data prevazne ke cteni nebo spise k zapisu? Atd. Navrhnout pole o 100TB bez zkusenosti ktere mu evidentne chybi je jako bych ja mel navrhnout motorku.

Tak navrhnout pole na 1/2 node se jeste da...ale skalovatelnost a bez drbd, to uz je pekny orisek (ano, znam mozne technologie, ale...). A nasledne podpora, havarijni stavy, monitoring...Na to se mnohdy zapomina.
Název: Re:Jak na storage cluster?
Přispěvatel: Vilith 14. 01. 2019, 13:57:13
Zalohovat bys mel do jine lokality a drzet nekolik zaloh :D
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 14:01:51
Zálohy jasný, ale mne jen zajímají návrhy, jak ten systém postavit :D
Název: Re:Jak na storage cluster?
Přispěvatel: todul 14. 01. 2019, 14:06:11
Jestli opravdu HW neni problem (nevadi, ze budou potreba nasobky diskoveho prostoru na ulozeni dat), tak Nextcloud (ve viceinstancni konfiguraci) s ceph backendem by to mohl zvladnout. Ale protoze opensource, tak to bude potrebovat dost studia a pokusu (patrne ten cas bude drazsi nez pouziti externi firmy, ktera vic, co dela).
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 14:18:14
Nejen rozjebe, ale zalohovat to - kam a jak?
Presne, tam je tolik veci ktere se muzou rozjebat by default a ktere ten clovek netusi vubec jak predem resit... pise o raid60, na desitky az stovky TB dat, ale IMHO vubec netusi pozadavky tech aplikaci. Zapsat 100TB dat je nejaky traffic, nejaky cas trva zapis,... budou data prevazne ke cteni nebo spise k zapisu? Atd. Navrhnout pole o 100TB bez zkusenosti ktere mu evidentne chybi je jako bych ja mel navrhnout motorku.

Tak navrhnout pole na 1/2 node se jeste da...ale skalovatelnost a bez drbd, to uz je pekny orisek (ano, znam mozne technologie, ale...). A nasledne podpora, havarijni stavy, monitoring...Na to se mnohdy zapomina.
Jen potřebuju nakopnout správným směrem, monitoring apod. je jina věc :)

Když to popíšu takhle blbě a stručně, tak potřebuju:
Systém, který se bude tvářit jako jeden virtuální disk a pokud možno s nfs
když mi spadne node, přijdu jen o kapacitu, ne o data
když přidám node, kapacitu navýším :)
Název: Re:Jak na storage cluster?
Přispěvatel: Vilith 14. 01. 2019, 14:22:02
GlusterFS neco z tech pozadavku nesplnuje?
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 14:23:55
Jestli opravdu HW neni problem (nevadi, ze budou potreba nasobky diskoveho prostoru na ulozeni dat), tak Nextcloud (ve viceinstancni konfiguraci) s ceph backendem by to mohl zvladnout. Ale protoze opensource, tak to bude potrebovat dost studia a pokusu (patrne ten cas bude drazsi nez pouziti externi firmy, ktera vic, co dela).
jj, tohle už to bylo zmiňováno, mrknu a díky
jen mi to přijde jako hotový řešeni pro sdílení?
jak už jsem psal, v zásadě potřebuju jen sdílený úložiště skrz nody
Název: Re:Jak na storage cluster?
Přispěvatel: Mirek Prýmek 14. 01. 2019, 14:25:46
jak už jsem psal, v zásadě potřebuju jen sdílený úložiště skrz nody
To je tam ten Ceph.
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 14:27:10
GlusterFS neco z tech pozadavku nesplnuje?
to právě že splňuje na první pohled na 100%, ale jen někdo tu měl ohledně to fs poznámku, že se dá snadno dojeb.. Tak nevím..
Název: Re:Jak na storage cluster?
Přispěvatel: Vilith 14. 01. 2019, 14:28:03
GlusterFS neco z tech pozadavku nesplnuje?
to právě že splňuje na první pohled na 100%, ale jen někdo tu měl ohledně to fs poznámku, že se dá snadno dojeb.. Tak nevím..

Dojeb.. muzes snadno kdykoli cokoli  8)
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 14:28:47
jak už jsem psal, v zásadě potřebuju jen sdílený úložiště skrz nody
To je tam ten Ceph.
aha, mrknu. díky
Název: Re:Jak na storage cluster?
Přispěvatel: Mirek Prýmek 14. 01. 2019, 14:29:03
někdo tu měl ohledně to fs poznámku, že se dá snadno dojeb.. Tak nevím..
To se dají všechny. To, co chceš, je prostě netriviální věc a všechny netriviální věci se dají neodborným zásahem dojebat :)
Název: Re:Jak na storage cluster?
Přispěvatel: MP 14. 01. 2019, 14:29:31
Nejen rozjebe, ale zalohovat to - kam a jak?
Presne, tam je tolik veci ktere se muzou rozjebat by default a ktere ten clovek netusi vubec jak predem resit... pise o raid60, na desitky az stovky TB dat, ale IMHO vubec netusi pozadavky tech aplikaci. Zapsat 100TB dat je nejaky traffic, nejaky cas trva zapis,... budou data prevazne ke cteni nebo spise k zapisu? Atd. Navrhnout pole o 100TB bez zkusenosti ktere mu evidentne chybi je jako bych ja mel navrhnout motorku.

Tak navrhnout pole na 1/2 node se jeste da...ale skalovatelnost a bez drbd, to uz je pekny orisek (ano, znam mozne technologie, ale...). A nasledne podpora, havarijni stavy, monitoring...Na to se mnohdy zapomina.
Jen potřebuju nakopnout správným směrem, monitoring apod. je jina věc :)

Když to popíšu takhle blbě a stručně, tak potřebuju:
Systém, který se bude tvářit jako jeden virtuální disk a pokud možno s nfs
když mi spadne node, přijdu jen o kapacitu, ne o data
když přidám node, kapacitu navýším :)

Uz to chvili nesleduji, tak nevim jak moc jsou zlepsene tyto technologie:
- gluterfs (mozna uz umi out-of-box (p)nfs, ale...
- ceph (popr. cephfs) a nfs resit nadstavbou
Název: Re:Jak na storage cluster?
Přispěvatel: ? 14. 01. 2019, 14:45:50
A bude to implementovat, spravovat a supportovat člověk, co se v tom vlastně vůbec nevyzná. Hlavně že to bude levný...

A serverovna vypadá jak? Máte ty servery nastrkaný v kumbále na košťata, protože všechno ostatní vyjde draho?
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 14:51:17
Nejen rozjebe, ale zalohovat to - kam a jak?
Presne, tam je tolik veci ktere se muzou rozjebat by default a ktere ten clovek netusi vubec jak predem resit... pise o raid60, na desitky az stovky TB dat, ale IMHO vubec netusi pozadavky tech aplikaci. Zapsat 100TB dat je nejaky traffic, nejaky cas trva zapis,... budou data prevazne ke cteni nebo spise k zapisu? Atd. Navrhnout pole o 100TB bez zkusenosti ktere mu evidentne chybi je jako bych ja mel navrhnout motorku.

Tak navrhnout pole na 1/2 node se jeste da...ale skalovatelnost a bez drbd, to uz je pekny orisek (ano, znam mozne technologie, ale...). A nasledne podpora, havarijni stavy, monitoring...Na to se mnohdy zapomina.
Jen potřebuju nakopnout správným směrem, monitoring apod. je jina věc :)

Když to popíšu takhle blbě a stručně, tak potřebuju:
Systém, který se bude tvářit jako jeden virtuální disk a pokud možno s nfs
když mi spadne node, přijdu jen o kapacitu, ne o data
když přidám node, kapacitu navýším :)

Uz to chvili nesleduji, tak nevim jak moc jsou zlepsene tyto technologie:
- gluterfs (mozna uz umi out-of-box (p)nfs, ale...
- ceph (popr. cephfs) a nfs resit nadstavbou
tyhle řešení mi teď přijdou pro tyto účely asi nejlepší :) thx
Název: Re:Jak na storage cluster?
Přispěvatel: M. 14. 01. 2019, 15:04:44
Jo, dle popisu GlusterFS by měl být OK, magie je, pokud data jsou jen ve dvou kopiích a nastane split brain (pokud je kopíí víc, tak auto recovery bývá OK, při jen dvou to musí člověk soudcovat ručně, která kopie zvítězí).
Už by k tomu měl být i NFS server s NFS4.0/4.1/pNFS podporou (glusterfs-ganesha), ale nepoužívám.
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 15:05:16
A bude to implementovat, spravovat a supportovat člověk, co se v tom vlastně vůbec nevyzná. Hlavně že to bude levný...

A serverovna vypadá jak? Máte ty servery nastrkaný v kumbále na košťata, protože všechno ostatní vyjde draho?
bude to implementovat člověk, kterej má praxi v IT 15 let, programátor v 5+ jazycích, v posledních letech mmj. linux admin, servery v datacentru, nemá rád OT typu tvá reakce, chtěl jsem jen poradit, a btw. od toho tyhle fora jsou. Místo nějaký rozumný odpovědi akorát spamuješ.
Název: Re:Jak na storage cluster?
Přispěvatel: blb 14. 01. 2019, 15:05:59
Nexcloud je urceny na neco trochu jineho. Mrkni na ten Freenas, dostanes presne to co potrebujes vcetne zrcadleni a navic s webovym klikatkem.
Název: Re:Jak na storage cluster?
Přispěvatel: Cek 14. 01. 2019, 15:11:19
A bude to implementovat, spravovat a supportovat člověk, co se v tom vlastně vůbec nevyzná. Hlavně že to bude levný...

A serverovna vypadá jak? Máte ty servery nastrkaný v kumbále na košťata, protože všechno ostatní vyjde draho?
bude to implementovat člověk, kterej má praxi v IT 15 let, programátor v 5+ jazycích, v posledních letech mmj. linux admin, servery v datacentru, nemá rád OT typu tvá reakce, chtěl jsem jen poradit, a btw. od toho tyhle fora jsou. Místo nějaký rozumný odpovědi akorát spamuješ.

Takze, kdyz to shrnu, bude to delat clovek, ktery sice dela IT, ale o storage nevi skoro nic, ma nejakou praxi s Linuxem a prevazne programuje. K tomu nema rad lidi, kteri pochybuji o tom, ze nezvladne vsechno na svete maximalne pres noc. Tak preju dlouhy bezproblemovy provoz.....
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 15:14:54
Nexcloud je urceny na neco trochu jineho. Mrkni na ten Freenas, dostanes presne to co potrebujes vcetne zrcadleni a navic s webovym klikatkem.
Urcite mrknu. thx
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 15:27:03
A bude to implementovat, spravovat a supportovat člověk, co se v tom vlastně vůbec nevyzná. Hlavně že to bude levný...

A serverovna vypadá jak? Máte ty servery nastrkaný v kumbále na košťata, protože všechno ostatní vyjde draho?
bude to implementovat člověk, kterej má praxi v IT 15 let, programátor v 5+ jazycích, v posledních letech mmj. linux admin, servery v datacentru, nemá rád OT typu tvá reakce, chtěl jsem jen poradit, a btw. od toho tyhle fora jsou. Místo nějaký rozumný odpovědi akorát spamuješ.

Takze, kdyz to shrnu, bude to delat clovek, ktery sice dela IT, ale o storage nevi skoro nic, ma nejakou praxi s Linuxem a prevazne programuje. K tomu nema rad lidi, kteri pochybuji o tom, ze nezvladne vsechno na svete maximalne pres noc. Tak preju dlouhy bezproblemovy provoz.....
Ano. Psal jsem to hned na zacatku tohoto threadu že chci poradit. Tvoje nesmyslny posty fakt nechápu a doufam, že je admin smaže. To sem fakt nepatří. A opravdu nemám čas se zaobírat tímto. Jestli mas potrebu psat, tak k veci anebo si vyber jiný forum.
Název: Re:Jak na storage cluster?
Přispěvatel: Cx 14. 01. 2019, 15:58:17
Storage cluster řeším už roky a lokální řešení skončí vždy na nějakém kompromisu. Navíc se u toho špatně experimentuje, protože ztráta dat je průser i když máš zálohu.

DRBD: Sync na úrovni blokového zařízení. Je to stará technologie a za mě to je jen něco jako síťový RAID. Na zrcadlení dvou serverů to je super, ale na 10 strojů bych se to bál použít. Nicméně to není založené na zkušenostech, tak směle do toho :-)

CEPH: Nikdy jsem nepoužil, odrazovala mě šílená univerzálnost. Podporuje object storage, block storage i fuse.

Gluster: Funguje pěkně dokud po něm člověk nechce výkon na malých souborech. Možná se to v posledních verzích zlepšilo a asi bych si ho dokázal představit použít. Nicméně fyzické servery už dlouho nemám a tak o tom ani neuvažuju.

S3: Pokud potřebuješ uložit jen hodně dat, nepotřebuješ práva nebo symlinky a nevadí ti přístup přes API, tak tohle je nejlepší možnost. Je to jednoduchá key-value databáze natvarovaná tak, že se tváří, že má stromovou strukturu. Lokálně můžeš nahodit třeba Minio. Mám pocit, že na Minio je postavené S3 úložiště na DigitalOcean a mě fungovalo vždy spolehlivě. V clusteru jsem ho ale nikdy neprovozoval v produkci.

A už se dostáváme do cloudu, protože S3 je nejjednodušší použít od nějakého poskytovatele. 10 TB prostoru u AWS tě přijde na $230 měsíčně + traffic mimo AWS. U DigitalOcean to je $200 + traffic. Ale nejsou to jediní dva.

EBS/EFS od Amazonu: Pak tu jsou elastic block storage a file system. Obojí s vysokými limity a Amazon za tebe clusterování vyřeší. Cenovka za 10 TB začíná na $330 a $1100 měsíčně. K obojímu jsou snad i alternativy v Azure.

Vzhledem k tomu, že píšeš, že není potřeba přenášet moc dat, upravil bych aplikaci tak, aby fungovala s S3.

Pokud se přeci jen rozhodneš použít stroje co máš někde u sebe, neexistuje něco jako specializovaná firma, která by to za tebe udělala a dala ti k tomu support. Nasazení takto citlivých technologií je o procesech. Když to instaluješ, piš dokumentaci. Projeď si případy, kdy ti spadnou všechny stroje a nebo jen část z nich. Vytvoř si plán, podle kterého se budeš moct v případě nutnosti řídit, případně jak to celé nahodit znovu. Používej Ansible. Nastavíš to dneska, ale může se to rozsypat až za dva roky a to už o tom budeš vědět kulový. Až budeš zvažovat nějaké konkrétní řešení, projdi si, jak se dělá upgrade, aby to nechtělo vytvořit cluster znovu.

Když budeš mít support od nějaké firmy, tak o víkendu nic nevyřešíš a v týdnu můžou mít reakční dobu ve dnech. Navíc tě nemusí přes smlouvu pustit dovnitř, takže to pak je jen o čekání a ani po tom se nemusí stát zázrak. Alza by mohla vyprávět.

https://www.lupa.cz/clanky/nestrilejte-specialisty-aneb-co-zpusobilo-rozsahly-databazovy-vypadek-v-alza-cz/

Dobrým zdrojem inspirace je dokumentace Dockeru nebo Kubernetes, kde se tohle řeší:

https://docs.docker.com/engine/extend/legacy_plugins/
https://kubernetes.io/docs/concepts/storage/storage-classes/#provisioner
Název: Re:Jak na storage cluster?
Přispěvatel: Mirek Prýmek 14. 01. 2019, 16:30:38
S3: Pokud potřebuješ uložit jen hodně dat, nepotřebuješ práva nebo symlinky a nevadí ti přístup přes API
Ja bych jeste pridal "a pokud se nejedna o hodne spis mensich souboru a nechces nad nimi delat nejake prurezove operace". To je na S3 imho dost porod.

BTW, jak se da na S3 dostat takove mnozstvi existujicich dat? Mam pocit, ze jsem nekde zaslechl cosi o tom, ze se jim da nekam do datacentra poslat HDD. Pouzili jste to nekdy nekdo?

Kazdopadne, pokud to chteji mit u sebe v serverovne, tak je S3 asi dost no go...
Název: Re:Jak na storage cluster?
Přispěvatel: Mirek Prýmek 14. 01. 2019, 16:34:14
To sem fakt nepatří. A opravdu nemám čas se zaobírat tímto. Jestli mas potrebu psat, tak k veci anebo si vyber jiný forum.
Patri. A misto posilani lidi nekam bys udelal lip, kdyby ses zamyslel nad tim, proc ti to pisou.

IT neni jenom (a ani ne prevazne) o technologiich. Je z valne casti o organizaci, lidech, procesech a penezich. Technologii si muzes vybrat dobre, ale to je tak 10% uspechu. Zbytek muzes posrat. A mel bys naslouchat lidem, kteri te pred tim varuji. Samozrejme ale nemusis - kazdy sveho stesti strujcem. Ale pak si to taky pekne sam vyzeres... a do dna.
Název: Re:Jak na storage cluster?
Přispěvatel: Mirek Prýmek 14. 01. 2019, 16:48:40
Abych se ale ještě vrátil tématu, pokud se má jednat o takovou vostrou partizánštinu na koleně, s nulovým rozpočtem a omezenými znalostmi, možná by stálo za zvážení jít cestou Proxmoxu - tam je Ceph a všechny ty clusterové věci předpřipravené, stačí nainstalovat a přiřadit stroj do clusteru. Nody se dají bez problému přidávat i odebírat, celé je to pěkně udělané a řekl bych, že to docela i drží.  Dokumentace je jakžtakž slušná. Zálohování se kdyžtak dá honit i přes ZFS, pokud by to dávalo smysl.

Zadarmo by pak byla možnost nad tím v případě potřeby nahodit i nějaké ty virtuály nebo kontejnery (třeba pro to webové rozhraní, monitoring nebo tak něco).
Název: Re:Jak na storage cluster?
Přispěvatel: David 14. 01. 2019, 16:53:21
Neviděl jsem nikde napsané, kolik nodů máte, ale ceph je v malém počtu pomalý. Já používám s úspěchem ZFS, ale to je pouze vždy lokální úložiště.
Název: Re:Jak na storage cluster?
Přispěvatel: Cek 14. 01. 2019, 16:55:15
A bude to implementovat, spravovat a supportovat člověk, co se v tom vlastně vůbec nevyzná. Hlavně že to bude levný...

A serverovna vypadá jak? Máte ty servery nastrkaný v kumbále na košťata, protože všechno ostatní vyjde draho?
bude to implementovat člověk, kterej má praxi v IT 15 let, programátor v 5+ jazycích, v posledních letech mmj. linux admin, servery v datacentru, nemá rád OT typu tvá reakce, chtěl jsem jen poradit, a btw. od toho tyhle fora jsou. Místo nějaký rozumný odpovědi akorát spamuješ.

Takze, kdyz to shrnu, bude to delat clovek, ktery sice dela IT, ale o storage nevi skoro nic, ma nejakou praxi s Linuxem a prevazne programuje. K tomu nema rad lidi, kteri pochybuji o tom, ze nezvladne vsechno na svete maximalne pres noc. Tak preju dlouhy bezproblemovy provoz.....
Ano. Psal jsem to hned na zacatku tohoto threadu že chci poradit. Tvoje nesmyslny posty fakt nechápu a doufam, že je admin smaže. To sem fakt nepatří. A opravdu nemám čas se zaobírat tímto. Jestli mas potrebu psat, tak k veci anebo si vyber jiný forum.

To bylo zcela uprimne prani. Verim tomu, ze ten clovek je schopny to rozbehat. Vubec neverim tomu, ze je schopny vyresit vetsi problem, ktery se na tom pote vyskytne v live provozu. Osobne bych do toho nesel, protoze bych chtel aspon pul roku na rozchozeni a testovani, a i u toho bych se osival nez bych to nasadil do produkce, a to Ti zadna firma neda. Pokud nemas nekoho, kdo uz to delal, je podle me levnejsi reseni nekoho najmout. Nicmene je to Tvuj boj a Tvoje data. Doporucuju zalohovat jako o zivot, a predem popsat managementu jak dlouho tolik dat budes obnovovat......
Název: Re:Jak na storage cluster?
Přispěvatel: Jan Forman 14. 01. 2019, 17:08:03
Naprosto crazy téma :) já bych použil CEPH, nicméně mi příjde, že člověk který má potřebné know-how se nepotřebuje ptát co má použít.

Ještě existuje LizardFS (ale nezkoušel jsem ho) - možná někdo bude vědět.

Ten co se ptá potřebuje hlavně to know-how, u všech těchto systémů platí, že jsou komplikované na administraci pokud dojde k nějakému extrémnímu stavu.
Každý vám řekne: pokud to nemusíte používat, nedělejte to...
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 18:13:08
A bude to implementovat, spravovat a supportovat člověk, co se v tom vlastně vůbec nevyzná. Hlavně že to bude levný...

A serverovna vypadá jak? Máte ty servery nastrkaný v kumbále na košťata, protože všechno ostatní vyjde draho?
bude to implementovat člověk, kterej má praxi v IT 15 let, programátor v 5+ jazycích, v posledních letech mmj. linux admin, servery v datacentru, nemá rád OT typu tvá reakce, chtěl jsem jen poradit, a btw. od toho tyhle fora jsou. Místo nějaký rozumný odpovědi akorát spamuješ.

Takze, kdyz to shrnu, bude to delat clovek, ktery sice dela IT, ale o storage nevi skoro nic, ma nejakou praxi s Linuxem a prevazne programuje. K tomu nema rad lidi, kteri pochybuji o tom, ze nezvladne vsechno na svete maximalne pres noc. Tak preju dlouhy bezproblemovy provoz.....
Ano. Psal jsem to hned na zacatku tohoto threadu že chci poradit. Tvoje nesmyslny posty fakt nechápu a doufam, že je admin smaže. To sem fakt nepatří. A opravdu nemám čas se zaobírat tímto. Jestli mas potrebu psat, tak k veci anebo si vyber jiný forum.

To bylo zcela uprimne prani. Verim tomu, ze ten clovek je schopny to rozbehat. Vubec neverim tomu, ze je schopny vyresit vetsi problem, ktery se na tom pote vyskytne v live provozu. Osobne bych do toho nesel, protoze bych chtel aspon pul roku na rozchozeni a testovani, a i u toho bych se osival nez bych to nasadil do produkce, a to Ti zadna firma neda. Pokud nemas nekoho, kdo uz to delal, je podle me levnejsi reseni nekoho najmout. Nicmene je to Tvuj boj a Tvoje data. Doporucuju zalohovat jako o zivot, a predem popsat managementu jak dlouho tolik dat budes obnovovat......
vim a s tebou 100% souhlas
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 18:21:24
To sem fakt nepatří. A opravdu nemám čas se zaobírat tímto. Jestli mas potrebu psat, tak k veci anebo si vyber jiný forum.
Patri. A misto posilani lidi nekam bys udelal lip, kdyby ses zamyslel nad tim, proc ti to pisou.

IT neni jenom (a ani ne prevazne) o technologiich. Je z valne casti o organizaci, lidech, procesech a penezich. Technologii si muzes vybrat dobre, ale to je tak 10% uspechu. Zbytek muzes posrat. A mel bys naslouchat lidem, kteri te pred tim varuji. Samozrejme ale nemusis - kazdy sveho stesti strujcem. Ale pak si to taky pekne sam vyzeres... a do dna.
urcite jsem nikoho nikam neposilal a prave naopak nasloucham. Ptal jsem se na neco co nevim a stejne tak bych poradil jinym, kdyz budu vedet. chjo :(
Název: Re:Jak na storage cluster?
Přispěvatel: racchek 14. 01. 2019, 18:46:05
Naprosto crazy téma :) já bych použil CEPH, nicméně mi příjde, že člověk který má potřebné know-how se nepotřebuje ptát co má použít.

Ještě existuje LizardFS (ale nezkoušel jsem ho) - možná někdo bude vědět.

Ten co se ptá potřebuje hlavně to know-how, u všech těchto systémů platí, že jsou komplikované na administraci pokud dojde k nějakému extrémnímu stavu.
Každý vám řekne: pokud to nemusíte používat, nedělejte to...
v tomhle know-how nemam, proto se ptam, abych rok nestravil testovanim ruznych reseni. thx za inspirace ;)
Název: Re:Jak na storage cluster?
Přispěvatel: ? 14. 01. 2019, 18:50:29
Já bych si něco podobnýho na vlastní triko nevzal. Radši říct, že to se současnými prostředky nelze (i lidi jsou prostředky, včetně tebe) a pokud bude zadavatel požadavku trvat na svém, začít si hledat jinou práci.
Název: Re:Jak na storage cluster?
Přispěvatel: Vilith 14. 01. 2019, 18:53:26
Je potreba udelat poradnou analyzu rizik - nejen HW, ale i lidskych a ohodnotit dulezitost dat

Tohle smrdi velkym pruserem, kdyz se neco stane. Urcite se bude hledat vinik, na ktereho je to mozne hodit