Jak na storage cluster?

Jak na storage cluster?
« kdy: 14. 01. 2019, 11:30:34 »
Ahoj, potřebuji postavit diskové úložiště a jelikož s tímto nemám vůbec žádné zkušenosti, prosím o pomoc.
Požadavky:
řešení postavené na open source
diskový prostor lze za provozu dynamicky rozšiřovat (tj. stačí přidat další server)
při výpadku nějakého serveru nedojde k porušení dat (redundance)

Díky za odpovědi


Re:Jak na storage cluster?
« Odpověď #1 kdy: 14. 01. 2019, 11:32:45 »
Jakym protokolem se k nemu ma pristupovat?

Re:Jak na storage cluster?
« Odpověď #2 kdy: 14. 01. 2019, 11:38:10 »
iSCSI? To jsou právě věci, se kterými potřebuju helpnout. Určitě by to mělo běžet na linuxu.

Re:Jak na storage cluster?
« Odpověď #3 kdy: 14. 01. 2019, 11:44:00 »
nevim jestli to je mozny, ale idealni by bylo, aby se cluster dal mountnout pres NFS

Re:Jak na storage cluster?
« Odpověď #4 kdy: 14. 01. 2019, 11:51:35 »
iSCSI? To jsou právě věci, se kterými potřebuju helpnout.
S tím asi nikdo moc pomoct nemůže, to je součástí zadání, co ti tvoji klienti umí :) Nebo bys aspoň musel říct, k čemu ten cluster má sloužit.

nevim jestli to je mozny, ale idealni by bylo, aby se cluster dal mountnout pres NFS
No tak to si asi budeš prvně muset ujasnit, co vlastně chceš :)

Ještě asi taky bude podstatná informace, co si představuješ pod tím "nedojde k porušení dat". Dá se udělat řešení, kde se synchronizuje "občas" (v řádu jednotek minut třeba) a asi se dá udělat i řešení, který bude vyloženě online synchronizované (tj. když klient zapisuje, tak se zápis nepotvrdí, dokud není potvrzený zápis na minimálně dvou replikách).

Asi nejlepší by bylo, kdybys napsal, k čemu to má sloužit. Docela často totiž lidi požadují něco, o čem když zjistí, kolik by to stálo (peněz, úsilí, údržby) a jaké to má vlastnosti, tak najednou zjistí, že to vlastně nechtějí :)

P.S. Nejsem na to žádný odborník, neporadím ti s tím, ale taky mě to téma zajímá, tak se jenom tak ptám.


MP

Re:Jak na storage cluster?
« Odpověď #5 kdy: 14. 01. 2019, 12:03:53 »
Vzhledem k tomu, ze s tim nemate zadne zkusenosti a vzhledem k bodum 2](rozsiritelnost) a 3](dataloss), doporucuji jedine - zaplatit si profesionalni firmu, ktera to storage doda vcetne supportu.

Re:Jak na storage cluster?
« Odpověď #6 kdy: 14. 01. 2019, 12:07:34 »
Zaplatit si specializovanou firmu mi asi neprojde :)

Cluster by měl sloužit k ukládání dat zaměstnanců, front-end pro ukládání/stahování souborů pak webová aplikace. Proto ideálně NFS mount.
takže něco na způsob vzdáleného úložiště typu dropbox apod.
Dostupnost a ochrana všech dat by měla být co nejvyšší.


Vilith

  • *****
  • 660
    • Zobrazit profil
Re:Jak na storage cluster?
« Odpověď #7 kdy: 14. 01. 2019, 12:08:52 »
Treba https://www.root.cz/clanky/velka-reseni-otevrene-souborovy-system-glusterfs/ ?

Zalezi kolik na to mas a co vsecko to ma umet. A pak uz jen jak kriticka data v tom budou...
« Poslední změna: 14. 01. 2019, 12:13:40 od Vilith »

Vilith

  • *****
  • 660
    • Zobrazit profil
Re:Jak na storage cluster?
« Odpověď #8 kdy: 14. 01. 2019, 12:10:17 »
Zaplatit si specializovanou firmu mi asi neprojde :)

Cluster by měl sloužit k ukládání dat zaměstnanců, front-end pro ukládání/stahování souborů pak webová aplikace. Proto ideálně NFS mount.
takže něco na způsob vzdáleného úložiště typu dropbox apod.
Dostupnost a ochrana všech dat by měla být co nejvyšší.

NextCloud?

Kolik dat? Jak bude resene zalohovani?

blb

Re:Jak na storage cluster?
« Odpověď #9 kdy: 14. 01. 2019, 12:25:57 »

Re:Jak na storage cluster?
« Odpověď #10 kdy: 14. 01. 2019, 12:36:55 »
Bude se jednat o desítky až stovky TB kapacity.
Servery pojedou na 1G síti, přičemž traffic nebude až tak kritický.
Dataloss by měl řešit samotný cluster zrcadlením jinam.
Pokud nějaký node odejde, přijdu max. o diskovou kapacitu a naopak přidáním nového navýším.
Na serverech raid 60 (?)

Re:Jak na storage cluster?
« Odpověď #11 kdy: 14. 01. 2019, 12:44:15 »
Bez urážky, ale přijde mi to čímdál divnější.

Desítky až stovky TB přes webové rozhraní?

Chcete ukládat desítky až stovky TB, s vysokou jistotou a neprošlo by najmutí externí firmy?

Kdyby po mně tohle někdo chtěl, tak od toho utíkám co nejrychleji, i motorku bych si na to asi radši vzal, abych byl od toho co nejrychleji co nejdál :)

Vilith

  • *****
  • 660
    • Zobrazit profil
Re:Jak na storage cluster?
« Odpověď #12 kdy: 14. 01. 2019, 12:47:44 »
Co si pronajimat servery z rady https://www.ovh.cz/dedikovane_servery/storage/ ?
Nebo servery budou jen hostovane?

Nebo https://aws.amazon.com/s3/pricing/?nc=sn&loc=4 ?

Trochu mi unika, kam je to cele smerovane...

Re:Jak na storage cluster?
« Odpověď #13 kdy: 14. 01. 2019, 13:02:03 »
Bez urážky, ale přijde mi to čímdál divnější.

Desítky až stovky TB přes webové rozhraní?

Chcete ukládat desítky až stovky TB, s vysokou jistotou a neprošlo by najmutí externí firmy?

Kdyby po mně tohle někdo chtěl, tak od toho utíkám co nejrychleji, i motorku bych si na to asi radši vzal, abych byl od toho co nejrychleji co nejdál :)

Jde o to, že už mnoho dat máme posbíraných a uložených během několika let po serverech a potřebujeme je zmigrovat právě ideálně do nějakého clusteru. Webového rozhraní bych se nebál, velký provoz tam nebude.

externí firma opravdu asi neprojde.

Kuba

Re:Jak na storage cluster?
« Odpověď #14 kdy: 14. 01. 2019, 13:03:31 »
Co si pronajimat servery z rady https://www.ovh.cz/dedikovane_servery/storage/ ?
...

Nabídka od OVH vypadá sice hezky, ale co když Vám to nebude fungovat...řekněme den, dva? Garance žádná, když nepočítám to že vrátí poměrnou část měsíční platby. A to říkám jako uživatel virt.serverů od OVH..