Fórum Root.cz
Hlavní témata => Server => Téma založeno: racchek 14. 01. 2019, 11:30:34
-
Ahoj, potřebuji postavit diskové úložiště a jelikož s tímto nemám vůbec žádné zkušenosti, prosím o pomoc.
Požadavky:
řešení postavené na open source
diskový prostor lze za provozu dynamicky rozšiřovat (tj. stačí přidat další server)
při výpadku nějakého serveru nedojde k porušení dat (redundance)
Díky za odpovědi
-
Jakym protokolem se k nemu ma pristupovat?
-
iSCSI? To jsou právě věci, se kterými potřebuju helpnout. Určitě by to mělo běžet na linuxu.
-
nevim jestli to je mozny, ale idealni by bylo, aby se cluster dal mountnout pres NFS
-
iSCSI? To jsou právě věci, se kterými potřebuju helpnout.
S tím asi nikdo moc pomoct nemůže, to je součástí zadání, co ti tvoji klienti umí :) Nebo bys aspoň musel říct, k čemu ten cluster má sloužit.
nevim jestli to je mozny, ale idealni by bylo, aby se cluster dal mountnout pres NFS
No tak to si asi budeš prvně muset ujasnit, co vlastně chceš :)
Ještě asi taky bude podstatná informace, co si představuješ pod tím "nedojde k porušení dat". Dá se udělat řešení, kde se synchronizuje "občas" (v řádu jednotek minut třeba) a asi se dá udělat i řešení, který bude vyloženě online synchronizované (tj. když klient zapisuje, tak se zápis nepotvrdí, dokud není potvrzený zápis na minimálně dvou replikách).
Asi nejlepší by bylo, kdybys napsal, k čemu to má sloužit. Docela často totiž lidi požadují něco, o čem když zjistí, kolik by to stálo (peněz, úsilí, údržby) a jaké to má vlastnosti, tak najednou zjistí, že to vlastně nechtějí :)
P.S. Nejsem na to žádný odborník, neporadím ti s tím, ale taky mě to téma zajímá, tak se jenom tak ptám.
-
Vzhledem k tomu, ze s tim nemate zadne zkusenosti a vzhledem k bodum 2](rozsiritelnost) a 3](dataloss), doporucuji jedine - zaplatit si profesionalni firmu, ktera to storage doda vcetne supportu.
-
Zaplatit si specializovanou firmu mi asi neprojde :)
Cluster by měl sloužit k ukládání dat zaměstnanců, front-end pro ukládání/stahování souborů pak webová aplikace. Proto ideálně NFS mount.
takže něco na způsob vzdáleného úložiště typu dropbox apod.
Dostupnost a ochrana všech dat by měla být co nejvyšší.
-
Treba https://www.root.cz/clanky/velka-reseni-otevrene-souborovy-system-glusterfs/ ?
Zalezi kolik na to mas a co vsecko to ma umet. A pak uz jen jak kriticka data v tom budou...
-
Zaplatit si specializovanou firmu mi asi neprojde :)
Cluster by měl sloužit k ukládání dat zaměstnanců, front-end pro ukládání/stahování souborů pak webová aplikace. Proto ideálně NFS mount.
takže něco na způsob vzdáleného úložiště typu dropbox apod.
Dostupnost a ochrana všech dat by měla být co nejvyšší.
NextCloud?
Kolik dat? Jak bude resene zalohovani?
-
https://www.freenas.org/
-
Bude se jednat o desítky až stovky TB kapacity.
Servery pojedou na 1G síti, přičemž traffic nebude až tak kritický.
Dataloss by měl řešit samotný cluster zrcadlením jinam.
Pokud nějaký node odejde, přijdu max. o diskovou kapacitu a naopak přidáním nového navýším.
Na serverech raid 60 (?)
-
Bez urážky, ale přijde mi to čímdál divnější.
Desítky až stovky TB přes webové rozhraní?
Chcete ukládat desítky až stovky TB, s vysokou jistotou a neprošlo by najmutí externí firmy?
Kdyby po mně tohle někdo chtěl, tak od toho utíkám co nejrychleji, i motorku bych si na to asi radši vzal, abych byl od toho co nejrychleji co nejdál :)
-
Co si pronajimat servery z rady https://www.ovh.cz/dedikovane_servery/storage/ ?
Nebo servery budou jen hostovane?
Nebo https://aws.amazon.com/s3/pricing/?nc=sn&loc=4 ?
Trochu mi unika, kam je to cele smerovane...
-
Bez urážky, ale přijde mi to čímdál divnější.
Desítky až stovky TB přes webové rozhraní?
Chcete ukládat desítky až stovky TB, s vysokou jistotou a neprošlo by najmutí externí firmy?
Kdyby po mně tohle někdo chtěl, tak od toho utíkám co nejrychleji, i motorku bych si na to asi radši vzal, abych byl od toho co nejrychleji co nejdál :)
Jde o to, že už mnoho dat máme posbíraných a uložených během několika let po serverech a potřebujeme je zmigrovat právě ideálně do nějakého clusteru. Webového rozhraní bych se nebál, velký provoz tam nebude.
externí firma opravdu asi neprojde.
-
Co si pronajimat servery z rady https://www.ovh.cz/dedikovane_servery/storage/ ?
...
Nabídka od OVH vypadá sice hezky, ale co když Vám to nebude fungovat...řekněme den, dva? Garance žádná, když nepočítám to že vrátí poměrnou část měsíční platby. A to říkám jako uživatel virt.serverů od OVH..
-
Co si pronajimat servery z rady https://www.ovh.cz/dedikovane_servery/storage/ ?
...
Nabídka od OVH vypadá sice hezky, ale co když Vám to nebude fungovat...řekněme den, dva? Garance žádná, když nepočítám to že vrátí poměrnou část měsíční platby. A to říkám jako uživatel virt.serverů od OVH..
Jen je dobre neobjednavat v CZ, ale primo na OVH.com (Praha nema pracovni dobu 24/7, je to jen obchodni zastoupeni). Vzdy funguje kontaktni formular a nebo mezinarodni telefonaty
Dostupnost (SLA) 99,95 %
Příklad: nedostupnost serveru
Zásah (GTI) 1 hodina
Garantovaná doba opravení (GTR) GTI + 2 hodiny
-
Co si pronajimat servery z rady https://www.ovh.cz/dedikovane_servery/storage/ ?
Nebo servery budou jen hostovane?
Nebo https://aws.amazon.com/s3/pricing/?nc=sn&loc=4 ?
Trochu mi unika, kam je to cele smerovane...
Jde o migraci mnoha dat na jedno centralizované místo, které nebude založené na DRDB apod. s možností zachování dat při výpadku nějakého node a zároveň navýšení kapacity pouhým přidáním dalšího serveru.
Celé to musí být postavený v naší serverovně a správě.
-
Co si pronajimat servery z rady https://www.ovh.cz/dedikovane_servery/storage/ ?
...
Nabídka od OVH vypadá sice hezky, ale co když Vám to nebude fungovat...řekněme den, dva? Garance žádná, když nepočítám to že vrátí poměrnou část měsíční platby. A to říkám jako uživatel virt.serverů od OVH..
Jen je dobre neobjednavat v CZ, ale primo na OVH.com (Praha nema pracovni dobu 24/7, je to jen obchodni zastoupeni). Vzdy funguje kontaktni formular a nebo mezinarodni telefonaty
Dostupnost (SLA) 99,95 %
Příklad: nedostupnost serveru
Zásah (GTI) 1 hodina
Garantovaná doba opravení (GTR) GTI + 2 hodiny
jak už jsem zmiňoval, celý projekt musí být v naší správě.
-
https://www.dell.com/p/storage-products.aspx?c=cz&cs=RC1077928&l=cs&s=pad&~ck=mn
Zkuste kontaktovat Dell.cz - urcite navrhnou vhodne reseni
-
https://www.dell.com/p/storage-products.aspx?c=cz&cs=RC1077928&l=cs&s=pad&~ck=mn
Zkuste kontaktovat Dell.cz - urcite navrhnou vhodne reseni
díky za tip, ale to mi taky neprojde :/ Úkol zněl jasně, servery máme, open source existuji, tak si to postavíme sami :)
-
Chci si postavit atomovy reaktor. Nic sice o tom nevim, ale urcite to musime postavit a spravovat ja a Franta ze skladu, zadneho dodavatele nemuzeme kvuli cene vzit. ::)
-
Pak tedy https://docs.gluster.org/en/v3/ a hodne casu pri uceni se...
https://www.gluster.org/
-
Tak treba zacni glusterfs, jednoduche na implementaci, nejak to funguje.
Osobne provozuji 2x 1PB+ storage + 4 x 100TB+, vse na freebsd/zfs a data synchronizuji ruznymi send/receive skripty. Cluster to neni, k tomu abych mel data ve vicero lokalitach to funguje.
-
Pak tedy https://docs.gluster.org/en/v3/ a hodne casu pri uceni se...
https://www.gluster.org/
Implementace je IMHO snadna, ale kdyz se to rozjebe, tak ten clovek to neda dokupy. Uz se tesim na dalsi dotazy na rootu - spadnul mi gluster, nevite co s tim? ::)
-
Nejen rozjebe, ale zalohovat to - kam a jak?
-
Chci si postavit atomovy reaktor. Nic sice o tom nevim, ale urcite to musime postavit a spravovat ja a Franta ze skladu, zadneho dodavatele nemuzeme kvuli cene vzit. ::)
Jo. a P.S. Mělo by to bejt hotové tak nejpozdějc do konce měsíce. ;D
-
Nejen rozjebe, ale zalohovat to - kam a jak?
Presne, tam je tolik veci ktere se muzou rozjebat by default a ktere ten clovek netusi vubec jak predem resit... pise o raid60, na desitky az stovky TB dat, ale IMHO vubec netusi pozadavky tech aplikaci. Zapsat 100TB dat je nejaky traffic, nejaky cas trva zapis,... budou data prevazne ke cteni nebo spise k zapisu? Atd. Navrhnout pole o 100TB bez zkusenosti ktere mu evidentne chybi je jako bych ja mel navrhnout motorku.
-
Chci si postavit atomovy reaktor. Nic sice o tom nevim, ale urcite to musime postavit a spravovat ja a Franta ze skladu, zadneho dodavatele nemuzeme kvuli cene vzit. ::)
Jo. a P.S. Mělo by to bejt hotové tak nejpozdějc do konce měsíce. ;D
Ja myslel ze HW uz maji takze uz jen chce instalovat, predpokladam ze do konce tydne to budou pouzivat... proto se pta na rootu a ne u dodavatele.
-
Chci si postavit atomovy reaktor. Nic sice o tom nevim, ale urcite to musime postavit a spravovat ja a Franta ze skladu, zadneho dodavatele nemuzeme kvuli cene vzit. ::)
Jo. a P.S. Mělo by to bejt hotové tak nejpozdějc do konce měsíce. ;D
Ja myslel ze HW uz maji takze uz jen chce instalovat, predpokladam ze do konce tydne to budou pouzivat... proto se pta na rootu a ne u dodavatele.
Máš pravdu. Přehlédl jsem toto upřesnění projektu (https://forum.root.cz/index.php?topic=20545.msg303531#msg303531). Tak já myslím, že věc je v zásadě vyřešena, ne? 8) ;)
-
Nejen rozjebe, ale zalohovat to - kam a jak?
Presne, tam je tolik veci ktere se muzou rozjebat by default a ktere ten clovek netusi vubec jak predem resit... pise o raid60, na desitky az stovky TB dat, ale IMHO vubec netusi pozadavky tech aplikaci. Zapsat 100TB dat je nejaky traffic, nejaky cas trva zapis,... budou data prevazne ke cteni nebo spise k zapisu? Atd. Navrhnout pole o 100TB bez zkusenosti ktere mu evidentne chybi je jako bych ja mel navrhnout motorku.
Tak navrhnout pole na 1/2 node se jeste da...ale skalovatelnost a bez drbd, to uz je pekny orisek (ano, znam mozne technologie, ale...). A nasledne podpora, havarijni stavy, monitoring...Na to se mnohdy zapomina.
-
Zalohovat bys mel do jine lokality a drzet nekolik zaloh :D
-
Zálohy jasný, ale mne jen zajímají návrhy, jak ten systém postavit :D
-
Jestli opravdu HW neni problem (nevadi, ze budou potreba nasobky diskoveho prostoru na ulozeni dat), tak Nextcloud (ve viceinstancni konfiguraci) s ceph backendem by to mohl zvladnout. Ale protoze opensource, tak to bude potrebovat dost studia a pokusu (patrne ten cas bude drazsi nez pouziti externi firmy, ktera vic, co dela).
-
Nejen rozjebe, ale zalohovat to - kam a jak?
Presne, tam je tolik veci ktere se muzou rozjebat by default a ktere ten clovek netusi vubec jak predem resit... pise o raid60, na desitky az stovky TB dat, ale IMHO vubec netusi pozadavky tech aplikaci. Zapsat 100TB dat je nejaky traffic, nejaky cas trva zapis,... budou data prevazne ke cteni nebo spise k zapisu? Atd. Navrhnout pole o 100TB bez zkusenosti ktere mu evidentne chybi je jako bych ja mel navrhnout motorku.
Tak navrhnout pole na 1/2 node se jeste da...ale skalovatelnost a bez drbd, to uz je pekny orisek (ano, znam mozne technologie, ale...). A nasledne podpora, havarijni stavy, monitoring...Na to se mnohdy zapomina.
Jen potřebuju nakopnout správným směrem, monitoring apod. je jina věc :)
Když to popíšu takhle blbě a stručně, tak potřebuju:
Systém, který se bude tvářit jako jeden virtuální disk a pokud možno s nfs
když mi spadne node, přijdu jen o kapacitu, ne o data
když přidám node, kapacitu navýším :)
-
GlusterFS neco z tech pozadavku nesplnuje?
-
Jestli opravdu HW neni problem (nevadi, ze budou potreba nasobky diskoveho prostoru na ulozeni dat), tak Nextcloud (ve viceinstancni konfiguraci) s ceph backendem by to mohl zvladnout. Ale protoze opensource, tak to bude potrebovat dost studia a pokusu (patrne ten cas bude drazsi nez pouziti externi firmy, ktera vic, co dela).
jj, tohle už to bylo zmiňováno, mrknu a díky
jen mi to přijde jako hotový řešeni pro sdílení?
jak už jsem psal, v zásadě potřebuju jen sdílený úložiště skrz nody
-
jak už jsem psal, v zásadě potřebuju jen sdílený úložiště skrz nody
To je tam ten Ceph.
-
GlusterFS neco z tech pozadavku nesplnuje?
to právě že splňuje na první pohled na 100%, ale jen někdo tu měl ohledně to fs poznámku, že se dá snadno dojeb.. Tak nevím..
-
GlusterFS neco z tech pozadavku nesplnuje?
to právě že splňuje na první pohled na 100%, ale jen někdo tu měl ohledně to fs poznámku, že se dá snadno dojeb.. Tak nevím..
Dojeb.. muzes snadno kdykoli cokoli 8)
-
jak už jsem psal, v zásadě potřebuju jen sdílený úložiště skrz nody
To je tam ten Ceph.
aha, mrknu. díky
-
někdo tu měl ohledně to fs poznámku, že se dá snadno dojeb.. Tak nevím..
To se dají všechny. To, co chceš, je prostě netriviální věc a všechny netriviální věci se dají neodborným zásahem dojebat :)
-
Nejen rozjebe, ale zalohovat to - kam a jak?
Presne, tam je tolik veci ktere se muzou rozjebat by default a ktere ten clovek netusi vubec jak predem resit... pise o raid60, na desitky az stovky TB dat, ale IMHO vubec netusi pozadavky tech aplikaci. Zapsat 100TB dat je nejaky traffic, nejaky cas trva zapis,... budou data prevazne ke cteni nebo spise k zapisu? Atd. Navrhnout pole o 100TB bez zkusenosti ktere mu evidentne chybi je jako bych ja mel navrhnout motorku.
Tak navrhnout pole na 1/2 node se jeste da...ale skalovatelnost a bez drbd, to uz je pekny orisek (ano, znam mozne technologie, ale...). A nasledne podpora, havarijni stavy, monitoring...Na to se mnohdy zapomina.
Jen potřebuju nakopnout správným směrem, monitoring apod. je jina věc :)
Když to popíšu takhle blbě a stručně, tak potřebuju:
Systém, který se bude tvářit jako jeden virtuální disk a pokud možno s nfs
když mi spadne node, přijdu jen o kapacitu, ne o data
když přidám node, kapacitu navýším :)
Uz to chvili nesleduji, tak nevim jak moc jsou zlepsene tyto technologie:
- gluterfs (mozna uz umi out-of-box (p)nfs, ale...
- ceph (popr. cephfs) a nfs resit nadstavbou
-
A bude to implementovat, spravovat a supportovat člověk, co se v tom vlastně vůbec nevyzná. Hlavně že to bude levný...
A serverovna vypadá jak? Máte ty servery nastrkaný v kumbále na košťata, protože všechno ostatní vyjde draho?
-
Nejen rozjebe, ale zalohovat to - kam a jak?
Presne, tam je tolik veci ktere se muzou rozjebat by default a ktere ten clovek netusi vubec jak predem resit... pise o raid60, na desitky az stovky TB dat, ale IMHO vubec netusi pozadavky tech aplikaci. Zapsat 100TB dat je nejaky traffic, nejaky cas trva zapis,... budou data prevazne ke cteni nebo spise k zapisu? Atd. Navrhnout pole o 100TB bez zkusenosti ktere mu evidentne chybi je jako bych ja mel navrhnout motorku.
Tak navrhnout pole na 1/2 node se jeste da...ale skalovatelnost a bez drbd, to uz je pekny orisek (ano, znam mozne technologie, ale...). A nasledne podpora, havarijni stavy, monitoring...Na to se mnohdy zapomina.
Jen potřebuju nakopnout správným směrem, monitoring apod. je jina věc :)
Když to popíšu takhle blbě a stručně, tak potřebuju:
Systém, který se bude tvářit jako jeden virtuální disk a pokud možno s nfs
když mi spadne node, přijdu jen o kapacitu, ne o data
když přidám node, kapacitu navýším :)
Uz to chvili nesleduji, tak nevim jak moc jsou zlepsene tyto technologie:
- gluterfs (mozna uz umi out-of-box (p)nfs, ale...
- ceph (popr. cephfs) a nfs resit nadstavbou
tyhle řešení mi teď přijdou pro tyto účely asi nejlepší :) thx
-
Jo, dle popisu GlusterFS by měl být OK, magie je, pokud data jsou jen ve dvou kopiích a nastane split brain (pokud je kopíí víc, tak auto recovery bývá OK, při jen dvou to musí člověk soudcovat ručně, která kopie zvítězí).
Už by k tomu měl být i NFS server s NFS4.0/4.1/pNFS podporou (glusterfs-ganesha), ale nepoužívám.
-
A bude to implementovat, spravovat a supportovat člověk, co se v tom vlastně vůbec nevyzná. Hlavně že to bude levný...
A serverovna vypadá jak? Máte ty servery nastrkaný v kumbále na košťata, protože všechno ostatní vyjde draho?
bude to implementovat člověk, kterej má praxi v IT 15 let, programátor v 5+ jazycích, v posledních letech mmj. linux admin, servery v datacentru, nemá rád OT typu tvá reakce, chtěl jsem jen poradit, a btw. od toho tyhle fora jsou. Místo nějaký rozumný odpovědi akorát spamuješ.
-
Nexcloud je urceny na neco trochu jineho. Mrkni na ten Freenas, dostanes presne to co potrebujes vcetne zrcadleni a navic s webovym klikatkem.
-
A bude to implementovat, spravovat a supportovat člověk, co se v tom vlastně vůbec nevyzná. Hlavně že to bude levný...
A serverovna vypadá jak? Máte ty servery nastrkaný v kumbále na košťata, protože všechno ostatní vyjde draho?
bude to implementovat člověk, kterej má praxi v IT 15 let, programátor v 5+ jazycích, v posledních letech mmj. linux admin, servery v datacentru, nemá rád OT typu tvá reakce, chtěl jsem jen poradit, a btw. od toho tyhle fora jsou. Místo nějaký rozumný odpovědi akorát spamuješ.
Takze, kdyz to shrnu, bude to delat clovek, ktery sice dela IT, ale o storage nevi skoro nic, ma nejakou praxi s Linuxem a prevazne programuje. K tomu nema rad lidi, kteri pochybuji o tom, ze nezvladne vsechno na svete maximalne pres noc. Tak preju dlouhy bezproblemovy provoz.....
-
Nexcloud je urceny na neco trochu jineho. Mrkni na ten Freenas, dostanes presne to co potrebujes vcetne zrcadleni a navic s webovym klikatkem.
Urcite mrknu. thx
-
A bude to implementovat, spravovat a supportovat člověk, co se v tom vlastně vůbec nevyzná. Hlavně že to bude levný...
A serverovna vypadá jak? Máte ty servery nastrkaný v kumbále na košťata, protože všechno ostatní vyjde draho?
bude to implementovat člověk, kterej má praxi v IT 15 let, programátor v 5+ jazycích, v posledních letech mmj. linux admin, servery v datacentru, nemá rád OT typu tvá reakce, chtěl jsem jen poradit, a btw. od toho tyhle fora jsou. Místo nějaký rozumný odpovědi akorát spamuješ.
Takze, kdyz to shrnu, bude to delat clovek, ktery sice dela IT, ale o storage nevi skoro nic, ma nejakou praxi s Linuxem a prevazne programuje. K tomu nema rad lidi, kteri pochybuji o tom, ze nezvladne vsechno na svete maximalne pres noc. Tak preju dlouhy bezproblemovy provoz.....
Ano. Psal jsem to hned na zacatku tohoto threadu že chci poradit. Tvoje nesmyslny posty fakt nechápu a doufam, že je admin smaže. To sem fakt nepatří. A opravdu nemám čas se zaobírat tímto. Jestli mas potrebu psat, tak k veci anebo si vyber jiný forum.
-
Storage cluster řeším už roky a lokální řešení skončí vždy na nějakém kompromisu. Navíc se u toho špatně experimentuje, protože ztráta dat je průser i když máš zálohu.
DRBD: Sync na úrovni blokového zařízení. Je to stará technologie a za mě to je jen něco jako síťový RAID. Na zrcadlení dvou serverů to je super, ale na 10 strojů bych se to bál použít. Nicméně to není založené na zkušenostech, tak směle do toho :-)
CEPH: Nikdy jsem nepoužil, odrazovala mě šílená univerzálnost. Podporuje object storage, block storage i fuse.
Gluster: Funguje pěkně dokud po něm člověk nechce výkon na malých souborech. Možná se to v posledních verzích zlepšilo a asi bych si ho dokázal představit použít. Nicméně fyzické servery už dlouho nemám a tak o tom ani neuvažuju.
S3: Pokud potřebuješ uložit jen hodně dat, nepotřebuješ práva nebo symlinky a nevadí ti přístup přes API, tak tohle je nejlepší možnost. Je to jednoduchá key-value databáze natvarovaná tak, že se tváří, že má stromovou strukturu. Lokálně můžeš nahodit třeba Minio. Mám pocit, že na Minio je postavené S3 úložiště na DigitalOcean a mě fungovalo vždy spolehlivě. V clusteru jsem ho ale nikdy neprovozoval v produkci.
A už se dostáváme do cloudu, protože S3 je nejjednodušší použít od nějakého poskytovatele. 10 TB prostoru u AWS tě přijde na $230 měsíčně + traffic mimo AWS. U DigitalOcean to je $200 + traffic. Ale nejsou to jediní dva.
EBS/EFS od Amazonu: Pak tu jsou elastic block storage a file system. Obojí s vysokými limity a Amazon za tebe clusterování vyřeší. Cenovka za 10 TB začíná na $330 a $1100 měsíčně. K obojímu jsou snad i alternativy v Azure.
Vzhledem k tomu, že píšeš, že není potřeba přenášet moc dat, upravil bych aplikaci tak, aby fungovala s S3.
Pokud se přeci jen rozhodneš použít stroje co máš někde u sebe, neexistuje něco jako specializovaná firma, která by to za tebe udělala a dala ti k tomu support. Nasazení takto citlivých technologií je o procesech. Když to instaluješ, piš dokumentaci. Projeď si případy, kdy ti spadnou všechny stroje a nebo jen část z nich. Vytvoř si plán, podle kterého se budeš moct v případě nutnosti řídit, případně jak to celé nahodit znovu. Používej Ansible. Nastavíš to dneska, ale může se to rozsypat až za dva roky a to už o tom budeš vědět kulový. Až budeš zvažovat nějaké konkrétní řešení, projdi si, jak se dělá upgrade, aby to nechtělo vytvořit cluster znovu.
Když budeš mít support od nějaké firmy, tak o víkendu nic nevyřešíš a v týdnu můžou mít reakční dobu ve dnech. Navíc tě nemusí přes smlouvu pustit dovnitř, takže to pak je jen o čekání a ani po tom se nemusí stát zázrak. Alza by mohla vyprávět.
https://www.lupa.cz/clanky/nestrilejte-specialisty-aneb-co-zpusobilo-rozsahly-databazovy-vypadek-v-alza-cz/
Dobrým zdrojem inspirace je dokumentace Dockeru nebo Kubernetes, kde se tohle řeší:
https://docs.docker.com/engine/extend/legacy_plugins/
https://kubernetes.io/docs/concepts/storage/storage-classes/#provisioner
-
S3: Pokud potřebuješ uložit jen hodně dat, nepotřebuješ práva nebo symlinky a nevadí ti přístup přes API
Ja bych jeste pridal "a pokud se nejedna o hodne spis mensich souboru a nechces nad nimi delat nejake prurezove operace". To je na S3 imho dost porod.
BTW, jak se da na S3 dostat takove mnozstvi existujicich dat? Mam pocit, ze jsem nekde zaslechl cosi o tom, ze se jim da nekam do datacentra poslat HDD. Pouzili jste to nekdy nekdo?
Kazdopadne, pokud to chteji mit u sebe v serverovne, tak je S3 asi dost no go...
-
To sem fakt nepatří. A opravdu nemám čas se zaobírat tímto. Jestli mas potrebu psat, tak k veci anebo si vyber jiný forum.
Patri. A misto posilani lidi nekam bys udelal lip, kdyby ses zamyslel nad tim, proc ti to pisou.
IT neni jenom (a ani ne prevazne) o technologiich. Je z valne casti o organizaci, lidech, procesech a penezich. Technologii si muzes vybrat dobre, ale to je tak 10% uspechu. Zbytek muzes posrat. A mel bys naslouchat lidem, kteri te pred tim varuji. Samozrejme ale nemusis - kazdy sveho stesti strujcem. Ale pak si to taky pekne sam vyzeres... a do dna.
-
Abych se ale ještě vrátil tématu, pokud se má jednat o takovou vostrou partizánštinu na koleně, s nulovým rozpočtem a omezenými znalostmi, možná by stálo za zvážení jít cestou Proxmoxu - tam je Ceph a všechny ty clusterové věci předpřipravené, stačí nainstalovat a přiřadit stroj do clusteru. Nody se dají bez problému přidávat i odebírat, celé je to pěkně udělané a řekl bych, že to docela i drží. Dokumentace je jakžtakž slušná. Zálohování se kdyžtak dá honit i přes ZFS, pokud by to dávalo smysl.
Zadarmo by pak byla možnost nad tím v případě potřeby nahodit i nějaké ty virtuály nebo kontejnery (třeba pro to webové rozhraní, monitoring nebo tak něco).
-
Neviděl jsem nikde napsané, kolik nodů máte, ale ceph je v malém počtu pomalý. Já používám s úspěchem ZFS, ale to je pouze vždy lokální úložiště.
-
A bude to implementovat, spravovat a supportovat člověk, co se v tom vlastně vůbec nevyzná. Hlavně že to bude levný...
A serverovna vypadá jak? Máte ty servery nastrkaný v kumbále na košťata, protože všechno ostatní vyjde draho?
bude to implementovat člověk, kterej má praxi v IT 15 let, programátor v 5+ jazycích, v posledních letech mmj. linux admin, servery v datacentru, nemá rád OT typu tvá reakce, chtěl jsem jen poradit, a btw. od toho tyhle fora jsou. Místo nějaký rozumný odpovědi akorát spamuješ.
Takze, kdyz to shrnu, bude to delat clovek, ktery sice dela IT, ale o storage nevi skoro nic, ma nejakou praxi s Linuxem a prevazne programuje. K tomu nema rad lidi, kteri pochybuji o tom, ze nezvladne vsechno na svete maximalne pres noc. Tak preju dlouhy bezproblemovy provoz.....
Ano. Psal jsem to hned na zacatku tohoto threadu že chci poradit. Tvoje nesmyslny posty fakt nechápu a doufam, že je admin smaže. To sem fakt nepatří. A opravdu nemám čas se zaobírat tímto. Jestli mas potrebu psat, tak k veci anebo si vyber jiný forum.
To bylo zcela uprimne prani. Verim tomu, ze ten clovek je schopny to rozbehat. Vubec neverim tomu, ze je schopny vyresit vetsi problem, ktery se na tom pote vyskytne v live provozu. Osobne bych do toho nesel, protoze bych chtel aspon pul roku na rozchozeni a testovani, a i u toho bych se osival nez bych to nasadil do produkce, a to Ti zadna firma neda. Pokud nemas nekoho, kdo uz to delal, je podle me levnejsi reseni nekoho najmout. Nicmene je to Tvuj boj a Tvoje data. Doporucuju zalohovat jako o zivot, a predem popsat managementu jak dlouho tolik dat budes obnovovat......
-
Naprosto crazy téma :) já bych použil CEPH, nicméně mi příjde, že člověk který má potřebné know-how se nepotřebuje ptát co má použít.
Ještě existuje LizardFS (ale nezkoušel jsem ho) - možná někdo bude vědět.
Ten co se ptá potřebuje hlavně to know-how, u všech těchto systémů platí, že jsou komplikované na administraci pokud dojde k nějakému extrémnímu stavu.
Každý vám řekne: pokud to nemusíte používat, nedělejte to...
-
A bude to implementovat, spravovat a supportovat člověk, co se v tom vlastně vůbec nevyzná. Hlavně že to bude levný...
A serverovna vypadá jak? Máte ty servery nastrkaný v kumbále na košťata, protože všechno ostatní vyjde draho?
bude to implementovat člověk, kterej má praxi v IT 15 let, programátor v 5+ jazycích, v posledních letech mmj. linux admin, servery v datacentru, nemá rád OT typu tvá reakce, chtěl jsem jen poradit, a btw. od toho tyhle fora jsou. Místo nějaký rozumný odpovědi akorát spamuješ.
Takze, kdyz to shrnu, bude to delat clovek, ktery sice dela IT, ale o storage nevi skoro nic, ma nejakou praxi s Linuxem a prevazne programuje. K tomu nema rad lidi, kteri pochybuji o tom, ze nezvladne vsechno na svete maximalne pres noc. Tak preju dlouhy bezproblemovy provoz.....
Ano. Psal jsem to hned na zacatku tohoto threadu že chci poradit. Tvoje nesmyslny posty fakt nechápu a doufam, že je admin smaže. To sem fakt nepatří. A opravdu nemám čas se zaobírat tímto. Jestli mas potrebu psat, tak k veci anebo si vyber jiný forum.
To bylo zcela uprimne prani. Verim tomu, ze ten clovek je schopny to rozbehat. Vubec neverim tomu, ze je schopny vyresit vetsi problem, ktery se na tom pote vyskytne v live provozu. Osobne bych do toho nesel, protoze bych chtel aspon pul roku na rozchozeni a testovani, a i u toho bych se osival nez bych to nasadil do produkce, a to Ti zadna firma neda. Pokud nemas nekoho, kdo uz to delal, je podle me levnejsi reseni nekoho najmout. Nicmene je to Tvuj boj a Tvoje data. Doporucuju zalohovat jako o zivot, a predem popsat managementu jak dlouho tolik dat budes obnovovat......
vim a s tebou 100% souhlas
-
To sem fakt nepatří. A opravdu nemám čas se zaobírat tímto. Jestli mas potrebu psat, tak k veci anebo si vyber jiný forum.
Patri. A misto posilani lidi nekam bys udelal lip, kdyby ses zamyslel nad tim, proc ti to pisou.
IT neni jenom (a ani ne prevazne) o technologiich. Je z valne casti o organizaci, lidech, procesech a penezich. Technologii si muzes vybrat dobre, ale to je tak 10% uspechu. Zbytek muzes posrat. A mel bys naslouchat lidem, kteri te pred tim varuji. Samozrejme ale nemusis - kazdy sveho stesti strujcem. Ale pak si to taky pekne sam vyzeres... a do dna.
urcite jsem nikoho nikam neposilal a prave naopak nasloucham. Ptal jsem se na neco co nevim a stejne tak bych poradil jinym, kdyz budu vedet. chjo :(
-
Naprosto crazy téma :) já bych použil CEPH, nicméně mi příjde, že člověk který má potřebné know-how se nepotřebuje ptát co má použít.
Ještě existuje LizardFS (ale nezkoušel jsem ho) - možná někdo bude vědět.
Ten co se ptá potřebuje hlavně to know-how, u všech těchto systémů platí, že jsou komplikované na administraci pokud dojde k nějakému extrémnímu stavu.
Každý vám řekne: pokud to nemusíte používat, nedělejte to...
v tomhle know-how nemam, proto se ptam, abych rok nestravil testovanim ruznych reseni. thx za inspirace ;)
-
Já bych si něco podobnýho na vlastní triko nevzal. Radši říct, že to se současnými prostředky nelze (i lidi jsou prostředky, včetně tebe) a pokud bude zadavatel požadavku trvat na svém, začít si hledat jinou práci.
-
Je potreba udelat poradnou analyzu rizik - nejen HW, ale i lidskych a ohodnotit dulezitost dat
Tohle smrdi velkym pruserem, kdyz se neco stane. Urcite se bude hledat vinik, na ktereho je to mozne hodit