Zobrazit příspěvky

Tato sekce Vám umožňuje zobrazit všechny příspěvky tohoto uživatele. Prosím uvědomte si, že můžete vidět příspěvky pouze z oblastí Vám přístupných.


Příspěvky - Mirek Prýmek

Stran: 1 ... 367 368 [369] 370 371 ... 618
5521
Server / Re:Backup server pro obrazy disků
« kdy: 19. 05. 2014, 12:21:11 »
ad ad1: O efektivite hovorim ako o efektivite administracie. Tych pocitacov je v tej fabrike vela. Preto by som to chcel administrovat centralne.
No tomu právě nerozumím - centrální správa se řeší nástroji pro centrální správu, ne nástroji pro zálohování.

ad ad2: Ide o to, ze napr. PLC bezi ako vrstva pod urovnou windows. [...] Niektore casti HDD su napr. pre operacny system neviditelne.
Tak oblasti, které jsou pro OS neviditelné asi nezazálohuješ žádným způsobem, takže o těch nemá smysl mluvit. Jde o to, jestli do oblastí, které chceš zálohovat někdo zapisuje mimo normální soubory filesystému - a to bych odhadoval, že na 99% ne, jedoduše už proto, že by mu OS ty oblasti mohl kdykoli přepsat.

Je tam cela particia, ktora je pre OS ako nealokovana, ale ak ju zrusim tak ani nenabootujem, pretoze, pri boot system, najprv bootoje PLC a nad tym bootuju windows. 

ad ad3:  obavam sa, ze na ZFS windows 7 asi nerozchodim.
To opravdu ne. Ovšem taky jsi neřekl, že chceš nástroj pro Windows, což je dost zásadní informace...

5522
Server / Re:Backup server pro obrazy disků
« kdy: 19. 05. 2014, 10:47:48 »
rsync --inplace by to dokazal
rsync funguje na urovni souboru, o to jde.

5523
naopak, dedup (jak je v ZFS) je idealni pro tohle prostredi (pokud mas pamet/L2ARC) - krom spotreby pameti a trochu fragmentace je nejvetsi downside znacny zpomaleni pri mazani snapshotu (protoze se s kazdym blokem kontroluje a updatuje dedup tabulka)
V běžných datech typu zdrojáky, filmy, mp3, různé dokumenty... to asi moc duplikací nenajde, čili efekt bude zanedbatelný. A v kombinaci s nekonečnou historií by to potřebovalo enormní množství RAM. Proto si myslím, že to právě v tomhle případě nemá smysl, protože prostě poměr náklady/přínosy není moc dobrý.

Deduplikace imho má smysl tam, kde oprávněně očekávám hodně duplikací - image strojů, hodně mírně upravených verzí téhož filmu apod.

5524
Taky bych tam rad mel featury na hledani duplicit a nasledny dedup + crc pres bloky jako ZFS.
Pokud potrebujes neco, co ma featury zfs, zkus pouzit zfs ;)

Zfs + rsync by asi resilo vsechno, co jsi natukl, ale obavam se, ze bys casem zjistil, ze to vlastne nechces - napr. ta věčná historie - jasně, není problém si každý den udělat snapshot, ale za deset let z toho budeš mít nějakých tři a půl tisíce snapshotů, ve kterých stejně nic nenajdeš...

A dedup taky typicky na data nepotřebuješ, protože to má obrovskou režii a bylo by to strašně drahý (věčná historie!).

Stejně tak není žádný technický problém nechat data zfs send-em přetýkat třeba do Amazon Glacier, ale tam ti cena taky bude nepříjemně narůstat (opět: věčná historie!) a budeš platit za data, který dost pravděpodobně vůbec nikdy z úložiště nevytáhneš...

Uz jsem premyslel o tom si to napsat pres FUSE sam.
Tak to je známá věc, že seš megaloman ;) ale tohle je fakt zbytečný - nástroje na to jsou, jenom je dobře uspořádat...

5525
Server / Re:Backup server pro obrazy disků
« kdy: 19. 05. 2014, 08:41:07 »
Možná je to brzkou ranní hodinou, ale nějak těm požadavkům nerozumím...

  • rad by som si urobil server, ktory by mi robil automaticke image diskov pocitacov v sieti. [...] ale mam nadej, ze ak to bude serverova aplikacia a na strane klienta bude len nejaka sluzba, tak to bude efektivnejsie.
  • Mnoho zasahov je na urovni op. system, resp. este nizsie (PLC), neda sa to riesit "len zalohovanim dat", je nutny image.
  • Jednoducho, ze sa urobi prvy image kompletne a potom sa dalsie "len" dopocitaju na zaklade rozdielov, ze sa zakazdym nebude robit image cely.
  • Problem je, ze ak chcem nieco zmenit, tak to musim robit na kazdom pocitaci zvlast, co pri tom mnozstve a ich vzdialenosti....

ad 1] Jestli je to push nebo pull nemá na efektivitu žádný vliv. Rychlost zálohování je daná 1) rozsahem zálohy (full,diff) 2) rychlostí sítě 3) rychlostí disků 4) případně šifrováním, kompresí apod. Takže tomuhle bodu vůbec nerozumím, nevím, jakou "efektivitu" máš namysli, co si od toho slibuješ

ad 2] tomuhle taky nerozumím. Proč přesně nechceš zálohu na úrovni souborů? Co víc dostaneš od image? Že ti zůstanou stejná čísla inodes nebo o co přesně ti jde? Je to opravdu nutný požadavek?

ad 3] rozdílové zálohování se dělá obvykle právě na úrovni souborů, což nechceš. Chtěl bys teda, aby zálohovací program jel disk blok po bloku, počítal jejich hash a jenom v případě rozdílu odeslal blok na server? Nevím o ničem, co by tohle umělo, protože je to celkem nesmyslný požadavek. Pokud už se někde řeší rozdíly na úrovni bloků, tak jsou to věci typu LVM nebo ZFS. Obecně ZFS by pravděpodobně tvoje problémy řešilo, prostě pravidelně dělat snapshoty a pomocí zfs send je posílat na server. Otázka cronjobu na pět řádků. Ale je otázka, jestli zfs můžeš nasadit.

ad 4] tak to je ale problém orchestrace, ne? Jak to chceš řešit zálohováním?!

5526
Tjn, mozno som predpokladal zlyhanie nejaky "zlym" sposobom. Ten najhorsi sposob je, ze sa o to aplikacia nestara, ono to nejaky cas (mesiac? Rok?) na pohlad funguje a potom napr. zalozenie uzivatela pouzije nejaky blby offset v DB, takze je DB FUBAR. Zaloha v takom pripade nemusi zachranit.
Konkretne to bdb nekorektni data pozna hned pri otevirani. Nejaky silent corruption vlivem vadnych sektoru asi urcite ne, ale ten scenar s vykopirovanim zivych dat myslim ze jo (pokud vede k poskozeni).

Zalohy si sice robim, ale velmi nerad ich obnovujem - typicky to znamena stratu novsich dat, dlhsi vypadok + je treba prist na to, kde je tam chyba a reagovat na to obnovou dat => z principu radovo dlhsia reakcna doba ako pri automatickom prehrani logov.
To jo no. Ale taky jsme se bavili o scenari, kdy ma server RAID, vypadne napajeni a selze UPSka nebo agregat. Coz by se nemelo stavat ob den :)

5527
Ale neveril by som tomu.
No prave.

ale stratit kvoli chybe v dodavke elektriny celu databazu sa mi zda byt v principe tak zle, ze by som takemu programu velmi neveril.
Tak od toho jsou zalohy zejo.

5528
Ale tak mimochodom - taka DB neprezije tvrdy vypadok prudu a je dobra leda tak ako docasne ulozisko. Kto to ma, nech sa mu oblukom vyhnem?
Vicemene vsechny aplikace pouzivajici takovety male embedded databaze - pokud se nemylim, tak treba BDB, takze napr. ldap s timhle backendem. A nezachranit zrovna ldap by mohlo byt dost nemile prekvapeni...

5529
Ked tam mate LVM, tak je kopirovanie vsetkych dat mozne (LVM snapshot a potom z neho); inak hrozi problem s rozbitymi suborami, ktore sa prave pridavali.
Bacha na to, ani snapshot nezaručuje konzistenci dat. Některé jednodušší databáze nezaručují konzistenci dat na disku v každém okamžiku.

Takže buď:
1. přenést snapshot
2. zdrojový server vypnout
3. zazálohovat _korektně_ všechna data z náchylných databází
4. obnovit databáze na cílovém serveru

Nebo udělat podobnou operaci rsyncem:
1. rsyncnout celý server
2. vypnout na zdrojovém serveru všechny služby
3. ještě jednou rsyncnout

Ale hlavně: zapsat si za uši, že server s jedním diskem není server.

5530
Odkladiště / Re:Co je to cloud a k čemu to je?
« kdy: 17. 05. 2014, 16:39:53 »
takže výsledkem tohoto snažení bude o to pomalejší bastl s o to více závislostmi a místy, kde se to může pokakat.
Jistě. Ono to k tomu totiž svádí. Už je to všechno vyřešeno! Jenom to použijem, dyť je to ízy! Celej ten cloudovej hype je z velké části založenej na vytváření představy, že to všechno bude nějak automagicky fungovat samo od sebe.

Věnujte se jenom vaší aplikaci a nenechte se rozptylovat starostí o infrastrukturu! Chcete bezpečnost? Přidejte modul SEC. Chcete aby škálovalo? Klikněte na tlačítko SHKAL.

A v praxi to vypadá spíš tak, že pořád řešíš, proč SHKAL neškáluje a ROCKSOLID spadl zrovna půl hodiny před prezentací investorovi a jestli tohle a tamto nefunguje protože to máš blbě udělaný ty, nebo to prostě kleká dodavateli SaaS, do kterýho vůbec nevidíš a můžeš se jenom modlit, aby to dali do pořádku co nejrychleji ;)

5531
Odkladiště / Re:Co je to cloud a k čemu to je?
« kdy: 17. 05. 2014, 16:33:19 »
Mimochodem, ještě tam určitě hraje roli druhé magické slůvko: inovace!

Pokud napíšeš suprově vytuněnou aplikaci ve funkcionálním jazyce, která suprově škáluje a spolehlivě funguje i na té 486ce, tak máš co? Zaprášenou 486ku.

Zatímco když vezmeš tisíce předpřipravených služeb, blikátek, klikátek, webový rozhranní i k ls a jelikož to neustále padá, propojíš to s IM na mobil, jabber a ještě do nějaké supercool enterprise commucation píčoviny a celej ten cirkus ti jede na třiceti serverech, tak máš co? INOVACI!

5532
Odkladiště / Re:Co je to cloud a k čemu to je?
« kdy: 17. 05. 2014, 15:57:07 »
Vážně by mě zajímal příklad aplikace, pro kterou je to málo (příklady typu Twitter apod slyšet nechci, tohle ty startupy plné keců o cloudu apod fakt nejsou).
Podceňuješ ten marketingový rozměr. Když přijdeš za investorem a řekneš "jsme příští Instagram - a jsme připravení růst donekonečna, běží nám to fklaudu. Teď máme sto pilotních uživatelů, ale infrastruktura je připravená na milion," tak to hned zní líp než "máme sto uživatelů a zvládá to stará 486ka, kterou máme v kanclu pod stolem" :)

Každý si myslí, že je příští Instagram a devět z deseti programátorů trpí nemocí zvanou premature eja optimalization. Výsledkem jsou nesmyslně přebujelé aplikace, které lidi nasazují na naprosto triviální problémy. Viz momentálně populární kombo logstash/elasticsearch, to by se jeden zblil ;)

5533
Odkladiště / Re: Co je to cloud a k čemu to je?
« kdy: 17. 05. 2014, 08:01:54 »
Super odpovědi, je poznat, že o tom něco víte... A teď - nemůžete to popsat jako pro debila? Co je cloud, z čeho to sestává, jaká je logika využití, proč to používat, přoč ne, proč na to vyvíjet, proč ne, ...

Na to se možná ptal tazatel (ale zcela jistě to zajímá mě - nevím o tom víceméně nic, takže dotazy typu "IaaS, PaaS, SaaS?" jsou jaksi mimo mísu).
Tak zaprvé je to marketingový buzzword. Firma, která dneska nemá scrollovací web na celou šířku stránky s bootstrapem, obrovitánskou fotkou šťastných lidí na začátku, nadpisem velikosti nejméně 46px a obláčkem v ikonkách, jako by nebyla :)

A proto je potřeba se na to dívat přesně, jak říkáš: jako pro debila, bez zbytečných keců :) Takže v základu je cloud velké množství serverů, na nakterých jede nějaký virtualizační soft a pod tím virtuální servery. Všechno je to uděláno tak, aby virtuální stroj nebyl vázaný na konkrétní kus hardware a celé to má nějaké skriptovatelné API + webui. Narozdíl od klasického poskytovatele VPSek si můžeš vytvořit kolik virtuálů chceš a podle toho pak platíš (někde od kusu, někde od využitých prostředků).

Takže si prostě někam klikneš nebo zavoláš nějaké API a v řádu desítek sekund až jednotek minut ti běží nový server. Samozřejmě je infrastruktura postavená na nějakém druhu imagů, takže si třeba klikneš "chci nový webserver" a za nějakou tu minutu ho máš. Protože ten pool dostupných prostředků je obrovský, je tam pěkný cvrkot - neustále někdo servery ruší a někdo jiný spouští, takže průměrné využití prostředků by mělo být lepší než když si každá firma bude budovat vlastní servery dimenzované na nejvyšší očekávanou zátěž, které většinu času budou jenom zevlovat.

No a z toho plyne, že aplikace pro cloud se musí psát jinak než pro klasickou infrastrukturu - je potřeba je nějak rozložit na víc virtuálů a umožnit (rádobylineární) škálování - rozjedu dvakrát tolik webserverů -> obsloužím dvakrát tolik požadavků.

Aby to celé šlo nějak rozumně spravovat, je na to potřeba nějaký configuration management - salt, chef, puppet, cfengine... který dělá v principu hlavně to, že na správná místa do konfiguráků vloží aktuální hodnoty cloudu - např. IP adresu databázového stroje (tím, že virtuály pořád nějak zastavuješ a spouštíš se samozřejmě mění minimálně jejich IP adresy, takže prostý image všech strojů ti nestačí).

Marketing říká, že je to celé báječně flexibilní, levné (lepší využití prostředků), spolehlivé (resp. schopné ustát chyby). Skutečnost je spíš taková, že je to flexibilní, takže se komplikuje design aplikace a ne každý umí takovou aplikaci dobře navrhnout (nestačí prostě vzít klasický monolit a prsknout ho do cloudu...), levné to není (stačí zadat do googlu něco jako "ec2 price high") a na úrovni jednotlivých virtuálů nebo obslužného API je to někdy až pekelně nespolehlivé (takže ta fault-tolerance je trochu znouzectnost - bez ní to prostě nejde, cloud tě k ní donutí...).

No a ty jednotlivé zkratky PaaS, IaaS, SaaS apod. potom víceméně označují, na jaké úrovni s tím poolem prostředků pracuješ - buď máš k dispozici "holé" virtuální mašiny a na ně už si všechno instaluješ sám, sám si řešíš jejich orchestraci, správu, záplatování a všechno ostatní (takže je to stejný jako bys měl stejný množství normálních serverů), nebo máš jakoby "nafukovací stroj" - někam nahraješ třeba java aplikaci a cloud ji "sám" provozuje - ideálně i nějak automagicky sám škáluje prostředky. Mezi těmahle dvěma póly je spousta mezistupňů a to jsou víceméně ty jednotlivé zktratky ;)

Nejlíp to celý pochopíš, když si to sám vyzkoušíš - pro vyzkoušení "holých serverů" má třeba Amazon EC2 free tier, kde si můžeš půl roku zadarmo provozovat *tragicky* poddimenzovaný virtuál. Pro vyzkoušení trochy té automagiky můžeš zkusit třeba https://www.openshift.com/

5534
Sítě / Re:Stovky zařízení přes OpenVPN nebo IPsec?
« kdy: 15. 05. 2014, 19:10:45 »
... provozoval si nekdy neco takovyho pro aspon 20+ zarizeni? Podle toho co pises zjevne nikoli. Mam tu zabbixe v nem nejakych 30 kousku ... jen databaze ma cca 20GB. Pouziva se pro podrobnejsi monitoring serveru/switchu/.. Pak tu mam jeste lansweeper - scanuje sit a zjistuje co se zmenilo (HW/SW) - mozna tak sakumprask 250 kousku HW. Vpohode to na 100% sezere 4 jadro.
Tak jiste, se Zabbixem se neni cemu divit :) Oproti tomu Nagios si muze nastavit uplne libovolne - historii bude mit tak velkou, jak velkou ji bude chtit. S CPU a konektivitou nic moc neudela, to je proste pocet krabicek krat konstanta. Ale jinak bych v tom nevidel problem, pokud si rozumne nastavi pozadavky.

Nadavat na to, ze tobe to zere ctyrjadro, to je jako kdyz nekdo rekne ze syslog je blbost, protoze mu Logstash+elasticsearch+kibana vytezuje cluster s dvaceti stroji :)

Tak jsem to zase hned smazal.  ::) :o >:(
Coz je ostatne taky jedna z mala veci, na kterou se Zenoss fakt vyborne hodi. Fit for purpose :)

5535
Hardware / Re:Sběr binárních dat na slabém HW
« kdy: 15. 05. 2014, 19:02:55 »
Tim se zbavim problemu, jak se na serveru dostane do databaze info o novych souborech, poresi to webova aplikaci pri nahrani.
Ano. Oproti nejakymu nahravani pres ftp do adresare, kterej bys musel monitorovat, je to urcite pohodlnejsi.

Zaroven s nahranim se krabicka zepta, jestli ma zapnout vzdaleny pristup. Pokud server odpovi ano, krabicka nahodi ssh tunel. Takze do max. 5 minut budu mit ssh.
Jenom mysli na to, ze mas o neco malo vetsi pravdepodobnost, ze se na zarizeni nedostanes - chyba v tom sw na krabce apod. Ale pokud to jednou odladis a pak do toho nebudes vrtat, melo by to byt v klidu. A v pripade zavady jedne krabky ze sta ti ji proste nekdo posle postou k diagnostice, no, to se da logisticky zvladnout :)

Stran: 1 ... 367 368 [369] 370 371 ... 618