Příspěvky

211

Sítě / Re:Logování packetů na serveru

« kdy: 28. 06. 2015, 20:21:55 »

Čekal bych, že pakety budou na ethernetu velké 1500 B. (starý tcpdump zapisoval jenom 68 bajtů nebo tak něco, to bylo "super" - ale teď je ten default dostačující)

Na ethernetu jsou rámce, nikoliv pakety, na to pozor, pleteš dohromady jiné síťové vrstvy...

212

Sítě / Re:Logování packetů na serveru

« kdy: 28. 06. 2015, 13:41:42 »

Jenom upozorním na jeden háček a to je parametr -s pro tcpdump. Tcpdump standardně zapisuje pouze prvních 65kB paketu, což mnohdy nestačí a člověk se pak při analýze set sakra diví, proč mu třeba v HTTP streamu chybí obsahy stránek

Takže

Kód: [Vybrat]

tcpdump -s0 ...

to řeší

213

Vývoj / Re:Zveřejňování firemního zdrojového kódu

« kdy: 19. 06. 2015, 15:04:22 »

Myslím, že otázka zněla trošku jinak, tazatel se ptá, proč se nepoužívají ani privátní repozitáře na GitHub.

Upřímně řečeno, spousta administrátorů je paranoidních - z mé zkušenosti se často více řeší kraviny, než reálná bezpečnostní rizika, ale tak to prostě je.

Nicméně u cloudových služeb je otázek docela dost. Zpočátku jsem cloudové služby hodně propagoval, ale po čase jsem sám narazil na dost limitů - od právní stránky věci (uložená data v cizí zemi), po stabilitu (výpadky menších cloudových služeb jsou docela problém), po konektivitu (například udělat si clone 1GB repozitáře GITu, co má i data a obrázky atd.. je docela zdlouhavé po internetové lince) až po zálohy (zálohování cloudových služeb se blbě automatizuje a řeší nějak koncepčně). Bezpečnost je otázka zajímavá, adminisrátoři argumentují stylem "nedáme data třetím stranám", ale ono kolikrát data zlikvidují a zneužijí samotní administrátoři, takže ono je riziko mít jednoho poloboha ve firmě - ale to už admin nevidí, protože on je ten polobůh.

Co vidím ovšem jako hlavní problém je, že u hodně cloudových služeb nejsou moc výhody - jaké získám výhody použitím GitHubu s privátním repozitářem? Vždy je třeba vše posuzovat individuálně a brát to s rezervou.

Já si například myslím, že maily v cloudu je lepší volba než maily ve firmě. A to z toho důvodu, že nechci mít několik lidí, co si mohou číst firemní maily jako zaměstnance. Ano, v cloudu si může NSA nebo zaměstnanec Google v Californii přečíst, kolik bere vývojář v naší firmě od vedle - ale to asi stěží zneužije. Na druhou stranu, když si admin přečte, kolik bere jeho kolega ;-)

214

Software / Re:Zálohování na USB disk v Linuxu jednoduše

« kdy: 19. 06. 2015, 14:51:39 »

No já si nejsem jist, zda nevynalézáte znovu kolo...
https://launchpad.net/deja-dup

Tak proto to sem píšu, protože to člověk nikdy neví. Je fakt, že o tomhle SW jsem nevěděl, ale když jsem kliknul v Ubuntu Software Center na recenze, tak to byla síla - recenze jsou hodně slabé a typu "software je buggy, obnovy se nedaří, nedaří se zálohy atd..". Nevím jestli bych něco takového použil...

215

Software / Re:Zálohování na USB disk v Linuxu jednoduše

« kdy: 19. 06. 2015, 11:04:22 »

tak jsem do GitHubu commitnul změnu s tím promazáváním starších záloh, tak kdyby tu ještě někdo měl nápad na vylepšení

216

Software / Re:Zálohování na USB disk v Linuxu jednoduše

« kdy: 18. 06. 2015, 00:51:00 »

Hezké, už nějakou dobu používám totéž, akorát jsem si to musel napsat sám.

To promazávání v závislosti na místě by bylo fajn, já byl moc líný to implementovat, takže prostě držím poslední dva měsíce a mám vyzkoušeno že to je při produkci dat tady tak akorát na velikost toho disku. Efektivně by stačilo seřadit si zálohy podle data a potom je v cyklu po jedné odmazávat dokud nebude místa zase dost (+ nastav něco jako že když by zbylo méně než 5 záloh tak je to nesmaže a uživatele to upozorní).

Trošku uvažuji nad problémem definice "dost místa". To je totiž docela zákeřné, když třeba přesunu velkou složku, tak může mít inkrement 150GB a já si definuji jako "dost místa 100GB". Stejně tak pokud jsou inkrementy 1GB, je zbytečné mazat o staré zálohy. Stejně tak držení například minimálně 2 starých záloh, zní to fajn, ale jakmile uděláš poměrně zásadní změny (třeba přesuneš 300GB dat do jiných složek), tak to může být omezující.

Já osobně třeba používám 2 usb disky, které rotuji na off-site zálohu, takže v době když zálohuji, kdyby došlo ke kompromitaci primárního úložiště (blesk, vykradení, lidská chyba), tak stále mám vždy off-site další disk s funkčními zálohami, takže nepotřebuji řešit nějaké "co kdybych si vymazal starší zálohu při vytváření nové". Ale asi by bylo fajn zanést do dokumentace, že skript je určen pro rotaci 2 usb disků (což je IMHO stejně nejlepší a nejbezpečnější způsob řešení, kort při dnešní ceně 2.000 Kč za 1TB disk)

Co se týká mazání starých záloh, uvažuji, že nejlepší řešení by bylo sledovat spíše error výstup, takže kdybych tam doplnil něco ve stylu:

Kód: [Vybrat]

while true; do
  rsync... 2> /tmp/rsync.err
  if ! grep -q "No space left" /tmp/rsync.err; then
    break
  fi
  # remove old backup
  oldest=$(ls -ltr ... | tail -n1 | awk ...)
  backups=$(ls -ltr ... | wc -l)
  # možná bych ještě doplnil kontrolu, že nechám poslední backup
  if [ "$backups" -le "1" ];
    read -n1 -r -p "Do you want to delete last backup, there is no space on device... [y/n]" key
    if [ ! "$key" = "y" ]; then
      echo "No space left, exiting..."
      exit 1
   fi
   btrfs subvolume delete $oldest
done

217

Software / Zálohování na USB disk v Linuxu jednoduše

« kdy: 17. 06. 2015, 21:09:44 »

Dlouho jsem se potýkal s problémem zálohování svého linuxového stroje. Prošel jsem si spoustu nástrojů na zálohování, ale u většiny jsem vždy narazil na zásadní problémy - buďto byly příliš primitivní (neumožňovali excludovat složky, inkrementální zálohy, šifrování, komprese), nebo se jednalo o komplexní enterprise nástroje (vyžadovali vlastní SQL databázi, složitou konfiguraci, agenta, server atd... což je pro jeden počítač trošku moc).

Proto jsem uvažoval na to jak to řešit, nejdříve jsem chtěl napsat vlastní aplikaci v Pythonu, která bude dělat inkrementální ZIP soubory, řešit šifrování, mít vlastní databázi v SQLite apod., ale nebyl na to čas a i tak mi dané řešení přišlo příliš složité.

Postupem času jsem našel relativně jednoduché a funkční řešení. Používám dm-crypt, btrfs a rsync. Přes dmcrypt vytvořím šifrovaný container, v btrfs zapnu kompresi a přes snapshoty udělám inkrementální zálohy tím, že do nového snapshotu nakopíruji RSyncem změny.

Co jsem si s tím tak hrál, tak výsledky jsou velmi dobré. Všechno vyžadovalo skript o 20ti řádkách, software není potřeba žádný (obnova je tedy jednoduchá), žádná databáze a inkrementální zálohování je opravdu velmi, velmi rychlé (na 1TB disku, kde je 600GB dat například při změně 1GB proběhne inkrementální záloha na usb disk do minuty).

Celé své dílo jsem pod GNU/GPL v3 zveřejnil na https://github.com/koss822/misc

Uvažuji o následujících věcech:

• Jak zajistit retention (dochází místo na usb disku, jak to detekovat a promazat starší zálohy)
• Jak vylepšit dokumentaci a vysvětlení (chtěl bych, aby to používalo více lidí, protože vím, že to dost lidí poměrně řeší)
• Nějaké nápady na rozšíření vylepšení?

Řekl bych, že dané řešení je poměrně dost elegantní, rychlé, přehledné a nabízí i možnosti jako například použití šifrovacího klíče z disku (takže není třeba zadávat heslo).

Kdyby někoho trápilo to samé, a chtěli byste to například otestovat, dát mi feedback atd., ocenil bych to... Nerad si dělám věci do šuplíku a danou utilitu už 2 měsíce ke své spokojenosti používám...