Kolik logů vlastně potřebujeme

Kolik logů vlastně potřebujeme
« kdy: 27. 08. 2019, 12:48:19 »
Nedávno jsem se dostal do situace, kdy jsem na jednom severu měl akultní nedostatek místa a musel jsem smazat část logů. To mě přivedlo na několik otázek. Jak staré logy se mají ukládat? Jsou služby, které by se neměli logovat vůbec, i když je to možné? Potřebuji lokálně uložené logy, když používám cetrální logování? Jak vlastně promazávání strarých logů nejlépe zautomatizovat? Chápu, že na tyto otázky není jednoznačná odpověď. Zajímají mě nejen odpovědi, ale převším argumenty k odpovědím vedoucí.


k3dAR

  • *****
  • 2 838
  • porad nemam telo, ale uz mam hlavu... nobody
    • Zobrazit profil
    • E-mail
Re:Kolik logů vlastně potřebujeme
« Odpověď #1 kdy: 27. 08. 2019, 13:09:45 »
- nechavat tolik kolik potrebujes k odhaleni s cim byl kde jakej problem
- nastavit co, kam, kolik nechat a kdy mazat: /etc/logrotate.conf + /etc//logrotate.d/*
- pouzivat LVM aby jsi mohl v pripade potreby za par vterin oddil kde dochazi misto zvetsit
- pouzivat oddeleny /var aby velikost logu a pripadne zaplneni/preteceni neovlivnilo systemovy oddil

Re:Kolik logů vlastně potřebujeme
« Odpověď #2 kdy: 27. 08. 2019, 14:38:32 »
Za mě: logů mít minimum, v logu mohou být i citlivé informace, tak proč se o ně starat. Týden by měl na odhalení problémů stačit.

/var/log oddělit, aby nemohly logy sežrat místo zbytku systému (oddělit samozřejmě i /tmp a /var/tmp, ideálně noexec, nosuid). Pokud používáte ZFS, lze to omezit lehce. Na ZFS je vhodné zapnout kompresi (LZ4), značně se tím zmírní nároky na místo.

Logy rotovat (na linuxu logrotate, na fbsd newsyslog).

Logy webu nejlépe vypnout - jsou tam IP adresy a činnosti, to je příliš citlivé na to to mít "v době míru".

Re:Kolik logů vlastně potřebujeme
« Odpověď #3 kdy: 29. 08. 2019, 19:51:27 »
Podle me zalezi na rovine pohledu, velikosti a dulezitosti sluzby/systemu, citlivosti dat. Vpodstate by ti asi nekdo mohl udelat risk management report a myslim, ze to je legitimni otazka pro management jak se k tomu chce postavit.


Muj pohled na vec:

Audit / System logy? (ssh, firewall, pkg) - urcite co nejdyl pokud muzes, zalezi na OS, ale auditd, logstash, osquery nebo neco podobnyho ma smysl.

Service / Daemon? (apache2.log, mysql.log, samba...) - tohle beru jako default logy servisu, nikoliv treba virtualhost logy z apache. To zalezi na tobe, uprime mesic by mel stacit. Zalezi co mas ve "smlouve" se zakosem. Treba v pripade apache2, vychozi logy nejsou vzdy to co chces). Central logovaci server asi ma smysl, mozna to  muzes cpat jako inkrementalni backup spolu se systemem.

Aplikace / Runtime? (apache2/custom/site1.log php/custom/site1.log ....) - tady bych sel asi cestou Sentry.io nebo Raygun nebo tak neco. Aplikacni logy vetsinou obsahujou ty citlivy udaje a je to taky vetsinou co debugujes at uz ruby/python/php/go/java .... whatever.


Jako mit central logovaci server a uchovavat na aplikacnich/db serverech logy treba jenom hodinu, ma smysl. Centralni logovani vsak zatezuje network a to ne vzdycky chces. Vetsinou to chces sifrovane, takze zatez nad CPU no a nejaka ta ramka a iops v peaku navic nepotesi.


Otazka:

Hypoteticky, kdyz budu uchovavat logy den, co na to GDPR? Co kdyz bych delal updaty treba tydne, ale proste bych si nevsiml, ze tam nekde bezi neco navic (cili splnil bych nejakej ten best effort na updaty). Kdyz nebude log, jak to kdo prokaze (resp. nebude se dat dopatrat). Co pak s tim?Je to jak s ISP/Operatorama? Uchovavat vsechno aspon 6 mesicu? A co na to firemni router/firewall? :)

Re:Kolik logů vlastně potřebujeme
« Odpověď #4 kdy: 29. 08. 2019, 20:39:33 »
Hypoteticky, kdyz budu uchovavat logy den, co na to GDPR? Co kdyz bych delal updaty treba tydne, ale proste bych si nevsiml, ze tam nekde bezi neco navic (cili splnil bych nejakej ten best effort na updaty). Kdyz nebude log, jak to kdo prokaze (resp. nebude se dat dopatrat). Co pak s tim?Je to jak s ISP/Operatorama? Uchovavat vsechno aspon 6 mesicu? A co na to firemni router/firewall? :)

GDPR pravidla si musí nadefinovat provozovatel systému. Ty nejprve začínají u osob, oprávnění a oprávněných technických požadavků. Výsledné technické řešení může GDPR naprosto vyhovovat i v případě, že logy archivujete deset let, pokud na to bude mít firma nastavené procesy.

V praxi jsem ale moc firem, které by GDPR chápaly, nepotkal. Většinou si myslí, že GDPR je nějaké technické opatření, vůbec nerozumí tomu, že je to zejména organizační opatření. Proto, při pohledu na praxi, doporučuju každému uchovávat co nejméně, protože tím se aspoň trochu kompenzuje tento přístup.

U GDPR také není kdo by co prokazoval. GDPR nefunguje na principu prohřešek-pokuta. Vy vlastně data nemusíte chránit vůbec, ale jakmile dojde k průšvihu (unikne něco), karta se obrací. V tu chvíli bude položen předpoklad odpovědnosti provozovatele, a je to naopak provozovatel, který musí prokázat, že jak vnitřními směrnicemi, tak proškolením personálu, tak technickými opatřeními udělal vše pro to, aby k úniku nedošlo. Pokud to neprokáže, je za únik odpovědný a bude platit odškodnění. Pokud tedy snížíte dobu uchovávání logů na minimum, je to jednoznačně plus do této skládačky.


Re:Kolik logů vlastně potřebujeme
« Odpověď #5 kdy: 29. 08. 2019, 21:45:34 »
U GDPR také není kdo by co prokazoval. GDPR nefunguje na principu prohřešek-pokuta. Vy vlastně data nemusíte chránit vůbec, ale jakmile dojde k průšvihu (unikne něco), karta se obrací. V tu chvíli bude položen předpoklad odpovědnosti provozovatele, a je to naopak provozovatel, který musí prokázat, že jak vnitřními směrnicemi, tak proškolením personálu, tak technickými opatřeními udělal vše pro to, aby k úniku nedošlo. Pokud to neprokáže, je za únik odpovědný a bude platit odškodnění. Pokud tedy snížíte dobu uchovávání logů na minimum, je to jednoznačně plus do této skládačky.

Rozumim tomu, ze poskytovatele sluzeb / firmy / instituce by mely byt do jiste miry za data zodpovedne a nakladat s nimi opatrne. Jenze v praxi to muze a casto i je pomerne nakladna zalezitost. Nekdy i drasticka zmena firemnich procesu. To prokazovani je vazne na hlavu, protoze v hodne pripadech, to bude v podstate z pozice firmy neprokazatelne (male a stredni podniky). Pripustme, ze vsechny moje interni smernice splnuji 80-90% ze STIG/DISA. Krome toho, ze logy drzim jenom jeden den, protoze proste vic si nemuzu dovolit ukladat. Kvalitativne prokazu, ze jsem udelal maximum pro naplneni GDPR. Ale proste nemam logy soudruzi, jako sorry jako.

Ocekava se, ze teda nejakej /mnt/hr/report/soubor.xlsx by mel byt proste logovanej kazda aktivita nad souborem. Protoze teoreticky ho mohl nekdo skopirovat pred rokem, dalsi rok potrva nez si toho nekdo nekde vsimne a pak prijde GDPR a rekne co? Chci 3 roky stary logy kdo pristupoval k tomuhle souboru, bo jinak neverim, ze to je bezpecny? Co kdyz se stane, ze zamestnanec si nahral ten soubor na svym android, zazalohoval si to omylem ke googlu i s telefonem a kontaktama a uteklo to ve finale pres jeho ucet? Rozdil v tom jestli drzim logy den nebo 6 mesicu by asi nebyl. Drzet to jak ucetnictvi? 5-7 let bo kolik?

Si rikam, ze to skonci ze budu pri kazdym copy/paste davat otisk prstu, otp, oliznu monitor, usmeju se na kameru a to samy bude muset zopakovat i prijemce emailu, kdyz si ho bude chtit precist :)

Soudruh politik to IT vidi a chape asi jako prumerny american mapu sveta. =/

Re:Kolik logů vlastně potřebujeme
« Odpověď #6 kdy: 30. 08. 2019, 06:07:08 »
instituce by mely byt do jiste miry za data zodpovedne a nakladat s nimi opatrne. Jenze v praxi to muze a casto i je pomerne nakladna zalezitost. Nekdy i drasticka zmena firemnich procesu.

To si zase nemyslím. GDPR se zavádí roky, dlouho dopředu bylo avizované. Celá směrnice směřuje k poměrně jednoduchému cíli: data chránit, segregovat oprávnění, mít ve firmě pořádek. Objektivní odpovědnost byla stanovena, protože se jinak nikdo nemohl domoci práva.

Krome toho, ze logy drzim jenom jeden den, protoze proste vic si nemuzu dovolit ukladat. Kvalitativne prokazu, ze jsem udelal maximum pro naplneni GDPR. Ale proste nemam logy soudruzi, jako sorry jako.

Na logy existuje řešení mnohem víc. Spousta logů neobsahuje citlivé informace. Některé obsahují IP adresu, ale pokud např. není spojena spojitelná s query a dalšími informacemi, není to a priori citlivá informace. (Zde musí odpovědná osoba zjistit stav a tomu se přizpůsobit). Někdy stačí některá data anonymizovat, někdy stačí dostatečně bezpečně oddělit administrátora od dat a těch, kteří mohou logované informace spojit s konkrétními osobami. Cest je prostě mnoho.

Ocekava se, ze teda nejakej /mnt/hr/report/soubor.xlsx by mel byt proste logovanej kazda aktivita nad souborem. Protoze teoreticky ho mohl nekdo skopirovat pred rokem, dalsi rok potrva nez si toho nekdo nekde vsimne a pak prijde GDPR a rekne co? Chci 3 roky stary logy kdo pristupoval k tomuhle souboru, bo jinak neverim, ze to je bezpecny?

To je absolutně špatné pojetí GDPR, přesně to, co jsem říkal, že si firmy vyložili zcela naruby. Pokud se stane incident, v první řadě bude firma prokazovat, že jsou zaměstnanci poučeni jak se má s daty zacházet, jestli hned při nástupu do práce atd. Jestli probíhají pravidelné obnovy školení a jestli jsou nastaveny kontroly. To je úplně stejné, jako s pracovními úrazy: když se stane, tak firma musí prokázat vstupní lékařskou prohlídku, školení BOZP, doškolování BOZP, následně se zjišťuje, jestli je v praxi dodržováno. Když má zaměstnanec autonehodu a dojde ke zranění, zjišťuje se proškolení řidičů a jestli firma řidičskou kázeň kontrolovala (nebo jestli to nechala "prostě být").

Takže žádný log. Prokazovat budete, že máte ve firmě pořádek.

Co kdyz se stane, ze zamestnanec si nahral ten soubor na svym android, zazalohoval si to omylem ke googlu i s telefonem a kontaktama a uteklo to ve finale pres jeho ucet? Rozdil v tom jestli drzim logy den nebo 6 mesicu by asi nebyl. Drzet to jak ucetnictvi? 5-7 let bo kolik?

V první řadě se bude řešit: 1) co v souboru bylo za data, 2) proč bylo tolik dat v jednom souboru, 3) proč k němu měl zaměstnanec přístup (potřeboval to ke své práci?), 4) byl poučen, že nesmí data z firmy kopírovat?, 5) umožnila firma připojovat si do sítě kdejaké zařízení (telefon)? (není myšleno technicky umožnila, ale předpisem), 6) konrolovalo se to v praxi? (mnoho firem má předpisy na papíře, ale v praxi se nedodržují).

Účetnictví a zjeména mzdové účetnictví je ideální příklad. Mzdové záznamy se archivují 30 let. Od nepaměti každá zodpovědná firma (už snad od Rakouska-Uherska) měla mzdovou účtárnu zcela oddělenou. Osobní složky zaměstnanců byly pod dvěma zámky. Oddělení odemykal ráno šéf, běžní účetní chodili až po něm. --- To je odpovědný přístup v praxi. Dnes se na to pouze začalo kašlat, ale možné to bylo už před sto lety. (Dnes je to horší, že data nám uletí rychlostí světla).

Hezkým GDPR příkladem jsou e-shopy, které dodnes zcela zbytečně sbírají na doklady (faktury) jmnéno, adresu, ... Zcela zbytečně. Pak musí 10 let tyto doklady archivovat, tedy 10 let musí dbát na jejich ochranu. E-shop, který to má v hlavě v pořádku, vystavuje doklady bez jména. A údaje doplňuje jen na 10000 Kč a jen na požádání. Příkladem je IKEA - tam můžete pokladnou projet s nákupem za 60.000 Kč a vyjede jen paragon. Pro účely reklamace to stačí. Pokud chcete víc (do účetnictví), musíte na zákaznické služby a teprve tam Vám údaje doplní do faktury.

Soudruh politik to IT vidi a chape asi jako prumerny american mapu sveta. =/

To si nemyslím. Zrovna Vaše otázky ukazují, jak GDPR technici nerozumí a jak ho překrucují do úplně něčeho jiného, než je. Pokud jste zaměstnaný, tak to není Vaše chyba. Poučit Vás měl zaměstnavatel. Jestli to neudělal (neřešil), pak je to zase selhání. (A vím, že firmy často GDPR házejí na hrb ajťákům, kteří s tím mají pramálo co do činění).
« Poslední změna: 30. 08. 2019, 06:09:34 od Miroslav Šilhavý »

Re:Kolik logů vlastně potřebujeme
« Odpověď #7 kdy: 30. 08. 2019, 09:14:04 »
Takže GDPR je vlastně dobrá výmluva na to proč neshromažďovat data

Citace
umožnila firma připojovat si do sítě kdejaké zařízení (telefon)?
A lze se ptát i zakázala umožnila připojovat si do sítě kdejaké zařízení (telefon)?

Re:Kolik logů vlastně potřebujeme
« Odpověď #8 kdy: 30. 08. 2019, 09:20:45 »
A lze se ptát i zakázala umožnila připojovat si do sítě kdejaké zařízení (telefon)?

To už poškozeného vůbec nezajímá. Podle GDPR je vždy správce dat odpovědný. Může však prokázat, že ke zneužití došlo, ačkoliv udělal, co mohl.

Dívejte se na to z pohledu poškozeného. Někdo Vám zavolá nebo napíše e-mail a bude zřejmé, že v něm jsou informace, které o Vás věděl např. pouze e-shop, ve kterém jste před měsícem nakupoval. Bude tedy jasné, že data unikla touto cestou. V ten okamžik máte jako poškozený možnost žádat odškodnění. Vás pak vůbec nezajímá, jestli k úniku dat došlo vinou zaměstnance, nebo jestli je sprostě prodali, nebo jestli data vytáhl ze sítě nějaký vir. Vy jste prostě poškozený a oni jsou objektivně odpovědní.

Pokud se chtějí z odpovědnosti vyvinit, pak je na nich, aby ONI prokázali, že udělali vše, co lze požadovat. Pokud neprokážou, mají smůlu, nesou odpovědnost.

----

Proto radím každému, kdo za data odpovědnost nese, že první opatření je vůbec uvažovat o tom, jestli data potřebuju a jestli mi to stojí za ty rizika.

Re:Kolik logů vlastně potřebujeme
« Odpověď #9 kdy: 30. 08. 2019, 09:46:53 »
Jak staré logy se mají ukládat? Jsou služby, které by se neměli logovat vůbec, i když je to možné? Potřebuji lokálně uložené logy, když používám cetrální logování? Jak vlastně promazávání strarých logů nejlépe zautomatizovat?

1) Velmi to zavysi od sluzby, servera, potrieb a use case. Mame logy ktore uchovavame 2 roky (napr. logy z bezkontaktnych citaciek). A mame operativne logy uchovavane len 48 hodin. Su to najma prevadzkove logy z aplikacii. Nema zmysel uchovavat logy dlhsie. Ked sa vyskytne problem na aplikacnej urovni, riesi sa hned, logy starsie ako 48 hodin su zbytocne.

2) Ked sa vyskytne problem logy poskytnu aspon nejake voditko, takze zakazat logovanie nema zmysel.

3) Centralne logovanie je super vec (Splunk/ELK) usetri kopec roboty, pohodlne sa vyhladava. No z mojho pohladu ma zmysel pri vacsom pocte serverov.

4) logrotate.d + rsync + cronjob