Příspěvky

1

Server / Re:CI GITLAB deploy pomocí tagu - ale pokaždé jíného

« kdy: 19. 02. 2020, 00:43:23 »

Jsou tady zminene tagy, doporucuju mrknout na: https://danielkummer.github.io/git-flow-cheatsheet/
hodne se resej deploymenty do kontejneru, muzete si je tagovat stejne.

2

Server / Re:Ansible - mount a chybějící modul

« kdy: 09. 10. 2019, 11:54:03 »

Posun to do playbooku, 'common' definici budes mit v inventory/group_vars a kdyz to bude malo das si to do playbooks/client1/group_vars a playbook budes volat z playbooks/client1/site.yml nebo takneco.

Role jsou proste obecny, v playbooku muzes delat pre_tasks, post_tasks a pretezovat promene dle potreby. Jestli checes NFS roli tak nfs asi resi samo sebe a ne sambu, druha role je samba a jestli to chces nejako 'zkombinovat' tak bud v playbooku, nebo si napises nejakou nfs-with-samba-combo-role, kde budes mit zavislosti na nfs a samba v meta.

3

Software / Re:Open-source workflow management software

« kdy: 09. 10. 2019, 11:45:56 »

Priklad: nastupi novy zamestananec, tak HR zada poziadavku na pridelenie HW a pristupov, toto musi schvalit nadriadeny novo priateho kolegu. Nasledne tento novy kolega poziada o pristupy do VPN, ktoru musi schvalit jeho nadriadeny a tiez manazer bezpecnosti, az nasledne prepadne na realizaciu na IT/Technology

Na tohle vam staci nejakej ticketovaci system ne?

HR vytvori ticket v IT systemu a tam zatrhne co ma zamestnanec mit a nemit, ticket prijde do fronty a jede si kolecko. Human based CI/CD pipeline Jinak HR snad nerika jaky ma mit zamestnanec pristupy, spis jaka je jeho role a oddeleni a dle toho se prideli default pristupy, zbytek pak jede pres manazera teamu a vejs, pokud je treba ona VPN nebo karticka k pristupu ke kafi4.

4

Server / Re:Výkon NFS nad Cephem

« kdy: 30. 08. 2019, 17:43:20 »

Chapu, klasicky problem s casem

Co se tech sektoru tyce: https://unix.stackexchange.com/questions/497063/partitioning-and-formatting-a-4k-emulated-512e-hdd


Hral jsem si s tim samym HP DL380 uz si nepamatuju serii. Prvni co jsem udelal, ze jsem vykopnul ten HW raid a udeal si vlastni mdadm RAID1+0 pres 8 SSD disku. Coz nebyl uplne dobrej napad. Protoze to melo bejt RAID0+1, dochazelo k rozjizdeni parity.

Dalsi vec co jsem resil, byly prave sektory, byl tam cca ~20% rozdil, podle toho jak sis to "nalajnoval". SSDcka nebyly enterprise grade a vim, ze tam byl nejakej bug ve firmwaru. Pak jsem testoval rozdily v zapisech LVM vs qcow2. U linuxu defakto zadny zasadni rozdil nebo minimalni, ale u Windowsu to bylo znatelny az moc. Ta nejvetsi sranda prisla s "cache, io, discard, drive" modama v qemu, to udelalo nejvic. Pak ty srandy s sysctl hodnotama a samo s virtio sitovou kartou. No a nakonec jak spravne nastavit trim, protoze qcow2 s tim uplne happy nebyl a windows server ve vmku taky ne. Nakonec to litalo jak sileny.

Zkus mmj. do fstabu kde mas ten nfs pridat noatime pokud mozno.

5

Server / Re:Výkon NFS nad Cephem

« kdy: 30. 08. 2019, 16:26:30 »

Prihodim sem tu konfiguraci z toho proxmox fora cos sem pastnul v dotazu.

Kód: [Vybrat]

HW: 2x HP DL380p G8, every node has 2x E5-2690 2.9GHz, 96GB RAM, SmartArray P430, 1x Intel S4610 2TB, 1x Kingston DC500m, 10Gbps optical. PVE is installed on dedicated ssds. Ceph OSDs are as raid0 no P430 - 1x ssd per bluestore OSD. So 4x OSDs total on 2 nodes 2/2 replica.

Now, some ceph fio tests from VM (Debian10 defaults), all VMs on same host: 
1x VM: read 28k, write 10k, readwrite 14k/5k iops <-- thats acceptalbe
1x VM (nfs server) + 1x VM (nfs client): read 11.1k, write 0.8k, readwrite 1.8k/0.6k iops (from client) <-- this looks very bad

For example drbd (VMs as raw files):
1x VM: read 45k, write 21k, readwrite 28/10 <-- thats semiexpected
1x VM (nfs server) + 1x VM (nfs client): read 31k, write 4.8k, readwrite 11.6/3.8k (from client) <-- thats acceptable

No snad sem nenapisu nejakou blbost tedka, ale "zkus to po jednom" s tim fio.

Muj test plan by byl asi nasledujici (abych mel co porovnavat):

Jakej mas r/w kdyz pustis primo na hostu, na ten disk kde mas ty VM image bo jestli to mas pres LVM? Ciste jako kdyz bys to bezel na notesu kdyz si testujes novej disk treba.

Jakej mas r/w kdyz pustis to samy, ale na guestech na root partition? Zkus to na obou.

Jakej mas r/w kdyz pustits fio na guestech, ale do te primountene partition (resp. tam kde mas ten nfs export / data)?

Zkus udelat nejakej 4+gb file a skopci ho pres rsync z "guest server" na "guest client", zkus to samy i pres scp at vidis pripadny rozdil (rsync -e "ssh ...), vynech kompresi pro rsync i pro ssh.

Mountni si to nfsko / ceph a zkus skopcit ten 4gb file jeste jednou. Jestli tam budes mit fakt znatelny rozdily, je jasny, ze to je konfigurace nfs/ceph popr. sysctl net, dirty pages ....


Proc tohle pisu? Kdyz nainstalujes defaultni apache2 a defaultni nginx, tak nginx je v defaultu nasobne rychlejsi. Neboli apache je na houby, no  je protoze v defaultu pouziva worker a ne event. Kdyz to zmenis, je to srovnatelne s nginx.

Dalsi vec, ktera se muze dost podepsat na iopsech je nastaveni v kvm/qemu. Jedine virtio a pak si muzes pohrat s cachovanim/zapisem v qemu, dela to opravdu hodne. Treba ty 4k sektory co tam mas se mi moc nelibi, delalo mi to fakt bordel, ale ve vm byly widle. Dalsi veci muze byt sitovka pro vm (zase virtio).

Jako referenci prikladam:

https://www.slashroot.in/how-do-linux-nfs-performance-tuning-and-optimization
https://www.cyberciti.biz/faq/linux-unix-tuning-nfs-server-client-performance/
https://cromwell-intl.com/open-source/performance-tuning/nfs.html


A jeste jedna vec, co by te mohla potrapit:
https://cromwell-intl.com/open-source/performance-tuning/disks.html

6

Studium a uplatnění / Re:Najlepšie vydavateľstvo

« kdy: 29. 08. 2019, 23:32:11 »

Vzdy jsem byl spokojeny s knihami od https://pragprog.com/

7

Server / Re:Upgrade verze PHP (CGI/FPM)

« kdy: 29. 08. 2019, 22:07:21 »

Jen bych poznamenal, že balíčky z mého repozitáře mají jednak všechny security aktualizace (viz d/changelog) a jednak také podporují OpenSSL 1.1.

Ty bezpečnostní aktualizace (tj. PHP 5.6 i PHP 7.0) budou k dispozici cca po dobu, co to @remirepo a @weltling budou v Microsoftu udržovat.

Ondreji, dekuju ti velmi za tve PHP repositare a cas, ktery do toho davas a urcite nejsem jediny.

Duvod proc jsem zminil ten Canonical Advantage support je jednoduchy. Bezny Brouk Pytlik bude vice nez stastny, dokud tvoje predevsim PHP5.6 repo pojede. Jenze jsou i situace, kdy jista individua a spolecnosti, pod vlivem GDPR a paranoie, kterou prodavaji za "security", povazuji komunitni repositare za neduveryhodne a trvaji na tech z Ubuntu main. V tomto pripade U14.04 s PHP5, ktere je oboji EOL, lze dokoupit rozsirenou oficialni Canonical podporu na system "vcetne" PHP5 popr. zacvakat za Zend server.

Opravdu jsem s takovouto situaci prisel dostikrat do stiku a neverim, ze byla apriori vyjimecna. Logiku za tim nehledam.

8

Server / Re:Kolik logů vlastně potřebujeme

« kdy: 29. 08. 2019, 21:45:34 »

U GDPR také není kdo by co prokazoval. GDPR nefunguje na principu prohřešek-pokuta. Vy vlastně data nemusíte chránit vůbec, ale jakmile dojde k průšvihu (unikne něco), karta se obrací. V tu chvíli bude položen předpoklad odpovědnosti provozovatele, a je to naopak provozovatel, který musí prokázat, že jak vnitřními směrnicemi, tak proškolením personálu, tak technickými opatřeními udělal vše pro to, aby k úniku nedošlo. Pokud to neprokáže, je za únik odpovědný a bude platit odškodnění. Pokud tedy snížíte dobu uchovávání logů na minimum, je to jednoznačně plus do této skládačky.

Rozumim tomu, ze poskytovatele sluzeb / firmy / instituce by mely byt do jiste miry za data zodpovedne a nakladat s nimi opatrne. Jenze v praxi to muze a casto i je pomerne nakladna zalezitost. Nekdy i drasticka zmena firemnich procesu. To prokazovani je vazne na hlavu, protoze v hodne pripadech, to bude v podstate z pozice firmy neprokazatelne (male a stredni podniky). Pripustme, ze vsechny moje interni smernice splnuji 80-90% ze STIG/DISA. Krome toho, ze logy drzim jenom jeden den, protoze proste vic si nemuzu dovolit ukladat. Kvalitativne prokazu, ze jsem udelal maximum pro naplneni GDPR. Ale proste nemam logy soudruzi, jako sorry jako.

Ocekava se, ze teda nejakej /mnt/hr/report/soubor.xlsx by mel byt proste logovanej kazda aktivita nad souborem. Protoze teoreticky ho mohl nekdo skopirovat pred rokem, dalsi rok potrva nez si toho nekdo nekde vsimne a pak prijde GDPR a rekne co? Chci 3 roky stary logy kdo pristupoval k tomuhle souboru, bo jinak neverim, ze to je bezpecny? Co kdyz se stane, ze zamestnanec si nahral ten soubor na svym android, zazalohoval si to omylem ke googlu i s telefonem a kontaktama a uteklo to ve finale pres jeho ucet? Rozdil v tom jestli drzim logy den nebo 6 mesicu by asi nebyl. Drzet to jak ucetnictvi? 5-7 let bo kolik?

Si rikam, ze to skonci ze budu pri kazdym copy/paste davat otisk prstu, otp, oliznu monitor, usmeju se na kameru a to samy bude muset zopakovat i prijemce emailu, kdyz si ho bude chtit precist

Soudruh politik to IT vidi a chape asi jako prumerny american mapu sveta. =/

9

Server / Re:Upgrade verze PHP (CGI/FPM)

« kdy: 29. 08. 2019, 20:06:55 »

Dalsi moznosti je Ubuntu 14.04 LTS s Canonical advantage support (nestoji to tak moc ~1500/czk rok). Teoreticky Centos7 s PHP5.3 (lol).

Docker, nebo LXD je asi elegantnejsi reseni, pak uz jedine kompilovat a popr. vlastni balicky.

Klient by mel byt obeznamen, ze do dvou let vyprsi ten advantage support a automaticky tim vystavuje klientska data riziku, cili ma 2 roky na to, aby vysperkoval svou aplikaci do podporovane verze systemu i jazyka

10

Server / Re:Kolik logů vlastně potřebujeme

« kdy: 29. 08. 2019, 19:51:27 »

Podle me zalezi na rovine pohledu, velikosti a dulezitosti sluzby/systemu, citlivosti dat. Vpodstate by ti asi nekdo mohl udelat risk management report a myslim, ze to je legitimni otazka pro management jak se k tomu chce postavit.


Muj pohled na vec:

Audit / System logy? (ssh, firewall, pkg) - urcite co nejdyl pokud muzes, zalezi na OS, ale auditd, logstash, osquery nebo neco podobnyho ma smysl.

Service / Daemon? (apache2.log, mysql.log, samba...) - tohle beru jako default logy servisu, nikoliv treba virtualhost logy z apache. To zalezi na tobe, uprime mesic by mel stacit. Zalezi co mas ve "smlouve" se zakosem. Treba v pripade apache2, vychozi logy nejsou vzdy to co chces). Central logovaci server asi ma smysl, mozna to  muzes cpat jako inkrementalni backup spolu se systemem.

Aplikace / Runtime? (apache2/custom/site1.log php/custom/site1.log ....) - tady bych sel asi cestou Sentry.io nebo Raygun nebo tak neco. Aplikacni logy vetsinou obsahujou ty citlivy udaje a je to taky vetsinou co debugujes at uz ruby/python/php/go/java .... whatever.


Jako mit central logovaci server a uchovavat na aplikacnich/db serverech logy treba jenom hodinu, ma smysl. Centralni logovani vsak zatezuje network a to ne vzdycky chces. Vetsinou to chces sifrovane, takze zatez nad CPU no a nejaka ta ramka a iops v peaku navic nepotesi.


Otazka:

Hypoteticky, kdyz budu uchovavat logy den, co na to GDPR? Co kdyz bych delal updaty treba tydne, ale proste bych si nevsiml, ze tam nekde bezi neco navic (cili splnil bych nejakej ten best effort na updaty). Kdyz nebude log, jak to kdo prokaze (resp. nebude se dat dopatrat). Co pak s tim?Je to jak s ISP/Operatorama? Uchovavat vsechno aspon 6 mesicu? A co na to firemni router/firewall?

11

Server / Re:Výkon NFS nad Cephem

« kdy: 29. 08. 2019, 19:09:42 »

Nejsem si uplne jistej, ale do jiste miry mi prijde ze srovnavate jablka s hruskama, nebo alespon co se toho testovani tyce.

Muzete jsem hodit nejakej "base setup"?

2core, 2gb ram, Cento 7 na KVM, virtio net+drive?
nfs v3 default mount options
swappiness, dirty pages, ethtool -i eth0
ssd/hdd? jaky?

fio proc ne, ale uprime porovnavam radsi i klasicky kopirovani 1,10 a 100GB souboru

Je to hodne o nastaveni systemu a vime vsichni, ze default neni rozhodne optimalni a porovnavat dve default konfigurace asi neni uplne koser. a jak se tu pise, je to na LVM? je na tom luks bo ne? jak jsou nastaveny cache na jednotlivejch layerech? Kdyz byste mel treba sw raid 10 na baremetalu pres 8 ssd, tak default a tweaked rozdil v r/w je klidne i 3x tolik. Otazka pak je prave networking.

Pro referenci prikladam:
https://medium.com/walmartlabs/building-object-store-storing-images-in-cassandra-walmart-scale-a6b9c02af593

PS: ceph je object storage ne file storage, drbd je low level block replika (nevi s cim pracuje), dokazu si predstavit ze NFS nad DRBD je rychlejsi, bo to cte jen z jednoho zarizeni, nikoliv z repliky/clusteru (coz je asi ten rozdil v testech).

Rad se priucim.

12

Server / Re:Zabbix - záložní server

« kdy: 29. 08. 2019, 18:56:17 »

Do jisty miry je to proste PHP aplikace ala wordpress. Takze skalovatelnost / HA podle toho. Neboli za LB budes mit dve nody popr. tri kdyz chces i "svedka/witness", pak jedes HA stack jak je v linku od Miroslava Silhaveho Coro+pacemaker, teoreticky muzes prikopnout DRBD, jestli chces hot-standby a mit na DRBD i DB servisu (mysql/postgres). Popr. zalezi fakt co mas za setup cloud/beremetal nekde, kancl, serverovna.....

Databazi muzes dat na Galera Cluster bo a to teda jako tezce experimentalne CockroachDB. Popr klasickej master-slave setup.

Zabbix verze 4.2 ma podporu Elasticsearch, cili muzes jako backend pouzit shardovanej Elasticsearch.


Teoreticky bys mohl asi predhodit LB, za nej dat dve Zabbix proxy a za to dat az zabbix server(y). Kdyz by ti chcip server, ty proxyny be mely udrzet stavy z masin po rozume dlouhou dobu (zalezi jak to mas nakonfeny, hodina? den? minuta?).  Kdyz budes mit na klientech nastaveny, at ti drzej aspon 10 minut dat, klasicky HA z ofiko docs asi bude uplne cajk.

Uprime, jestli tak bych sel tou supported cestou a asi to narval do Elasticu.

Jestli chces jit cestou copy/paste tak se mrkni na etckeeper nebo to DRBD no.

Jaky si to udelas

13

Server / Re:Který NFS cluster pro replikaci na více strojů?

« kdy: 18. 08. 2019, 19:36:09 »

Hm, tak nějaká filecache by to vyřešila. Zkusím něco najít na úroveň mezi php a filesystém.

Hmm neco mezi PHP a Filesystemem? Doporucoval prestat psat v sablonovacim systemu a zvolil neco normalnejsiho. DRBD ti musi stacit, NFS ti na tom pobezi a nezapomen, ze jaky si to nastavis takovy to mas. Jestli cpes nejakou file cache na NFS uloziste tak ses jednoznacne PHP programator, nezapomen si napsat vlastni CDN a nejlepe zacni prepisovat L2-L4 do PHP skriptu, abys vyresil ten problem cos nadesignoval.

Sorry, not sorry.
Funny, Not funny.

14

/dev/null / Re:Bývalý zaměstnavatel mi dělá ze života peklo

« kdy: 12. 08. 2019, 19:50:39 »

Podle mne lez ma kratke nohy, nicmene chapu, ze tohle muze byt vysoce deprimujici.

Na tvem miste, kdyz budes priste davat reference, proste dopredu rekni, ze kladne reference od te firmy necekas, rekni proc a poskytni reference na dalsi dve predchozi zamestnani. Popr. na nejakeho kolegu o kterem vis, ze te nepomluvi do nesmyslu.

V mem pripade uprimnost vzdycky fungovala, ne vzdycky to bylo jednoduche, ale nakonec z tebe ty "ho*na" stecou, kdyz mas ciste svedomi.

Pokud je uz nekde verejne o tobe neco napsano, to muze sahnout nekam po tech pravnikach jak tu jini doporucuji. Jestli ses na pracaku, tak to nahlas na pracaku, uvidis co se bude dit za coromoro =)

15

Server / Re:Ansible - group_vars a host_vars - mam jine parametry, nez ocekavam

« kdy: 12. 08. 2019, 19:37:41 »

Ahoj Czechsys,

poslal jsem ti zpravu zpatky.

pro ostatni

-l project1 je ten problem

       -l 'SUBSET', --limit 'SUBSET'
          further limit selected hosts to an additional pattern

neboli v hosts:

[project1]
prod-anicka
dev-marenka

--limit prod-*

ale rozhodne ne

--limit project1 jelikoz ten mate definovanej v playbooku project1.yml

hosts: project1
...
..

Ze mi to nedoslo driv ^_^