Příspěvky

91

Server / Re:Automatizované bezpečné předávání dat mezi linuxovými servery

« kdy: 20. 12. 2017, 00:25:48 »

ssh multiplexing řeší režii navazovaného spojení.

Každopádně nevím proč tazatel vymýšlí kolo, zabbix, icinga, netdata, nagios a spousty dalších řešení již tohle dělají, podporují šifrovaná přes ssh, push/pull režimy, stačí si vybrat podle potřeb.

92

Studium a uplatnění / Re:Kde sehnat levné programátory?

« kdy: 18. 12. 2017, 22:41:01 »

Zamyslel bych se, jestli je vzorek pražských IT firem, které hledají experty na úřadu práce, reprezentativní.

zpravidla to dělají jen korporáty, jednak to je snad zákonem povinné, hlásit volná místa a jednak se v těhle předpisem a byrokracii vyžívají, krom toho se na hlášení míst na pracák pro HR dělají dobře kpi. Ještě k tomu hlásí na úřad naprosto všechny pozice bez rozdílů od uklízečky po ředitele, really.

93

Software / Re:Jak promazat cookie domény v anonymním režimu

« kdy: 18. 12. 2017, 00:29:07 »

nechce se mi to hledat, ale chromium si ty cookies ukládá do binárního souboru někde na disku, ten soubor lze otevřít a upravit přes sqlite, tam to najdeš. Anonymní režim sdílí společný soubot s cookies. Přes správce zařízení jsou myslím dohledatelné všechny otevřené soubory (holt lsof to není).

Takhle to aspoň bylo cca 2 roky zpátky, chromium/chrome/windows již nepoužívám, nejsem schopný to říct přesněji.

94

Studium a uplatnění / Re:Dostali jste od sveho zamestnavatele neco k Vanocum?

« kdy: 17. 12. 2017, 23:25:56 »

mně to už připadá takový rozmazlování. U malé společnosti je milé, když majitel příjde s nějakou malou pozorností, u velké společnosti to je klišé.

Pokud jsi ve firmě kvůli dostávání vánočních dárků, tak opravdu za téhle situace tam nemá smysl zůstávat, pokud tam jsi i z jiných důvodů, je dost malicherné kvůli nelíbícímu se vánočnímu dárku odcházet (někomu třeba takovýhle dárek vyhovuje).

95

Distribuce / Re:Co si myslet o autorech OpenELEC?

« kdy: 17. 12. 2017, 20:59:41 »

openelec zakládá bezpečnost právě na readonly FS. Pokud se ti už někdo dostane do administrace a změní nastavení, je v podstatě jedno, jestli tím nastavením je zapnutí ssh nebo přidání dalšího uživatele či jiná činnost.

Jak píše gnat, upravit si ty FS vrstvy můžeš sám, není to tak velká věda, dokonce jde přidat i vlastní, která řadu věcí přepíše.

96

Odkladiště / Re:Je hashovaný údaj osobný údaj?

« kdy: 17. 12. 2017, 00:33:49 »

k duplicitám rodných čísel, potkal jsem v databázích již několik (jednotky) duplicitních rodných čísel, vše starší ročníky ještě z dob komančů. Dokonce existují čísla, která vůbec nesplňují pravidla, prostě je někdo asi omylem zapsal a zůstalo to tak, kdo ví, těm lidem to ale nezávidím, kdekoho napadne si validovat RČ a dále ho nepouštět.

Úřady dříve k jednoznačné identifikaci vždy přidávaly místo narození, jak je to dnes, netuším. V žádné databázi, kterou jsem potkal nemá RČ constraint na unique nebo nedej bože, aby to byl primární sloupec.

97

Server / Re:Jak uložit text plný uvozovek a apostrofů se zachováním formátování do souboru?

« kdy: 16. 12. 2017, 22:59:26 »

chceš radu zadarmo, tvůj popis problém je hodně obecný, na poskytnutý odkaz na dokumentační stránku (kde jsou mimochodem skoro samé vysvětlující příklady na různá použití) reaguješ dost neslušně, místo abys řekl čemu přesně nerozumíš. Co čekáš? Je dobrá vůle ostatních, že ti poradí, na odpověď žádný nárok nemáš, není nikoho povinnosti ti odpovídat.

Kód: [Vybrat]

textPlnyUvozovek=$(cat <<'EOF'
text s "uvozovkami", dolary nebo divnými znaky $.
EOF
)

Nebo to rovnou můžeš uložit do souboru

Kód: [Vybrat]

cat <<'EOF' > nazevSouboru.txt
text s "uvozovkami", dolary nebo divnými znaky $.
další text s "uvozovkami", dolary nebo divnými znaky $.
EOF

98

Odkladiště / Re:Je hashovaný údaj osobný údaj?

« kdy: 16. 12. 2017, 21:12:32 »

ano, hash čísla občanky je shodný pro zákon jako kdybyste měli uloženo samotné číslo.

Velice důležité v tomhle případě je, jestli text, který hashujete je možné získat dopředu. Mohu si nagenerovat všechna možná čísla občanek, udělat hashe a poté vlastně mám čísla vašich občanek a vy máte problém, došlo k jednoznačné identifikaci z vašich údajů a o tom to celé je.

Stejný problém nastává pokud takhle hashujete, jména, adresy, emaily atd. atd. Pokud vám jde o bezpečnost (chválím to) a nechce ukládat samotná čísla, přidejte k textů před hashováním unikátní seed pro každý takový záznam, stejně tak přidejte tajný dlouhý text, který máte někde bezpečně zašifrovaný. Pokud někdo nezvoře implementaci, je to dostatečné, abyste mohli být v klidu.

Pořád ale platí, že tím nevyhnete legislativě a bude na vás pohlíženo jako na zpracovatele osobních údajů, budete muset podstoupit všechny potřebné kroky, s GDPR těch kroků bude hodně.

Mluvím ze zkušeností z finančních a bankovního sektoru, kde podobné triky jsme se mnohokrát snažili použít, nelíbí se to soudům, úřadům, interním právníkům. Neprochází ani varianta s poměrně složitou strukturou takových údajů, kde je pro útočníka složité to dopředu složit (jméno, adresa, datum, číslo občanky atd.).

V německé pobočce jedné pojišťovny se používá zajímavé řešení. Na pobočce si skontrolují a ověří doklady (občanku, čísla atd.), podepíší smlouvu, kterou nechají podepsat před notářem (asi naše obdoba ověřeného podpisu na poště) a poté pojištěnci vydají ID kartičku s jeho unikátním číslem, zvolí si pin, sváží s telefonním číslem a to je vše. Ve svém systému nemají žádné osobní informace evidované o daném klientovi a až v případě pojistné události takové informace zjišťují a ověřují. Moc podrobnosti neznám, mám tohle jen z doslechu a berte to jako tip, kde by mohl být prostor se vyhnout ukládání údajů.

99

Studium a uplatnění / Re:Za jak dlouho byste čekali od juniora že se naučí codebase o 60k řádcích?

« kdy: 15. 12. 2017, 12:09:29 »

já bych jako kritérium volil, jestli codebase je rozdělená na moduly, má jasnou strukturu nebo naopak to je jeden monolit. Pokud se bude moci postupně do toho dostávat a studovat modul po modulu, případně API FW, čas bude mnohem kratší, těžko předpokládat, že rovnou bude spravovat všechny moduly najednou.

Pokud to je ale monolit a potřebuji pro drobnou údržbu vědět vesměs o všem, klidně čas počítej na roky.

Stejně tak záleží jestli daný junior už umí ten programovací jazyk (či jazyky) nebo se je při tom bude muset učet.

Dělal jsem PR do Firefoxu, ač má stovky tisíc řádků, úprava mi trvala pár hodin. Potřeboval jsem upravit C aplikaci (cca 2 tisíce řádků), pracoval jsem na to několik týdnů. Z údajů, které jsi poskytl není možné ti dát jasnou odpověď.

100

Sítě / Re:Mate nekdo zkusenosti qsfp28 ethernetem?

« kdy: 10. 12. 2017, 20:55:13 »

jasně, ethernet je univerzální, od toho to tam je, jinak by to nebylo konkurence schopné.

IPoIB má režii asi 25 %, záleží na typu komunikace a jde o to, že do IB dataframů musí zabalit ethernet dataframy a pak ti stejně ve využití celého pásma brání čekání na ACK, UDP je v tomhle případě vhodnější. Pokud to myslíš takhle, tak opravdu do 56G IB se vyjde tak akorát 40G ETH.

Málokdy ale máme jednu kartu, vždy kvůli HA dáváme dvě dvou portové karty a pak je otázka pár korunek i ty porty zapojit, takže kvůli potřebě mít nominálních 40 Gb/s na server najednou máme 4 x 56 Gb/s. Umožní to poté dělat údržbu za provoz a mít rezervu na výpadky.

101

Sítě / Re:Mate nekdo zkusenosti qsfp28 ethernetem?

« kdy: 10. 12. 2017, 16:28:45 »

ethernet je drahý, nikdy mě ani nenapadlo zkoušet kolik to dá, pokud už infiniband pohání ethernet tak jen kvůli správně a přehledu o síti, ne kvůli výkonu. Přes  IPoIB by to mělo jít vytížit naplno, musí se ale zvýšit mtu, trochu poladit tcp stack na OS a nic tomu nebrání.

102

Sítě / Re:Mate nekdo zkusenosti qsfp28 ethernetem?

« kdy: 10. 12. 2017, 00:08:59 »

koukám, že na to jdeš systematicky a už máš řadu věcí zmáknutých .

Nerozumím tolik AI, to programují jiní, já se starám o to, aby jim to běželo.

S odkazy je problém, většina těhle technologií má znalostní bázi pod placeným supportem a to poskytnout nemohu, stejně tak nemohu poskytnout materiály z workshopů. Dělám povětšinou na systémech, kde cena není problém a je otázka jaký máš rozpočet. Pracuji i s věcmi jako X6 Exadata, teď dokonce máme x7 na jednom projektu s hadoopem.

Jaké objemy dat v jakém čase potřebuješ načíst? Ty nvme disky jsou dost drahé a pokud máš jen několik TB dat je jednodušší do nacpat do RAM, přes apache Ingite do nastrčit k hdfs a mít z toho čtecí cache. Není ani problém to utlouct 2.5 disky, sice jich potřebuješ cca 20 na jeden nvme, ale ty se dají sehnat velice levně nebo se často někde jich pár stovek válí. I s plotnovými disky se na 14 nodovém clusteru dostáváme na 20 - 30 GB/s na čtenní/zápis s pořizovací cenou mezi 2 - 3M, jako bonus to má o řád až dva vyšší kapacitu než nvme.

Často při podobných věcech bývá velký problém lokalita dat, je vhodnější nastavit replica factor v hdfs i na 6, aby se využily všechny zdroje. Sleduj vytížení jednotlivých disků, tras a hledej, jestli nějaký není přetěžovaný. Pohraj si s schedulingem procesů v linuxu, ten výchozí je v tomhle případě naprosto na nic, určitě znáš numa či jiné možnosti.

Může vyjít levněji nakoupit do serveru více 2-port IB karet, mellanox teď dává 56 qsfp+ v každém portu. Pokud máš problém s cenou switche (6036 výjde na cca 400t a při plném vytížení dává pouze 3Tb/s), je možné servery propojovat mezi sebou, IB zvládá velice dobře mesh síť a umí si to routovat přes sebe, když si vyhraješ s topologií, jsi schopný dosáhnout velice svižných linek.

Opravdu se vyhni ethernetu a IP protokolu, to je zbytečně problematické. Nedávno jsme stavěli na účení 8x 1080 v 4.5U serveru, spoje byly přes 2x Mellanox ConnectX-3 Pro VPI (4x 56GB/s), bohužel nová Tesla ještě nebyla. Mrkni na https://developer.nvidia.com/gpudirect, pokud to poskládáš, nemá smysl to tahat přes TCP/IP. Takhle vypadá drtivá většina učících farem.

Mesos je dobrá věc, na tohle jsem ho ještě ale nepoužil. Teď hodně pokukujeme po Cloudera data science workbench, vypadá to jako ta správná cesta.

PS: ty switche za tyhle ceny chci domů!

103

Studium a uplatnění / Re:Ten samý problém v nové práci

« kdy: 09. 12. 2017, 23:08:06 »

vyhni se korporátům, tohle je jejich styl a způsob práce, buď vyhovuje nebo ne. Jdi do menší agilnější společnosti.

104

Sítě / Re:Mate nekdo zkusenosti qsfp28 ethernetem?

« kdy: 06. 12. 2017, 19:43:03 »

díky za popis. Spíše bych doporučil sehnat nějakého architekta nebo člověka, který to už dělal, vypadá to, že v tom ještě hodně plaveš (bez urážky).

HDFS umí rdma a bude ti za to vděčný, výkon vzedneš výrazně, bez toho nejsou jednoduše schopný saturovat ani tu 10G. Na grafiku máš něco extra nebo jedete na Tensoru? Tam je opět podpora pro rdma. Vedle stačí natáhnout slabý ethernet na ostatní služby, takhle to všude provozujeme my.

Na tyhle věci se nám lépe osvědčil EMC Ipsilon, má zero copy čtení z disku, takže nvme disky vytěží naplno, infiband podporuje i po hdfs protokolu. Ty disky nemá smysl dávat do Raid kvůli rychlosti, nech je samostatně, ideálně rozděl na více partitions a využíj max. paralelismus jinak se budou nudit.

Při pozdějším upgradu na 100G budeš muset očividně udělat více úprav a v tomhle případě bych nemyslel na dopřednou kompatibilitu.

Už máte nějaké PoC? Máte už ověřenou topologii nebo to zatím stavíte na papíře?

Můžeme si pohovořit někdy více, podobné řešení jsem už viděl.

105

Software / Re:Jak řešíte integritu záloh?

« kdy: 06. 12. 2017, 19:28:59 »

záleží zálohy čeho a na čem.

Pokud ti stačí integrita už vytvořených záloh, udělat si hash a ten dát třeba přímo do názvu souboru je ten nejjednodušší způsob. Pokročilejší způsob je použít nějaký distribuovaný storage, který má i možnost autooprav, Riak, Hadoop, S3 atd.

Pokud potřebuješ řešit integritu už při vytváření zálohy, to je jiná káva, tam je potřeba aby buď už samotný zálohovaný soubor (obraz, blok) měl kontrolu integrity, pak ho jen odkopíruješ pryč (zfs snapshot či nějaký layer fs např. u dockeru).

Na konci možností je pak nutnost upravit aplikaci, aby nějaké integritní kontroly dělala a pak její výstup můžeš zálohovat.

Kontrola samotné integrity u záloh ale je jen začátek, musíš také řešit konzistenci (tj. že se ti během zálohování data nezmění) a úplnost (tj. že nevynecháš ze záloh nějaká data). K tomu ještě nastává problém, kdy záloha databáze a třeba záloha nahraných souborů spolu časově neodpovídají a jsou z jiného období (stačí i pár minut a už to bez ztráty neobnovíš).