106
Nabízím zakázku / Re:Hledam Java programatora - Juniora
« kdy: 24. 01. 2018, 14:38:16 »
Jeste dodam, ze pokud by byla preference klasickeho zamestnaneckeho pomeru misto OSVC spoluprace, tak take neni problem.
Zobrazit příspěvky
Tato sekce Vám umožňuje zobrazit všechny příspěvky tohoto uživatele. Prosím uvědomte si, že můžete vidět příspěvky pouze z oblastí Vám přístupných.
107
Nabízím zakázku / Re:Hledam Java programatora - Juniora
« kdy: 24. 01. 2018, 14:27:46 »
Takze pridavam par dodatecnych informaci.
Urcite nemam zajem o part-time, ale full time. Podle schopnosti muzeme jit i na hranici 50 tisic za mesic. Ja jsem zde pouzil mainstreamove oznaceni Junior, ale za svuj zivot jsem poznal rekneme ze uz asi desitky tzv Senioru, kteri me nijak neoslnili (jemne receno). To same plati resp. i pro oznaceni Junior.
Pokud clovek nebude mit takove znalosti na zacatku, ktere ocekavam, tj. nenabidnu mu zde zmineny aktualni strop, ale pujde to jak po masle, tak se nebranim navyseni platu v horizontu par mesicu. To uz zalezi na me a na jednotlivci. Vice zde nehodlam spekulovat.
Urcite nemam zajem o part-time, ale full time. Podle schopnosti muzeme jit i na hranici 50 tisic za mesic. Ja jsem zde pouzil mainstreamove oznaceni Junior, ale za svuj zivot jsem poznal rekneme ze uz asi desitky tzv Senioru, kteri me nijak neoslnili (jemne receno). To same plati resp. i pro oznaceni Junior.
Pokud clovek nebude mit takove znalosti na zacatku, ktere ocekavam, tj. nenabidnu mu zde zmineny aktualni strop, ale pujde to jak po masle, tak se nebranim navyseni platu v horizontu par mesicu. To uz zalezi na me a na jednotlivci. Vice zde nehodlam spekulovat.
108
Nabízím zakázku / Re:Hledam Java programatora - Juniora
« kdy: 24. 01. 2018, 14:12:45 »
diky za feedback, tak trochu upravim zadani.
109
Nabízím zakázku / Hledam Java programatora - Juniora
« kdy: 24. 01. 2018, 13:42:56 »
Uz jsem to zkousel na devel.cz a zkusim to i zde, jelikoz root.cz je asi muj nejctenejsi cesky web, a za zkousku nic nedam.
Hledam sikovneho zacatecnika, nebo mirne pokrocileho cloveka, pro programovani v Jave.
Jednalo by se o smlouvu na OSVC na 6 mesicu, vyhledove mozna na rok a vice. Prace z domu. Vybaveni ve forme mobilniho serveru a laptopu bych zajistil, pokud bude potreba. Jinak je infrastruktura v datovem centru. Premyslim o budgetu 25-35 tisic mesicne, nevim jestli je to realne, takze budu rad i za komentare typu: ses blazen, za tohle ti nikdo makat nebude :-)
Clovek by mel mit solidni zaklad v OOP a funkcionalnim programovani v Jave/Scale, dale pak znalosti nebo zajem se naucit:
Prosim piste na archenroot at gmail nebo pm zde. Tohle lze brat tez jako vycvik a dotycnemu se budu snazit nahrnout do hlavy vsechny znalosti a triky, ktere sam umim.
Trochu o me:
https://www.linkedin.com/in/ladislavjech/
https://github.com/archenroot
https://twitter.com/archenroot
Diky.
ArchenROOT
Hledam sikovneho zacatecnika, nebo mirne pokrocileho cloveka, pro programovani v Jave.
Jednalo by se o smlouvu na OSVC na 6 mesicu, vyhledove mozna na rok a vice. Prace z domu. Vybaveni ve forme mobilniho serveru a laptopu bych zajistil, pokud bude potreba. Jinak je infrastruktura v datovem centru. Premyslim o budgetu 25-35 tisic mesicne, nevim jestli je to realne, takze budu rad i za komentare typu: ses blazen, za tohle ti nikdo makat nebude :-)
Clovek by mel mit solidni zaklad v OOP a funkcionalnim programovani v Jave/Scale, dale pak znalosti nebo zajem se naucit:
- Reactivni streamy (JavaRX)
- Sitove programovani (HTTP, Socket, Websocket)
- High performance processing (tady se budou resit mikrosekundy a messaging rychlejsi nez Kafka)
- Asynchronni event driven architekury (microservices)
- Gentoo Linux - chtelo by to alespon zaklady linuxu
- Postgres databaze, resp. timescaledb a jeji hypertables a pipelinedb pro agregovane streamovani, SQL, pripadne objektovy framework typu JOOQ pro abstrakci
- Funkcionalni programovani v Jave
- UI bych uvital, ale neni mandatory, v core fazi se bude vyvijet command line interface pres ncurses
- Urcite je potreba trochu matematickeho pozadi
- Uvital bych i nejaky vhled do AI systemu, ale opet zde budu rad i za zajem
- U dotycneho pujde hodne o samostatnost a kriticky pohled na vec
Prosim piste na archenroot at gmail nebo pm zde. Tohle lze brat tez jako vycvik a dotycnemu se budu snazit nahrnout do hlavy vsechny znalosti a triky, ktere sam umim.
Trochu o me:
https://www.linkedin.com/in/ladislavjech/
https://github.com/archenroot
https://twitter.com/archenroot
Diky.
ArchenROOT
110
Vývoj / Re:Python - zbožňovaný lidmi?
« kdy: 10. 12. 2017, 21:43:36 »Hlavně je dynamicky typovaný, tak na seriózní použití k ničemu. Ale na hraní a webíky je to fajn. Jinak mi přijde čitelný, ale to mu moc nepomůže.
To je nesmysl protoze asi nemas moc poneti co se deje, naopak python v kombinaci s high peformance libs v c/c++ je zakladem mnoha AI frameworku, viz napr. flagship Googlu TensorFlow.
Dalsi nesmysl je dynamicky typovany...to je samozrejme option 1, option 2 je staticky typovany.
111
Studium a uplatnění / Re:Jak se branit vyhoreni v korporatu
« kdy: 10. 12. 2017, 01:17:12 »
vyhoreni v korporatu se ale prece nelze nijak branit, je to destroy machine :-)))) ja tady fakt miluju tyhle otazky
112
Sítě / Re:Mate nekdo zkusenosti qsfp28 ethernetem?
« kdy: 10. 12. 2017, 01:12:48 »
PS: ty switche za tyhle ceny chci domů!
Super, diky za detailni info, doctu zitra a zareaguju.
Jedna se o switche, byly vyrobeny pro myslim ze amazon, ale dodavka se pak nejak neuskutecnila, nebo ne v takovym mnozstvi, ale switche uz byly na svete a chtely se prodat.
Musim rict, ze normalne od ty doby zdrazily... :-) naslo si to svoji cestu na trh, je o kolo toho velka komunita lidi, takze no problem s konfiguraci:
https://www.ebay.co.uk/itm/Refurbished-Quanta-LB8-48-Port-10GB-SFP-Switch-with-DUAL-Power-T3048-LB8/272882352709?epid=672641629&hash=item3f890e4245:g:zeEAAOSwVGhZieIu
113
Sítě / Re:Mate nekdo zkusenosti qsfp28 ethernetem?
« kdy: 10. 12. 2017, 01:08:38 »switch node (6x dual port sfp+ internal LAN, qsfp+ nebo qsfp28 outbound) - high frequency overclocked cpuTohle mi přijde zvláštní - nevyšel by levněji switch?
no, jde o to, ze ty linky jsou poskladany do multipath tcp, tj. da to dohromady neco pod 50gbitu
114
Studium a uplatnění / Re:Ten samý problém v nové práci
« kdy: 09. 12. 2017, 23:42:12 »
cely tohle projektovy rizeni a tasky a sracky jsou pro dementy, ja tim nemyslim, ze je to cely spatne, ale je jednoduchy to prehnat(a dost casto se to prehani) a pak uz z toho je vic skody nez uzitku. A proste firmy sou plny mistru sveta, ktery si myslej, ze vedi, co je dobry pro firmu i pro tebe.... ale to je cely picovina. a vylozene to je pak prace pro nejaky automaty, ne pro lidi, kdyz uz rozbijes vec do nejmensi mozny granularity (do nejakyho kvarku), tak uz to neni pro tebe prace, ale downgrade mozku. di do hajzlu, nebo budes na stary kolena uplnej dement.
Nejlepsi metodika na jakou jsem narazil je exterme development, nic efektivnejsiho neni, nez projektak dokeca ty svoje sracky, tak uz je pulka aplikace napsana. uz vidim, jak mi nekdo vysvetluje, ze to takhle nejde, nejde, protoze to vetsinou ty lidi nijak lip neumej, oni si to neumej predstavit, to je ten nejvetsi problem. jakmile nemas intuici a obrazotvornost, tak ses hotovej a kdyz pak s takovejma lidma budes delat, tak oni z tebe udelaj sebe :-) chapes, jednoduchy.
Nejlepsi metodika na jakou jsem narazil je exterme development, nic efektivnejsiho neni, nez projektak dokeca ty svoje sracky, tak uz je pulka aplikace napsana. uz vidim, jak mi nekdo vysvetluje, ze to takhle nejde, nejde, protoze to vetsinou ty lidi nijak lip neumej, oni si to neumej predstavit, to je ten nejvetsi problem. jakmile nemas intuici a obrazotvornost, tak ses hotovej a kdyz pak s takovejma lidma budes delat, tak oni z tebe udelaj sebe :-) chapes, jednoduchy.
115
Studium a uplatnění / Re:Ten samý problém v nové práci
« kdy: 09. 12. 2017, 23:33:52 »
je to normalni demence no, za to muzou security a integracni architekti, neumej se v tedlech molochach domluvit, to je jejich, ja bych je za to vyhodil, protoze to neumej udelat tak, aby vyvojari meli vzdy systemy po ruce s primym pristupem bez jakekoli potreby vlizt na nejakej desktop, kde zas nemas tooly....
pokud se ti podari prosadit zmeny, tak se do toho pust, jestli ti v tyhle iniciative bude hned nekdo hazet klacky pod nohy, tak bych odesel. Ja vim, ze takovy druh prace poskozuje mozek. Nekdy mi to prijde, jako ze tahle realita je cela o tom, aby otestovala, co prijimame a co dokazeme odmitnout :-) a tahle sracka hochu, te zdementi.
jako mocky potrebujes pro testy tak ci tak, tomu se lze vyhnout jen v malych tymech, kde funguje sync na vybornou. ale to musite napr. vsichni ne jen spolu sedet v praci na zadeki, ale i chodit chlastat apod. (nebo dobre no, sportovat a do spolecnosti)
pokud se ti podari prosadit zmeny, tak se do toho pust, jestli ti v tyhle iniciative bude hned nekdo hazet klacky pod nohy, tak bych odesel. Ja vim, ze takovy druh prace poskozuje mozek. Nekdy mi to prijde, jako ze tahle realita je cela o tom, aby otestovala, co prijimame a co dokazeme odmitnout :-) a tahle sracka hochu, te zdementi.
jako mocky potrebujes pro testy tak ci tak, tomu se lze vyhnout jen v malych tymech, kde funguje sync na vybornou. ale to musite napr. vsichni ne jen spolu sedet v praci na zadeki, ale i chodit chlastat apod. (nebo dobre no, sportovat a do spolecnosti)
116
Studium a uplatnění / Re:Jak se branit vyhoreni v korporatu
« kdy: 09. 12. 2017, 12:39:11 »
Run Forest, run....run fast, run faster than light
nenech se zastrasovat, to vyrid kolegovi, kteremu vyhrozovali, ze se to dozvi jeho budouci majitel. Nic jako kapitalismus nebo neomarxismus, nihilismus, fasismus, rasismus a podobny sracky neexistuje. Jediny co vzdycky existovalo je manipulacni nadvlada cloveka nad druhym clovekem a jejimy nastroji je strach. To je prava historie cloveka, nic vic, nic min. Vampirismus, vysavani energie z ostatnich a jeji pouzivani pro vlastni prospech. Nicmene nemej obavu, ze ackoli se muze tvuj boss audi jevit jako master vampire, tak on vubec neni, on je jen kolecko v mechanismu.
Priznam se, ze jsem jednou takhle makal ne jako Vy, ale 18 hodin v kuse po dobu zhruba 14 dni, masakr motorovou pilou, finale probihalo tak, ze uz vsichni ostatni odpadli, a 3 dny mi za zady i nekolik hodin dene postavalo asi 7 lidi a pozorovali, co delam :-) pak se me ptalo dost lidi, jak jsem to moh vubec vydrzet a jeste u toho premejslet, rek sem jim, ze lidi, co stojej a cumej, tak vetsinou nic neumej, nejsou k uzitku a nejsou ani nijak nebezpecny, takze jsem je nevnimal, a jestli by tam bylo 7 stromu, tak to vyslo nastejno... napul vtip.... Ale bral jsem za to ne pizzu, ale pekne natvrdo 2-3x nasobnej plat sefa ceskejch drah. A pak sem dal vypoved, protoze mi obratem nabidli prodlouzeni kontraktu na dva roky na novej projekt, jenze v uplne stejnym zasranym gardu, oni uz ty manazeri tam byly tak vypsychovany, aby si uderzeli misto, ze se bali i delat zmeny a proste hodit na stul: tohle bylo blbe a uz to nesmime udelat, ne naopak ;-) tu pizzu bych tvymu sefovi uplne mrsknul do ksichtu a asi bych ho za tu urazku na me jeste kopnul mezi nohy (bez svedku samozrejme) a par ran by to taky spravilo... (dobre priznavam, mam sklony k agresivite, ale jen nekdy) :-)
nenech se zastrasovat, to vyrid kolegovi, kteremu vyhrozovali, ze se to dozvi jeho budouci majitel. Nic jako kapitalismus nebo neomarxismus, nihilismus, fasismus, rasismus a podobny sracky neexistuje. Jediny co vzdycky existovalo je manipulacni nadvlada cloveka nad druhym clovekem a jejimy nastroji je strach. To je prava historie cloveka, nic vic, nic min. Vampirismus, vysavani energie z ostatnich a jeji pouzivani pro vlastni prospech. Nicmene nemej obavu, ze ackoli se muze tvuj boss audi jevit jako master vampire, tak on vubec neni, on je jen kolecko v mechanismu.
Priznam se, ze jsem jednou takhle makal ne jako Vy, ale 18 hodin v kuse po dobu zhruba 14 dni, masakr motorovou pilou, finale probihalo tak, ze uz vsichni ostatni odpadli, a 3 dny mi za zady i nekolik hodin dene postavalo asi 7 lidi a pozorovali, co delam :-) pak se me ptalo dost lidi, jak jsem to moh vubec vydrzet a jeste u toho premejslet, rek sem jim, ze lidi, co stojej a cumej, tak vetsinou nic neumej, nejsou k uzitku a nejsou ani nijak nebezpecny, takze jsem je nevnimal, a jestli by tam bylo 7 stromu, tak to vyslo nastejno... napul vtip.... Ale bral jsem za to ne pizzu, ale pekne natvrdo 2-3x nasobnej plat sefa ceskejch drah. A pak sem dal vypoved, protoze mi obratem nabidli prodlouzeni kontraktu na dva roky na novej projekt, jenze v uplne stejnym zasranym gardu, oni uz ty manazeri tam byly tak vypsychovany, aby si uderzeli misto, ze se bali i delat zmeny a proste hodit na stul: tohle bylo blbe a uz to nesmime udelat, ne naopak ;-) tu pizzu bych tvymu sefovi uplne mrsknul do ksichtu a asi bych ho za tu urazku na me jeste kopnul mezi nohy (bez svedku samozrejme) a par ran by to taky spravilo... (dobre priznavam, mam sklony k agresivite, ale jen nekdy) :-)
117
Sítě / Re:Mate nekdo zkusenosti qsfp28 ethernetem?
« kdy: 09. 12. 2017, 00:18:17 »
jinak k AI obecne, maintainuju Torch, TensorFlow a desitky dalsich balicku pro Gentoo vcetne hadoopu. Nicmene koukam taky na Mesos(ten mam taky v overlayi), resp. DCOS a premejslim, ze si pripravim vsechno jako docker balicky (nad mini gentoo image) a budu to aplikovat na celej cluster jako bych sedel u jednoho PC, Mesos je skvela vec.
Tu je muj overlay:
https://github.com/archenroot/gentoo-overlay/tree/master/sci-libs
Tu je muj overlay:
https://github.com/archenroot/gentoo-overlay/tree/master/sci-libs
118
Sítě / Re:Mate nekdo zkusenosti qsfp28 ethernetem?
« kdy: 08. 12. 2017, 23:51:14 »díky za popis. Spíše bych doporučil sehnat nějakého architekta nebo člověka, který to už dělal, vypadá to, že v tom ještě hodně plaveš (bez urážky).
HDFS umí rdma a bude ti za to vděčný, výkon vzedneš výrazně, bez toho nejsou jednoduše schopný saturovat ani tu 10G. Na grafiku máš něco extra nebo jedete na Tensoru? Tam je opět podpora pro rdma. Vedle stačí natáhnout slabý ethernet na ostatní služby, takhle to všude provozujeme my.
Na tyhle věci se nám lépe osvědčil EMC Ipsilon, má zero copy čtení z disku, takže nvme disky vytěží naplno, infiband podporuje i po hdfs protokolu. Ty disky nemá smysl dávat do Raid kvůli rychlosti, nech je samostatně, ideálně rozděl na více partitions a využíj max. paralelismus jinak se budou nudit.
Při pozdějším upgradu na 100G budeš muset očividně udělat více úprav a v tomhle případě bych nemyslel na dopřednou kompatibilitu.
Už máte nějaké PoC? Máte už ověřenou topologii nebo to zatím stavíte na papíře?
Můžeme si pohovořit někdy více, podobné řešení jsem už viděl.
Diky kazdopadne za tip s EMC Ipsilon, studuju :-))
Taky za tip nedavat to do RAIDu, jelikoz tenhle PCIe store bude pro operacni data, ktery se daj vzdycky odnekud zrekonstruovate nebo vytahnout z pomalejsi storage jsem myslel zapojit do RAID 0, napr. po dvou, spis z duvodu nejakeho rozumneho pomeru velikost vsv vykon. A ano jedna se o nvme. tohle bude separatni hdfs system, nemixovany se SATA storage(pomala ale zase vetsi).
GPU - Primarne deeplearning4j, testuju sparkGPU, ale pracuju i navyvoji neceho jako AI ESB, TensorFlow sekundarne pres Java api, ale celkove je to pomalej posera, asi kvuli chybejicim inline matrix operacim.
Jinak tohle je ciste vyvojovej vypocetni cluster a jakakoli "prasecina", ktera by mohla nektere adminy nebo sitare zvednou ze zidle, pokud prinasi vykon je proste plus a akceptovatelna. Kdyz vycvicim model za 3 dny namisto 14, tak jsem vyhral.
Puvodne byl normalni gigabit a rychle se zacaly linky zdvojovat apod, hlavne s prichodem gpu rustem to bylo neudrzitelne a nasel jsem nabidku, ktera se podle me pred dvema lety neodmitala. 10gbe 48 portovy switche za 8000 korun, dvou portovy karty za 2000,--, to je proste 10gbe sit za hubicku, way to go. Multipath TCP mi pomohl kde jsem nasel hrdlo, jenze zalezitost s PCIe storage meni situaci a way to go is now path to hell :-)
Diky za zmineni RDMA, uz jsem na to take koukal, dosel jsem studiem nejakych blogu benchamrku , ze nejvykonejsim resenim bude prechod na schema RDMA-IB-BB.
Jeste jednou diky.
119
Studium a uplatnění / Re:VŠ a k čemu? Tak či tak dělám „lopatu“
« kdy: 08. 12. 2017, 23:11:14 »
AI, genetic engineering, navrat schopnosti videni reality prostrednictvim tretiho oka, that is future: https://www.ted.com/talks/drew_berry_animations_of_unseeable_biology
Hlavne si rozmysli, co si prejes a prej si to, ale davej si pozor na to, co si vlastne prejes, doporucuju Stalkera to Tarkovskyho :-))
Ja nechapu moc ty kecy tady o lopatach, kazdej dela, co chce. Je na tobe aby si delal neco jinyho nebo treba taky nic. Stezovat si na to, ze se clovek cejti jak lopata je pateticky, kazdej si za to muze sam (s malym prispenim okoli).
Mas vedomost, ktera ti muze pomoct ze situace, ve ktery se ti nelibi, ale ty ji nepouzijes a radsi pouzijes nabizeny moznosti z venci, ktery ti v ty situaci drzej, tak to je pateticky. To je jedno jestli se budes nazyvat lopatou nebo supermanem, porad to bude pateticky :-)))) proste realita je jina, nez co te o ni uci okoli a musis si oci otevrit sam.
Ale urcite doporucuju se zamerit na AI, jeden z duvodu, proc ji delam je, ze jsem narazil na urcite hranice automatizace vyvoje aplikaci a chtel bych, aby mi je AI pomocnik (lopata) pomahal(a) vytvaret. Mozna v tom bude lepsi i nez ja, asi urcite. Je to zajimava oblast, ackoli z myho pohledu AI nema s clovekem nic spolecnyho a je mi jasny, ze cokoli z tohodle jednou naroste, nebude mit nic spolecnyho s lidskym typem vedomi, ne ze bych se toho bal, jen to vidim ;-)
Tak good luck, je to o pocitech vsude ve vsem, tak se necit lopatou a neakceptuj vsechno, co se ti nabizi a nenech se zastrasovat ani nejnadutejsima argumentama, ze neco nema cenu, kdyz ji vidis, tak ma. Me se to vzdycky vyplatilo, trochu tezsi to pro me bylo, kdyz jsem to slysel od nekoho, koho jsem respektoval (tech lidi opravdu neni mnoho), ale ja byl vzdycky rebel, takze jsem se dostal i pres tenhle sebeklam :-) nekdy mi to prijde, jako bych se dostaval pres vlastni firewal :-)
Opet doporucuju ghost in the shell (ne hrany film, anime)
Hlavne si rozmysli, co si prejes a prej si to, ale davej si pozor na to, co si vlastne prejes, doporucuju Stalkera to Tarkovskyho :-))
Ja nechapu moc ty kecy tady o lopatach, kazdej dela, co chce. Je na tobe aby si delal neco jinyho nebo treba taky nic. Stezovat si na to, ze se clovek cejti jak lopata je pateticky, kazdej si za to muze sam (s malym prispenim okoli).
Mas vedomost, ktera ti muze pomoct ze situace, ve ktery se ti nelibi, ale ty ji nepouzijes a radsi pouzijes nabizeny moznosti z venci, ktery ti v ty situaci drzej, tak to je pateticky. To je jedno jestli se budes nazyvat lopatou nebo supermanem, porad to bude pateticky :-)))) proste realita je jina, nez co te o ni uci okoli a musis si oci otevrit sam.
Ale urcite doporucuju se zamerit na AI, jeden z duvodu, proc ji delam je, ze jsem narazil na urcite hranice automatizace vyvoje aplikaci a chtel bych, aby mi je AI pomocnik (lopata) pomahal(a) vytvaret. Mozna v tom bude lepsi i nez ja, asi urcite. Je to zajimava oblast, ackoli z myho pohledu AI nema s clovekem nic spolecnyho a je mi jasny, ze cokoli z tohodle jednou naroste, nebude mit nic spolecnyho s lidskym typem vedomi, ne ze bych se toho bal, jen to vidim ;-)
Tak good luck, je to o pocitech vsude ve vsem, tak se necit lopatou a neakceptuj vsechno, co se ti nabizi a nenech se zastrasovat ani nejnadutejsima argumentama, ze neco nema cenu, kdyz ji vidis, tak ma. Me se to vzdycky vyplatilo, trochu tezsi to pro me bylo, kdyz jsem to slysel od nekoho, koho jsem respektoval (tech lidi opravdu neni mnoho), ale ja byl vzdycky rebel, takze jsem se dostal i pres tenhle sebeklam :-) nekdy mi to prijde, jako bych se dostaval pres vlastni firewal :-)
Opet doporucuju ghost in the shell (ne hrany film, anime)
120
Sítě / Re:Mate nekdo zkusenosti qsfp28 ethernetem?
« kdy: 07. 12. 2017, 23:14:01 »díky za popis. Spíše bych doporučil sehnat nějakého architekta nebo člověka, který to už dělal, vypadá to, že v tom ještě hodně plaveš (bez urážky).
HDFS umí rdma a bude ti za to vděčný, výkon vzedneš výrazně, bez toho nejsou jednoduše schopný saturovat ani tu 10G. Na grafiku máš něco extra nebo jedete na Tensoru? Tam je opět podpora pro rdma. Vedle stačí natáhnout slabý ethernet na ostatní služby, takhle to všude provozujeme my.
Na tyhle věci se nám lépe osvědčil EMC Ipsilon, má zero copy čtení z disku, takže nvme disky vytěží naplno, infiband podporuje i po hdfs protokolu. Ty disky nemá smysl dávat do Raid kvůli rychlosti, nech je samostatně, ideálně rozděl na více partitions a využíj max. paralelismus jinak se budou nudit.
Při pozdějším upgradu na 100G budeš muset očividně udělat více úprav a v tomhle případě bych nemyslel na dopřednou kompatibilitu.
Už máte nějaké PoC? Máte už ověřenou topologii nebo to zatím stavíte na papíře?
Můžeme si pohovořit někdy více, podobné řešení jsem už viděl.
tak ona mi to udela firma, ktera se specializuje na opticky pojitka, delam na ai startupu. ja jsem architek hadoop, ai a microservices. 50gbit interconnecty jsem si postavil sam i celej gpu a hadoop cluster. vse na gentoo. a mimochodem tu 6x linku multipath tcp vyuziju (50gbit realne) do mrte kdyz pumpuju data do gpu nodu, ale 100gbe space a infiniband znam jen z vlaku.... ale to zadani jsem chtel vyrobit, mozna bude lepsi jim dat spis situaci at navrhnou reseni....
jinak jsem psal ze to je postaveny na hdfs... ale uz nepouzivam normalni disky, ktey maj hovno vykon, resp pouze jako static/low usage data. na procesing se nody budou vybavovat pcie storage, nektery uz sou. si predstav ze mas v jednom pcie slotu 4x m.2, celkovej vykon na slot asi 4gb/s zapis, 12gb/ cteni sekvencne, asynchrone random asi 600mb/s cteni jeden m.2, tj 2.5gb/s na slot(gigabajty, ne gigabity...).... takze jednortovy sfp+ se muze jit bodnout rovnou 😁 ani neuvazuju nody s 8, nebo 16 takovejma kartama zapojeny pres pcie prepinac... zatim....
tohle je cely staveny na trening ai modelu...
10gb sit i na eth vytizim jak prd v ramci node to node(ty v novym provedeni), takze i tady uz uvazuju to vsechno prevest na qsfp+, coz taky zvladnu, ale dal ty standardy neznam, takze budu rad i za nejaky link na knizku nebo blog
ps: jak to tu tak pisu, tak mi dochazi, ze ani 100gbit jako location intrconnect nebude casem asi stacit.. a mozna by se i financne vyplatilo ty masiny narvat do 2 racku vedle sebe, a prejit plne na qsfp+ a misto rack interconnect ty racky postavit oba jako jednu sit, tj. nebudu potrebovat fast interconnect.
no musi se to spocitat jak s ohledem na budouci skalovani a identifikaci botlenecku, tak i financne.....
no musim neco nacist jeste......😁
diky za odpovedi pripadne nejaky hpc network design linky.
