Příspěvky

121

Sítě / Re:Mate nekdo zkusenosti qsfp28 ethernetem?

« kdy: 06. 12. 2017, 17:55:39 »

tak pokud máš qsfp+ (4x 10G či 4x 13G) qsfp28 z toho neuděláš (4x28G, 4x50G), koncovka je ale stejná, pokud chceš použít qsfp28 místo qsfp+ musí to daný port podporovat (to tyhle karty to podporují).

Pokud nad tím chceš provozovat ethernet, nejspíš nejsi schopný tuhle linku vůbec vytížit z jednoho serveru ani s jumboframe. Doporučuji se zaměřit na jiný protokol, infiniband má dobré parametry u rdma, scsi. Většinu práce ti udělá samotná karta, jen v případě ethernetu je potřeba na cpu tvořit/zpracovávat ethernet framy a to je příliš drahé.

Dokážeš lépe popsat o co se snažíš, proč to chceš, co na tom budeš provozovat, jakou budeš mít topologii? P2P to je mezi servery, switchi? Anycast?

Jasne, karty koupim novy, to neni problem, a chapu, ze z qsfp+ (ja mam v tuhle chvili jen sfp+) neudelam qsfp28.

Ten je asi takovyto:
location 1- def start
node (2x sfp+ multipath)
node (2x sfp+ multipath)
.....
sfp+ switche
.....
switch node (6x dual port sfp+ internal LAN, qsfp+ nebo qsfp28 outbound) - high frequency overclocked cpu
location 1 - def end
.....
qsfp+ nebo qsfp28 cable
.....
location 2- def start
switch node (6x dual port sfp+ internal LAN, qsfp+ nebo qsfp28 outbound) - high frequency overclocked cpu
....
node (2x sfp+ multipath)
node (2x sfp+ multipath)
location 2 - def end

ty nody jsou gpu/mixed compute(cpu) & storage/mixed gpu+storage nody. Do nodu se budou postupne strkat Dell PCIe 4x m.2 nvme karty (celkem 8TB), pokud by to melo pomoci prutoku, tak se ty 4 m.2 sticky daji do RAID 0, ale to jsem jeste netestoval. To je az na pristi rok... hdfs je to jedno. Na urovni gpu node se jedna o operacni data, pokud se poskodi, tak to nevadi, lze je pregenerovat, jedna se spise o cache mezi durable storage a computation nodes.

Poznamka: ten jeden m.2 stick zvlada sekvencni r/w 3GB/s, rsp. 1GB/s.

Jedna o experimentalni cluster urceny pro AI trenink a big data processing in general.

Diky kazdopadne za prispevky. Ted me napadlo, ze bych tam mohl polozit dve vlakna (nevim, kolik by to stalo, necham nacenit) a jit cestou QSFP+ (40GB) v multipath rezimu, zas budou levnejsi karty... skoda, ze si to clovek nemuze vyzkouset :-)

122

Sítě / Re:Mate nekdo zkusenosti qsfp28 ethernetem?

« kdy: 06. 12. 2017, 16:54:35 »

Dobry den,

Na zacatek je dobre rici, ze neexistuje 100G transciever ktery by podporoval vsechny 100G standardy ( -SR10, -SR4, -LR4, -ER4 ... dale pak barevne a jine varianty).

Pokud budete mit moznost volby transcievru na obou koncich, tato starost odpada - jinak se musite prizpusobit. Jelikoz mluvite o QSFP28 tak dost mozna skoncite u -SR4, dobre je se kouknout na stav implementace RS-FEC atd...

Super, diky za link, mam co studovat.... ja urcite nejsem expert na site, kor ne na nejake 100GBe, mam cluster postaveny na komoditnich prepinacich quanta lb8 (48 portove 10gbe sfp+ za 9 tisic) Mezi nekterymi nody jsem udelal pro vetsi prutok dat multipath tcp (card to card) 2x, zkousel jsem i az 6x jako to delali lidi z projektu jako demonstraci, a max byl pod 50gbit/s...

10gbe reseni je zase opravdu super levne a facha v pohode, ale tady chci premostit podobne dve oblasti.

123

Sítě / Mate nekdo zkusenosti qsfp28 ethernetem?

« kdy: 06. 12. 2017, 00:30:11 »

zajimaji me 100gbe doporucene pcie karty, zatez cpu, na co si dat pozor.. da se zacit s qsfp+ a pouzit stejny kabel i koncovky pri pozdejsim upgradu na 100gbe qsfp28?

jde mi o point to point 100gb most mezi dvema body. vzdalenost  do 100  metru.

karta v hledacku:
MELLANOX-MCX455A-ECAT-100GbE-100Gb-s-EDR-INFINIBAND-CONNECTX-4-VPI-825110-B21
 
diky

124

Studium a uplatnění / Re:Na co se zaměřit jako Linux admin?

« kdy: 04. 12. 2017, 00:26:42 »

Ja bejt tebou, tak jdu rovnou do Gentoo, ja si pamatuju svoje prvni krucky s Gentoo nevim asi 10 let zpet, protoze jsem byl unaven z Ubuntu, kde jsem narazel na ruzne chyby, ktere mi ztrpcovaly zivot. Gentoo je narocnejsi hned od zacatku, ale ma kvalitni dokumentaci, a uz jen v momente, kdy dokoncis instalaci, tak budes mit povedomi o spuste linuxovych komponent, ktere existuji, ale taky je budes umet konfigurovat a pracovat s nimi.

Abys se pak naucil konfigurovat Debian nebo Rhel ti bude stacit (in high level) se jenom naucit app-get a yum a lokace nekterych souboru, ktere se lisi na ruznych distribucich, ale to je vsechno.

Vybral bych si profil se systemd, ktere ostatni systemy prevazne pouzivaji na misto defaultniho openrc a vrhnul bych se do toho.

Poznamka: jen doporucuju nejaky vykonnejsi processor a 16GB ram (ja pouzivam dekstop s 18 core xeonem a 64GB) pro tmpfs file systemy, kam presmerujes /tmp folders - vyznamne urychluje kompilaci a cely system. Hodne ram je take potreba pro kompilaci vetsich balicku. Pokud nebudes instalovat desktop, tak 8GB staci.

Gentoo rocks!

125

Odkladiště / Re:Umělá inteligence dnes

« kdy: 02. 12. 2017, 17:54:46 »

AI tady je a je pokročilá.

Rikat, ze je neco pokrocile je opravdu jen uhel pohledu, me napriklad vubec neprijde pokrocila. Model neuronu je jen zakladni, v biologickem systemu ho ovlivnuji produkce hormonu a ruznych proteinu ovlivnujicich membranu a vnitrni funkci neuronu. Zivy model neuronu je daleko komplexnejsi nez jeho strojovy model. My stavime matematicke modely neuronu, ktere vyjadruji pouze nektere zakladni funkce, takze ne, AI tady je, ale neni pokrocila.

Pokrocila je ve smyslu toho, ze jeji aplikaci na urcite problemy se nam je dari resit na pokrocile urovni, ale to je uplne neco jineho.

Nejenom, ze matematicky model neuronu je neuplny, ale pokud si otevres mapu mozku, existuji pekne mobilni aplikace (3d brain map), nebo napr.:
http://www.mbfbioscience.com/neurolucida

Tak zjistis, a ze zakladni skoly uz vis, ze mozek neni jen jedna velka kupa neuronu, ale je to shluk komplexnich center, kazde slouzici jinemu ucelu. tyto ucely mame nektere zmapovane, nektere ne. To je step jedna, step dva je, ze ackoli pozorujeme chovani, nektere funkce jsme proste jeste ani vubec neodhalili, jine jsme odhalili, ze ale jeste je matematicky nepopsali.

Obecne si musis uvedomit, ze cokoli, co AI dnes je, je rizeno pokrokem v neuroscience a psychologii (obe jsou vedy zalozene fundamentalne na matematickych zakladech), a prave progress na techto polich urcuje progress na AI poli. Pres to vlak nejede.

126

Odkladiště / Re:Umělá inteligence dnes

« kdy: 02. 12. 2017, 17:43:19 »

Neuronová síť je dopravní prostředek, který nás vozí tím obecným a univerzálním stavovým prostorem a záleží na tom, co v něm je, a co v něm je, neznáme.

Co je uvnitř samozřejmě známe, resp. můžeme znát. Každá asoučasná neuronka je implementována jako software, který běží na nějakém HW a jako takový jej lze pomocí patřičných nástrojů debuggovat a dívat se dovnitř co se tam děje. Doporučuji nastudovat https://cs.wikipedia.org/wiki/Debugger

Z neuronky vela nevypozeras. U beznej konvolucnej neuronky dostanes iba vahy neuronov, pocet vrstiev a pocet neuronov v kazdej vrstve. Mozes si skusit spocitat vystup pre niekolko vstupov, ale to nic nenapovie, preco ma spojenie medzi prvym neuronom na tretej vrstve a osmym neuronom na stvrtej vrstve vahu 0.7 a nie 0.5.

Kupodivu lidi kolem deep NN v oblasti zpracování obrazu mají nějaké algoritmy, jak z vyšších vrstev zpětně extrapolovat jejich "naučený obsah" v dimenzích původní "domény". Viz tento filmeček na YouTube od Matta Zeilera a další co Trubka nabídne. Pokud by ale neuronka chroupala nějakou manipulaci s abstraktními pojmy/symboly, asi by se z toho těžko vydestilovalo něco takhle vizuálního... Popravdě i trochu víc vrstvený model na bázi LSTM třeba pro rozpoznávání řeči by byl možná problém - myslím nějak debugovat vyšší vrstvy. (Pozn.: já sám jsem cvičená opice, která si trochu něco povrchně přečetla a vnitřnostem převážně nerozumí, nad rámec naprostých základů.) Volněji v tomto kontextu viz též např. heslo "deep dreaming".

diky za video, to souvisi proste s tim, ze je tezke popsat, co se ve vstvach stane a co se dej, a ikdyz to umime extrahovat, otazka je, k cemu to je, resp. jak to vyuzit, opet takovy maly hezky playground:
http://scs.ryerson.ca/~aharley/vis/conv/

127

Odkladiště / Re:Umělá inteligence dnes

« kdy: 02. 12. 2017, 17:34:57 »

Ve stavovém prostoru znáte co je v místě, kde se neuronová síť nachází, co je kterým směrem neznáte, maximálně znáte nějaký gradient, a to je vše, de facto metodou pokus omyl to pracně zjišťujete a tomu zjišťování se říká učení. Kolikrát uvíznete v lokálním extrému, protože nevíte co je jinde. Takže může existovat místo, ze kterého když začnete, dovede vás to ke spontánnímu vzniku super AI. Ale existuje? A kde? Pokud život vznikl spontánně, takové místo musí existovat. Jinak by život nevznikl a musel být stvořen.

Jde o entropii a pravděpodobnost. Kolem Slunce mohou živočichové lokálně zvyšovat entropii i když celková klesá.
Druhák když se použijí kostky v počtu mnoho řádů, tak padne mnoho 6. Stejně je to s vyčerpáním mnoha náhod nalezení AI, nebo úspěchu pro vznik živočicha.

A spočítal někdo ty pravděpodobnosti, zda je to statisticky vůbec možné?

Teoretičtí fyzikové tvrdí, že na začátku každé fyzikální teorie musí být moment osvícení, že z experimentálních dat ji nelze odvodit, že musíte předem vědět, co chcete dokázat. Jak mozek vlastně ten moment osvícení nalézá?

To je velmi spravna poznamka Ivane. Ja se dost zajimam o vedske sanskrty (ktere jsou prelozeny do agnlictiny, puvodni hindo jazyky neznam :-) ), nejdrive jsem se o ne zajimal spise jako o jednu z moznych vetvi historie lidstva. Nicmene postupne jsem trochu zaklenul i do hinduisticke kosmologie, no a je to huste. A ne omylem se sanskrty nechali inspirovat i otci kvantove mechaniky, jako Bohr nebo Heisenberg. Heisenberg sam napr. prohlasil, ze ten, kdo cetl Vedantu, tomu nebude kvantova teorie pripadat smesna.

Schrodinger rekl, ze museli provest krevni transfuzi starych vedomosti z vychodu(vedske znalosti), pretransformovat formu informace do novych matematickych jazyku soucasnosti a implantovatje tak, aby zachranili zapadni vedu.

Schopenhauer tez a dalsi...

Jak to souvisi z momentem osviceni, o kterem pises. Je to tzv fiercing aspcekt, ktery je pritomny a propaguje se v realite od prvnich momentu. Prvni takovy aspect se projevuje pri vlaastnim momentu stvoreni (moment of existence creation). A pak k nemu dochazi v ruznych, mozna ve vsech, inkarnacich(prerod nebo vyvoj aspektu) napric existenci. A jedna z techto inkarnaci mi trochu pripomina prave ten moment osviceni, na hodne filozofickem zakladu je to jako dotyk.

Mimochodem podobnym aspektem jsou mozna rizeny i elektrony na svoji ceste skrz atomy. A podobny aspekt se projevuje i v poslednich teoriich kolem generovani energie z higsova pole. Je to jako by je neco vypichovalo :-))). My delame velke rozdily mezi informaci a energii, ale ono je to mozna jedno a to same, cimz chci rict, ze dochazi ruzne k vypichovanim a vpichovanim informaci analogicky.

Jako to tu ted jen strilim, pokud by to nekoho zajimalo... souvislost s AI to ma takovou, ze lide jsou schopni byt "osviceni", kdy neco da naprosty smysl a pak se vlastne jen snazis to popsat a prokazat, ze to je pravda. Tenhle aspekt je vsudy pritomny a demonstruje se vsude, kam se podivas... ono vsechno souvisi se vsim hehe

128

Odkladiště / Re:Umělá inteligence dnes

« kdy: 01. 12. 2017, 16:51:50 »

Takze ziadna AI, len naucene neurovnove siete. Myslel som si. Ale zopar truhlikov v tom najde naozaj pokrok a dokaze vypotit, ze o 10 rokov tu mame samostatne fungujucu AI

Ehm, ked poviete, tak to tak byt asi musi, asi nerozumiete pojmu umela inteligencia.

Ale on doopravdy nikdo nerozumi pojmu inteligence, jsou to ruzne teorie o tom, co by mohla byt. Pokud nekdo tvrdi opak, pak lze. Resp. pokud nelze, tak je to analogicky nabozensky fanatik :-)), tj. tomu veri. At tak ci tak nam to nebrani v tom ji napodobovat ve forme AI, kazdopadne i tak v soucasne chvili zatim napodobujeme velmi male aspekty z techto teorii.

129

Hardware / Re:Koupě GPU pro Linux

« kdy: 01. 12. 2017, 13:05:07 »

Ja delam vyvoj AI (gpu accelerated), a prave 1080TI ma konecne 11GB pameti a je za prijatelnou cenu oproti teslam. Ovladace pohoda, vsechno slape na prvni naslapnuti. Pozn: na Gentoo systemu

Semtam si neco zahraju Dotu2, nebo CeeSko, a pohoda

130

Hardware / Re:Používáte někdo 4K 42 palců monitor. Jaké to je?

« kdy: 01. 12. 2017, 13:01:29 »

Jednou vetou, je to bomba, uz mam dva, jeden v praci a jeden doma.

131

Studium a uplatnění / Re:Recruiterka prosí o pomoc (jen feedback)

« kdy: 01. 12. 2017, 10:18:18 »

1) Je to v poradku, je to boj. Je na uchazecich, aby si protihodnotu vybojovali. Kdyz to nedelam je to muj problem, protoze cekam, ze firma mi nahradi rodice. kdyz chci vybojovat moc velkou protihodnotu, nez jini uchazeci, muzu se dostat do out of interest, je to muj problem. kdyz bojuju za protihodnotu, ale neni vule to akceptovat, je konec a nema cenu dal ztracet cas.

2) Bohuzel tuhle situaci vytvarime my vyvojari sami. Nejsme schopni pouzivat jeden genericky jazyk pro vsechny ucely, nebo jejich pocty eliminovat nejakymi fuzemi. Naopak generujeme nove a nove. Nad jazyky nejsme schopni vytvorit dostatecne genericke frameworky, takze dalsi vrstva kombinaci. Babylón. Fullstack je jen symbol, jez je ruzne chapan, a ma ruzny vyznam v kontextu architektury a zameru zakaznika. Kazdy vyvojar je morestack, pisu cuda jadra v c a pak to volam z javy, napr.... fullstack je instance morestack podle aktualnich potreb.

3) U algoritmu typu sort je to asi jedno, jak komplexita stoupa, whiteboard je resenim. dalsim resenim je zadani ulohy a nechat uchazece ulohu vypracovat doma s nejakym terminem odevzdani, napr. tyden

4) Kdyz jsem delal v Sony, tak jsme si mphli hrat behem pracovni doby, takze zalezi. Benefity by nemely byt plosne, ale na miru cloveku. Nekdo chce penize, nekdo auto, nekdo xbox....

5) Je to jen jeden krok zdrzeni, pokud se mi nabidka v zasade libi, tak v prvnim dotazu rovnou uvadim, co je muj target. Bud se bavime dal, nebo nebavime.

6) Ne vsichni, ale dost naboraru nevi vubec o cem mluvi...

132

Software / Re:Email klient Office 365

« kdy: 30. 11. 2017, 22:55:05 »

Děkuji, skutečně je to tak. Zkoušel jsem více klientů, buďto jsou placení a stejně mi nevyhovovala ani zkušební verze "hiri", nebo tečou maily přes jejich servery "nylas, mailspringL. "Evolution" někdy nesynchronizoval, házel chyby. To samý "thunderbird" přes imap, přes ten nedokážu ani přetáhnout staré maily.

Shrnuto, rychle jsem si zvykl na webový Outlook.

ja taky, ale taky je potreba to reportovat upstream a kompilovat pak z dev vetve, me to funguje

133

Studium a uplatnění / Re:Recruiterka prosí o pomoc (jen feedback)

« kdy: 30. 11. 2017, 22:46:46 »

A co tedy? zamestnate autistu nebo jeho opak?

Já raději opak. Znalosti a zkušenosti se dají získat. Osobnost je prakticky neměnná.

vidim to uplne stejne

134

Studium a uplatnění / Re:Recruiterka prosí o pomoc (jen feedback)

« kdy: 30. 11. 2017, 22:02:10 »

Dobrý den.

Dám Vám feedback kombinovaný z obou stran. Sám si najímám lidi a vysvětlím svůj názor, proč si myslím, že pokládáte tyto otázky. Jestli je to off topic, tak to prosím ignorujte.

Jako zaměstnavatel hodnotím dvě stránky uchazeče: odbornou - tedy to, co už umí, má vytrénováno. A pak osobnostní část, která ho může předurčovat nebo naopak vylučovat ze seniorních pozic. Někdy je programátor taková špička, že si může dovolit být skoro až autista, protože svoje osobnostní nevýhody překryje odborností. Jindy je to přesný opak - potkám skvěle komponovaného uchazeče, ale narazím na odborné limity, které už nepůjde překonat.

A co tedy? zamestnate autistu nebo jeho opak?

135

Studium a uplatnění / Re:Mají se na západě opravdu finančně o tolik lépe?

« kdy: 30. 11. 2017, 21:09:09 »

nemyslim si to ... zil jsem v peti statech na zapad od cz