Zobrazit příspěvky

Tato sekce Vám umožňuje zobrazit všechny příspěvky tohoto uživatele. Prosím uvědomte si, že můžete vidět příspěvky pouze z oblastí Vám přístupných.


Příspěvky - _Jenda

Stran: 1 ... 84 85 [86] 87 88 ... 100
1276
Hardware / Re:Problém s přepsání eeprom kódu
« kdy: 27. 01. 2020, 20:02:36 »
Zkusil bych tu chybu vyřešit.

//jako jakou jinou odpověď jsi jako čekal když nepíšeš vůbec nic o tom, co za chybu to je

1277
Odkladiště / Re:Jaký film o IT na večer?
« kdy: 25. 01. 2020, 17:47:05 »
Přednášky z CCC, DefConu, a různých škol ;)

A nebo teda "The KGB, the Computer, and Me".

1278
Desktop / Re:Notifikátor docházející paměti
« kdy: 24. 01. 2020, 22:49:36 »
To první: dal bych si do panelu ukazatel. Záleží na desktopovém prostředí, které používáš, ale určitě nějaký mít bude.

To druhé: https://www.abclinuxu.cz/zpravicky/kancelarska-zidle-muze-vypnout-monitor, https://www.root.cz/zpravicky/raspberry-pi4-ma-pri-velkem-rozliseni-problemy-s-wifi/ ?

1279
Server / Re:Přenos velkého množství dat po síti
« kdy: 23. 01. 2020, 14:57:24 »
U rsyncu se může hodit s --partial ještě --inplace. U rychlé sítě může být bottleneck kopírování do dočasného souboru u --partial.

1280
Vývoj / Re:Využití a aplikace Machine learningu
« kdy: 22. 01. 2020, 15:44:36 »
Nedávno mě šéf požádal abych si na příští meeting připravil prezentaci o konkrétních využití ML v bankvnictví, pojišťovnictví a retailu.

Nowcasting počasí a následné vydávání varování a přípravu sezónního zboží a služeb.

https://medium.com/pocasi/extrapolation-of-radar-echo-with-neural-networks-f87772f70db2
https://arxiv.org/abs/1912.12132
https://www.meteopress.cz/meteoalert-generali-ceska-pojistovna/

1281
Server / Re:Přenos velkého množství dat po síti
« kdy: 22. 01. 2020, 04:31:28 »
SCP
Mně přijde, že scp je při přenosu více souborů podivně pomalé - jako kdyby vždycky při začátku přenosu souboru čekalo na síťový roundtrip.

A pak teda protokoly co se tunelují po SSH (včetně rsyncu, pokud se používá po SSH) budou mít na rychlé síti bottleneck v šifrování. Na 1GE asi ještě ne pokud nemáš pomalý procesor (poznámka: neumí to běžet na víc jádrech, ale můžeš spustit těch přenosů víc…), ale na 10GE už asi jo.

A jinak rychlý přenos po síti kde je dlouhá latence a sem tam se něco ztratí (typicky mezikontinentální internet) prý řeší proprietární Aspera nebo https://github.com/fast-data-transfer/fdt, které řeší takové ty problémy se zahlcením a ztrátami líp než TCP, ale osobní zkušenosti s tím nemám.

1282
Hardware / Re:Astrometa DVB-T2 ladí jen DVB-T
« kdy: 19. 01. 2020, 16:47:31 »
Co jsem si tak povsiml v ruznych diskuzich, uspesnejsim kolegum ten dmesg pise o DVOU vytvorenych frontendech, coz nevim, jestli je relevatni.

Ano, je. Detekovalo ti to R820T (tuner -- posune signál ze zadané frekvence do basebandu) a RTL2832, což je demodulátor DVB-T, nikoli DVB-T2. Někde tam musí být ještě druhý demodulátor, který bude dělat DVB-T2. Nejdřív bych zkusil poslední kernel z backportů, v Busterovi je 4.19, což už je taky staré. Pak bych to rozebral a podíval se, jestli tam nějaký druhý demodulátor opravdu je.

Resp tech muxu nabizi tvheadend vic, na stejne frekvenci jsou vedle sebe casto dva, jeden DVBT a a jeden DVBT-2.

To mi přijde že nemůže fungovat. Tyto sítě nemůžou vysílat přes sebe. Mohou být oddělené kopcem nebo vzdáleností.

1283
Problém je, že málokdo vystudoval více škol současně, takže ti těžko napíše porovnání. Já jsem vystudoval obecnou informatiku (2013-2016) a následně softwarové a datové inženýrství (2016-2019) na matfyzu a bylo to naprosto totálně boží. To samozřejmě neznamená, že by to jinde taky nebylo super. Tak napíšu několik bodů, co mě potěšily. A na FELu mám několik kamarádů, ale radši si uvedené informace ještě nezávisle ověř. S VUT nemám vůbec žádné zkušenosti.
  • Flexibilní studijní plán. Povinné předměty tvoří zhruba polovinu kreditů, asi čtvrtinu tvoří povinně volitelné (seznam předmětů, ze kterých musíš vystudovat nějaký počet, a vybíráš si. A výběr docela je.), a zbytek jsou úplně volitelné kdy si vybíráš libovolné předměty vyučované kdekoli na celé UK (libovolná fakulta) a partnerských vysokých školách (což jsou aktuálně FEL, FIT, FJFI - i když s FELem ta spolupráce poslední dobou nějak vázne). Chceš se orientovat směrem na bioinformatiku? Nebo nějakou hardcore matematiku? Kryptografii? Nebo něco úplně bizarního? No problem. (a tohle samozřejmě zahrnuje, že si u praktických předmětů vybíráš z několika programovacích jazyků, příp. i platforem (jsou unixové a windowsové věci)) Oproti tomu ČVUTí studijní plány jsou předem nalajnované (seznam předmětů, bez šance změnit čemu se věnovat nechceš a co bys chtěl vědět víc), a to prý až do té úrovně, že třeba FELí magisterští studenti si nesmí zapisovat bakalářské předměty toho stejného oboru.
  • Flexibilní rozvrh. Výše uvedené vypadá jako dependency hell (povinné předměty jsou plánované tak, aby byla zaručena bezkoliznost, ale u PV+V nejde vymyslet řešení, které uspokojí všechny), ale ve skutečnosti to není tak strašné jak to vypadá (jenom trošičku :))). Většina těch P+PV předmětů se vyučuje ve víc paralelkách (kvůli počtu studentů) + ještě česky a anglicky. A je jedno kterou verzi uděláš. Takže typicky máš na výběr z několika timeslotů. Navíc u některých předmětů jsou paralelky podle obtížnosti pro lidi co už to znají (e.g. Programování 1, kde se část lidí musí učit for cyklus a část už jaksi programuje; nějaké advanced semináře z matematiky; angličtina a tak). Jo a u některých (e.g. Úvod do Linuxu) se dá cvičícímu předvést že probírané věci umíš.
  • Teda ona se obecně prezence skoro nikde nedělá, ale já musím říct, že jsem skoro na všechno chodil, protože mi to přišlo přínosné.
  • Flexibilní rozvrh (2). Neexistuje žádné dělení na ročníky. Prostě tady máš seznam předmětů, až na několik dependencí (které lze navíc se souhlasem vyučujícího overridnout) je můžeš studovat v libovolném pořadí (samozřejmě některé zejména matematiky na sebe navazují, tam to chce trochu přemýšlet), až je vystuduješ, tak budeš hotový. (jsou tam nějaké sanity checky, které ale ani v dost extrémních případech neomezují) To dále zvyšuje stupeň volnosti pro volbu předmětů co jsem popsal výše. Dále doporučuji naskládat si těch pár povinných předmětů doporučených ve 3. ročníku do 2. ročníku, protože když to failneš, tak to snadno zkusíš znova :). A tohle funguje i napříč bakalářským a magisterským studiem, můžeš si udělat magisterské předměty v bakalářském a pak si je nechat uznat.
  • Už to začíná vypadat jako bordel, ale neboj, je na to software kde vybrané předměty, závislosti a povinnosti vidíš a dá se v tom docela zorientovat :D
  • Administrativa. Na matfyzím studijním jsem měl nečekaný pocit, že se mi úředník snaží skutečně pomoct a je tu pro mě, ne naopak. „Zákony“ se vykládají podle ducha, nikoli podle toho že „udělal jsi něco formálně blbě, i když reálně je to v pořádku, fuck you“. (zapomněl jsi studijnímu něco sdělit ale bylo to OK? nějak se to zařídí. Chceš se zapsat na paralelku kde už není kapacita, ale ukázalo se, že tam část zapsaných lidí nechodí tak tam místo je? udělá se force-zápis. Zjistil jsi, že je nějaký předmět dobrý až po uzavření zápisu, a vystudoval jsi ho? Zapíše se zpětně během zkouškového (!!!)) A s tím souvisí třeba mnohem méně problémů se zápisem. Ten je prý na FELu taky zážitek, po začátku semestru nejde měnit zapsané předměty, nejde se zapisovat na náhodné paralelky a další problémy které už jsem zapomněl.
  • Za celý průchod studiem jsem se až na jednu věc kterou popisuji níže nesetkal vůbec s žádným chováním, kdy bych se cítil ukřivděně. Až mi přijde že to musí být chyba měření. Když jsem dostal špatnou známku nebo mě vyhodili od zkoušky, tak bylo vždy naprosto jasné a objektivně správné proč. Vyučující se snažili opravdu všemožně pomoci, abychom látku chápali a uměli.
  • Je podstatně menší šance, že narazíš na defektního vyučujícího. Povedlo se mi to za celý matfyz snad jednou. Oproti tomu jsem vystudoval pár předmětů na PřF a tam se mi to stalo asi třikrát. Jak je to na ČVUT/VUT nevím, tam nemám použitelný statistický vzorek.
  • Nemám skoro pocit, že bych byl nucen učit se nějaké blbosti které jsou zastaralé/k ničemu/chybné/… To tak samozřejmě může být, a doufám že bude, i na ČVUT/VUT.
  • Na spolužácích je vidět, že je to baví, chtějí se učit a chodí tam dobrovolně. Tohle jsem si vůbec neuvědomoval dokud jsem nevlezl na kartografii na PřF, kde to normálně vypadalo, že tam jsou lidi z donucení, asi aby měli nějaký papír a nemuseli jít ještě pracovat nebo co.
  • Nemáme dresscode :D

A teď bugy:

  • Za největší problém považuji softwarový projekt v některých magisterských programech, kdy musíš udělat se spolužáky tým 4-7 lidí a něco přiměřeně komplikovaného udělat (tj. musíte mít alespoň trochu kompatibilní zájmy, vybrat si téma nebo si vymyslet a najít někoho kdo vám to povede). Navíc kolují hororové historky že když ze 4členného týmu se 2 lidi vykašlali na školu (což neovlivníš), tak jim to neuznali a museli to dělat celé znova, ale tohle se snad už nějak vyřešilo (kdyby se ti to dělo, okamžitě bych začal spamovat všechny možné odpovědné osoby). V mém ročníku nastoupilo dost málo lidí a tohle byl opravdu velký problém, naštěstí to nakonec dopadlo dobře. Kdyby sis mohl vybrat, doporučil bych kvůli tomuto preferovat obor, kde povinný projekt nemají.
  • Zejména k matematice bylo velmi málo literatury, kromě přednášek nebylo moc z čeho čerpat. To se za těch 6 let dost zlepšilo a většina přednášejících teď má skripta.
  • Někomu může vadit povinný tělocvik. Osobně mi obsah přišel dobrý, ale je to strašně daleko (Hostivař, tj. z Malé Strany asi 15 km (~50 minut na kole), z kolejí v Tróji skoro taky tak) a někdy v blbý čas.

Poznámky:
  • Možná najdeš na internetu kritiku že se na matfyzu učí programovat v Pascalu. To byla pravda do loňska a jenom pro programování pro začátečníky. Teď přešli na Python.

1284
Vývoj / Re:C, zápis do pole čísel a zápis mimo cache L1/L2
« kdy: 15. 01. 2020, 11:24:53 »
Tak mám 80 000 000 testů/s, stále bez použití probabilistických filtrů :-)
Tazatel v prvním příspěvku píše, že má 2 miliardy testů/s, tedy 25x víc. Bohužel nám stále neodpověděl (pokud jsem to nepřehlédl, přijde mi, že diskuze podivně divergovala) na otázku, jak těch 128 GB/s do toho počítače dostává.

1285
Sítě / Re:Firewall - Linux nebo Mikrotik
« kdy: 14. 01. 2020, 18:52:31 »
Nainstalovat na Mikrotik OpenWRT, udělat firewall na něm. Výhody: kompletní linuxový ekosystém (trochu omezený dostupnou pamětí) a z toho vyplývající libovolná funkcionalita co si vymyslíš: již zmíněné DNS, UDP OpenVPN, fail2ban, nmap, tcpdump (ano, na Mikrotiku nemají nic podobného, je tam jenom věc co umí s dost primitivními filtry přeposílat pakety na jiný stroj), ale třeba i IRC bouncer, stahování obrázků z bezpečnostních kamer, řízení domácí automatizace, a prostě cokoli co si vymyslíš nejenom teď, ale i v budoucnu.

1286
Sítě / Re:rozdeleni switche
« kdy: 14. 01. 2020, 00:31:12 »
Já bych to tipl na to, že tazatel nevěděl, že port ve VLAN může být untagged.

1287
Vývoj / Re:C, zápis do pole čísel a zápis mimo cache L1/L2
« kdy: 12. 01. 2020, 18:06:54 »
Bloom filter

S tím jsem samozřejmě obeznámený.

A pomohl teda? ::)

Ale jak to funguje teď:
1) Vezmu začátek čísla
1234 -> ten použiju jako index pole cisla[1234] a získám ukazatel do pole.
(Pokud index cisla[1234] ukazuje NULL, mám vyřízeno, což je asi 1/3 případů.)
Začnu prohledávat od daného místa, kam ukazuje tento ukazatel a ve 1/3 případů mi stačí dva kroky, abych dokázal vyloučit, že číslo není invalidované.

Ve zbylé 1/3 případů potřebuji 3 až 5 kroků, abych se ujistil, že tam to číslo není.
Tomu se říká open addressing hashtable.

(Krok je v podstatě jednoduché CMP dalšího bajtu. Je to jen několik instrukcí.)
Pro vyloučení přece potřebuješ porovnat ne následující bajty, ale celá čísla, a to dokud se nezmění ten začátek. Kolik je ten začátek a tedy kolik je průměrná délka řetězce? Čekal bych z těch čísel co jsi napsal tak 3 bajty.

Pokud bych začal provádět nějaký výpočet, celková výpočetní náročnost by se zvýšila.
Ano, ale necachovaný fetch z paměti je klidně 200 instrukcí (s tím že pomocí out-of-order execution a AVX scatter-gather instrukcí se tomuhle dá pomoct), takže pokud ten výpočet bude kratší než toto a zabrání tomu fetchi (protože se díky tomu podaří požadavek uspokojit z cache), tak se to vyplatí.

Pokud jsou data v paměti, celé se to dokáže zpracovat v rámci několika instrukcí, protože se to vejde do Pipeline procesoru.
Furt jsi nám neřekl jak to s tou pamětí funguje, když DDR4-3200 (AFAIK nejrychlejší paměť co jde dneska koupit) má podle Wikipedie Peak transfer rate 25.6 GB/s, takže ta svoje data nemáš šanci protáhnout ani quad-channelem.

Citace
Slovník se ještě nějakou dobu do paměti vejde
No to doufám, vždyť jsi psal že má řádově 400 MB…

1288
Vývoj / Re:C, zápis do pole čísel a zápis mimo cache L1/L2
« kdy: 12. 01. 2020, 10:01:17 »
Ještě by se hodilo vědět, jestli existuje nějaký odhad pro to, kolik hitů asi tak bude -- řešení se může lišit podle toho, jestli jsou hity výjimečně, občas, nebo naopak skoro všechna čísla v seznamu jsou.

1289
Vývoj / Re:C, zápis do pole čísel a zápis mimo cache L1/L2
« kdy: 12. 01. 2020, 09:52:06 »
Přijde mi, že dotaz má nějaké problémy s formulací:

1) Proč je v názvu dvakrát „zápis“ když jde o kontrolu čtením?

2) Jak by mělo fungovat „Rád bych zvýšil šanci, že vyhledávané číslo bude v cache L1/L2.“ když jsi nám nesdělil nic o tom, jaké mají vstupní čísla statistické rozdělení? A proč chceš mít v cache vyhledávané číslo, když tě nezajímá to číslo, ale informace, jestli je v seznamu?

3) Teď jsem si všiml, že 64 B * 2 miliardy/s = 128GB/s. To ta čísla generuješ lokálně, nebo jak je získáváš? Vždyť to musí být strašný problém do toho počítače vůbec dostat, ne? Vždyť to je víc než propustnost PCIe na většině procesorů a něco jako quad channel DDR4!

Pokud by statistické rozdělení bylo třeba takové, že tam čísla jednou jsou a pak se mnohokrát opakují, tak by mohl pomoct splay strom, resp. nějaká jeho cache-aware varianta. (ale opakování je potřeba mnohokrát, protože to musí vyvážit vysplayování prvku, což je log(n) *zápisů* což bude příšerně drahé; hm asi na to zapomeň, tohle nebude fungovat; i obyčejná hashtable si přece bude držet posledně použité buckety v cache)

Z té délky 512b bych to tipoval na kryptografii a pak to asi bude plně náhodné a máš smůlu.

Tvrdíš, že máš cca. 7 milionů čísel. U Bloom filtru se většinou udává něco jako 1 bajt na položku. Takže pokud máš alespoň 8 MB cache, mohl by se ti tam filtr vejít celý.

Citace
Ale tady se bojím, že prosté odeslání datagramu UDP bude výpočetně náročnější než prohledání pole
No to samozřejmě, musíš jich agregovat víc do jednoho datagramu.

Btw. použij hugepages, protože jinak budeš mít v cache kolize.

1290
Sítě / Re:rozdeleni switche
« kdy: 11. 01. 2020, 18:31:18 »
Chceš, a pak zvolené porty dáš do té VLANy a nastavíš je jako netagované.

Stran: 1 ... 84 85 [86] 87 88 ... 100