Poslední příspěvky

1

Windows a jiné systémy / Re:komentář při dlouhém řádku v cmd.exe

« Poslední příspěvek od Tomas-T kdy 10. 10. 2024, 23:48:26 »

Klasická CMD příkazová řádka ve Windows/DOSu nic takového nepodporuje ani nikdy nepodporovala.
# jako označení komentáře nefunguje vůbec, REM jen když je uvedený jako výkonný příkaz na samostatném řádku, ne jako command line parametr předchozího příkazu.
ALE:
Pokud se přepnete do konzole PowerShellu, tak by výše uvedený příkaz s # pro oddělení komentáře měl normálně fungovat - mně funguje.

2

Server / Re:Jak zabránit zahlcení systému vyčerpáním RAM

« Poslední příspěvek od Tomas-T kdy 10. 10. 2024, 23:37:18 »

Povedlo se mi minulý týden skoro zahltit paměť serveru u zákazníka pouštěním vcelku jednoduché command line utilitky načítající z jedné strany miliony záznamů v CSV a ukládající je do DB přes EF. V testu se pracovalo jen s malými vzorky dat, takže to nebylo vidět.
Přesto, že jsem zapsané věci po zapsání do DB poctivě uvolňoval, bylo po pár hodinách běhu programu zabráno 10 GB RAM, protože EF si držel reference na už uvolněné objekty a GC to odmítal smazat.
Vyřešilo to až zahození celého EF kontextu po každém bulk insertu do DB a vytvoření nového před dalším zápisem, najednou zabraná paměť nepřekračuje 60 MB, což je odpovídající.
Člověk se stále učí. 

3

Windows a jiné systémy / ffmpeg hlásí Cannot allocate memory, nedeterministické

« Poslední příspěvek od mikesznovu kdy 10. 10. 2024, 23:16:04 »

Tentokrát z jiného soudkumašiny, 16GB RAM  , snažím se převést na WIndows  10 přes ffmpeg přes qsv akceleraci soubor  a sype to na mě mraky řádků
h264_qsv @ 000001f17227b000] get_buffer() failed
[dec:h264_qsv @ 000001cfad5d9dc0] Error submitting packet to decoder: Cannot allocate memory
Těm předchází (když stihnu stisknout ctrl c než to ustřelí do nebe)
[h264_qsv @ 000001a098f653c0] Failed to allocate a qsv/nv12 frame from a fixed pool of hardware frames.
[h264_qsv @ 000001a098f653c0] Consider setting extra_hw_frames to a larger value (currently set to 8, giving a pool size of 34).

což jsem zkusil.

rádoby nápady od ai vedou k jiným chybám (přidán hwupload:extraframes - jak do filter:v i na začátek -extra_hw_frames)
Error submitting packet to decoder: Unknown error occurred
[AVHWFramesContext @ 000001c2a4e2c080] Could not create the texture (8007000e)
[AVHWFramesContext @ 000001c2a4e2d340] Error initializing a child frames context
[AVHWFramesContext @ 000001c2a4e2d340] Error creating an internal frame pool


Napadlo mě přirozeně , plnost ram.

ale mám využitá:6000, Dostupná 9000, Potvrzeno11000/24000 , vmezi 5700 ,fondy 220 a 230, paměť gpu200/77900 (vystřeluje na 900 max)

Při spuštém systému jako dřív, když to nedělalo. encoding je z h264 do h265/h264_qsv - . Zjistil jsem, ostatně jak píše výpis   ,problém že je na straně dekodéru, ale nejsem si tím jistý.

Začíná to bý zajímavé. Někdy konverze jede bez problému a někdy ne. - stejný příkaz. Většinou když ho ukončím a spustím rychlo po předchozím, se děje ta chyba.
Někdy to začné pálit ty Error až po určité dob konverze
Může být taky memory leak někde v intel mfx runtime? všiml jsem si ,že ta idle spotřeba grafické paměti nyní je 300 MB (ms hlásí kulatých ale  na hovno  0,3GB) - process explorer nyní 260MB, před pul hodinou 210MB-...


co toto může být za chybu ?

jinak soubor: 2GB, 4K yuv420p 30fps, 150Mbps avc

4

Windows a jiné systémy / komentář při dlouhém řádku v cmd.exe

« Poslední příspěvek od mikesznovu kdy 10. 10. 2024, 22:43:12 »

Přehlédl jsem něco, nebo v windows (interaktivní) příkazové řádce nejde zakomentovat zbytek řádku ? Mám nějaký uber dlouhý příkaz přes 5 řádků a chci sipkou nahoru do promptu dát předchozí příkaz,
umazat něco na začátku, nechat třeba 3 slovo  z a něj dát něco jako # , :: , REM ; nebo 🛑 nebo emoji s facepalmem ?


To znamená:
jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf
 změnit na
program .exe /F sjdlkf jslk fjlskdjf /n:4 #  lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf
se rovnat ekvivalentu
program .exe /F sjdlkf jslk fjlskdjf /n:4 #


Nemám myš.  a ctrl + k dělá ^K

a středník  voe   ->>>> program zahlásí : Argument ";" provided asi input filename, but c:\info.txt was already passed
to v microsoftu musel vymýšlel nějak rus ... takže tolik k tomu slavnému středníku v podání microsoftu
a mazat konec řádky držením Del je strašná pr...

5

Vývoj / Re:Produktivita vývojáře v době AI

« Poslední příspěvek od Tomas-T kdy 10. 10. 2024, 22:33:24 »

Já ho používá vcelku často jako náhradu Google.

Např:
- u déle neotevřeného projektu na mě při spouštění vyskočila konkrétní chyba nodemonu (která ale nic neřekla o příčině).
GPTChat navrhl 5 možností, čím by to mohlo být - při jejich prohlédnutí jsem si vzpomněl, že mám globálně asi jinou verzi než dřív - bylo to ono, vyřešeno za 5 minut.

- Potřeboval jsem v LINQ trochu složitější dotaz, o kterém jsem měl představu jak bych ho napsal v čistém SQL. I s popisem zadání odpověď do 2 minut.

- Nedělám jen čistou vývojařinu, píšu pro zákazníky k projektům i dokumenty (popisy, návrhy, analýzy), potřeboval jsem v angličtině něco o Azure Compute layer pro využití v konkrétním projektu tak na 5 stran v přesně definované struktuře (ukázal jsem mu jinou kapitolu stejného dokumentu) - za 10 minut (popis zadání) bylo hotovo.

- Chtěl jsem v SQL hromadně na všech tabulkách v databázi deaktivovat kontrolu cizích klíčů během importu dat skriptem kvůli vzájemným vazbám - za 2 minuty jsem měl SQL skript pro vypnutí i opětovné zapnutí na konci akce.

- Ve Wordu se mi text v cizím dokumentu při psaní zarovnával k dolnímu okraji. Opravdu zpaměti nevím, kde se dá něco takového v konfiguraci nastavit. GPTChat poradil za 2 minuty.

a spousty dalších jednoduchých problémů, které denně řeším - proti hledání na Google v balastu odpovědí nebo v dokumentaci produktu/knihovny/jazyka to šetří čas.
Jak odpověď navrhne jednu nebo více možností, u kódu i vysvětlí, co jednotlivé části dělají.
Samozřejmě občas dělá chyby, ale když ho upozorním, většinou se sám vhodně opraví.

6

Server / Re:Jak zabránit zahlcení systému vyčerpáním RAM

« Poslední příspěvek od RDa kdy 10. 10. 2024, 22:01:59 »

Stroj s 1GB RAM neni vhodny na veci, ktere delate. Anebo pouzivate nevhodny SW

Bezne pracuji s nekolit set GB soubory - a bud si je nactu rucne do ram, nebo je mam v tmpfs.. a pokud se to tam nevejde, tak holt se to streamuje po kouscich.

Tenhle proces je potreba mit pod kontrou, a nepouzivat totalne nevhodne knihovny. Napr. rozdelit soubor na bloky jde A) jak pri cteni (nactu kousek, zpracuji, a tak dokola), anebo hipstersky - B) nactu to cely, rozdelim na casti a zpracuji po castech.

Je evidentni ze autori reseni B netusi jak pocitac funguje a meli by delat neco jineho, nez se venovat IT.


Reseni pro vas: - nastavit OOM aby byl sviznejsi, klidne tak, ze kdyz proces vyzere 90% volneho prostoru, tak at je ukoncen. Normalne se to totiz pousti az kdyz je potreba - na hranici 100%, kdy vsechno ostatni bylo uswapovano, zkomprimovano, uvolneno atd.. vlastne to je asi ta nejvetsi nevyhoda OOM - ze musi pockat az opravdu dojde pamet - a kdyz zrusite napr. diskovou cache, protoze ta potrebna jaksi neni.. tak vsechno bude neskutecne dlouho trvat.

7

Server / Re:Jak zabránit zahlcení systému vyčerpáním RAM

« Poslední příspěvek od alex6bbc kdy 10. 10. 2024, 21:59:12 »

cgroups

8

Vývoj / Re:Produktivita vývojáře v době AI

« Poslední příspěvek od Zdeno Sekerák kdy 10. 10. 2024, 21:51:44 »

Pouzivam ChatGPT ale jenom jako chytry vyhledavac. Fakt je to lepsi nez prochazet tuny odpovedi na stackoverflow. Kdyz odpovi spatne tak ho opravim a necham pregenerovat. Na toto je to dobry.
Zkousel jsem pouzit na vetsi program, chtel jsem funkcni kod na DLMS komunikaci, a nedal to. Stravil jsem s nim hodne hodin. Opravoval jsem po nem kod a nechal ho to prodelavat. Ten stroj ma fakt trpelivost. Haha. Ale nedal to. Ani kdyz uz jsem ho tlacil k nejakemu reseni co jsem vedel ze funguje.
Takze jako evolucne lepsi google rozhodne. Neco vetsiho to je ztrata casu. Taky souhlas ze to vede k spohodlneni. Ze zacatku to jeste kontrolujete pak uz jenom rezignovane pastujete kod a trasujete jestli to dela co ma.

Jo pise to celkem hezke komentare ke kodu.

9

Server / Jak zabránit zahlcení systému vyčerpáním RAM

« Poslední příspěvek od mikesznovu kdy 10. 10. 2024, 21:33:37 »

Opět se mi na linuxu stalo, že mi jedna userspace (skript)aplikace spotřebovala celkovou dostupnou paměť 1024MB (bežně 200MB spotřeba). A ne, není to  pracovní mašina, ale jednoúčelový minipočítač, kde i 640MB musí stačit každému.účelu I když nevím jak je to možné, z 300MB textového souboru jsem chtěl najít pozici stringu, místo toho jsem asi omylem metodou fd.find.toarray nějak způsobil  rozkouskování textu na řádky a převod na pole a snahu to vypsat do REPL. Ale rozhasilo to celý systém, včetně  procesů pod rootem jako sshd,

Stroj reagoval na ping, chvíli ještě fungovalo DNS. Pak už ne. To samé ssh, chvíli se ukázal banner, pak už jen hluchý soket. stejně tak, wireguard spojení taky ještě chvíli šlo.
Překvapivě za 10 minut panikaření pomohlo čapnout monitor, klávesnici a  mačkat Alt, F2, killall node, ani ne naslepo, reagovalo to obstojně a taky jsem se živě podíval do okna zase jednou.. Mimojiné jsem zjistil, že došlo místo na disku na systémové partition microSDkarty, , lokalizoval jsem ho do stejného umístění jako daný 300MB soubor.

JMENOVAL  o jako on a měl příponu SAVE. ale velikost cca poloviční, víc se nevešlo na partition. Tak jsem ho smazal. Předtím jsem zjistil, že nejvíc cpu žral proces "editor ....soubor.txt.save" (což je nějaký jen alias pro zvolený nano,vim,neolbgtmacs, neonevim)

Je nějak možné v linuxu nastavit, aby proces nevyžral celou RAM? on sice pak nějak zafungoval oom a měl jsem v dmesg podpis vraha, že zabil.

Nedám dohromady už časovou souslednost, kdy došlo k spuštění skriptu, kdy zaplnění místa, kdy k zaplnění ram, kdy řádil OOM.




co se vůbec dělo? Mám pocit , že hw měl na krajíčku, podle mmc_Rescan

Kód: [Vybrat]

INFO: task kworker/2:0:12812 blocked for more than 122 seconds.
[  +0,000014]       Tainted: G        WC        5.10.63-v7+ #1496
[  +0,000007] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
[  +0,000008] task:kworker/2:0     state:D stack:    0 pid:12812 ppid:     2 flags:0x00000000
[  +0,000029] Workqueue: events_freezable mmc_rescan
[  +0,000012] Backtrace:
[  +0,000023] [<809f9df0>] (__schedule) from [<809fa7c8>] (schedule+0x68/0xe4)
[  +0,000012]  r10:81ea9800 r9:ffffe000 r8:00000000 r7:00000000 r6:40000113 r5:8f3eae80
[  +0,000007]  r4:ffffe000
[  +0,000013] [<809fa760>] (schedule) from [<80806328>] (__mmc_claim_host+0xe0/0x238)
[  +0,000009]  r5:81ea9a18 r4:00000002
[  +0,000012] [<80806248>] (__mmc_claim_host) from [<808064b8>] (mmc_get_card+0x38/0x3c)
[  +0,000011]  r10:00000000 r9:00000000 r8:00000080 r7:b776bd00 r6:81ea9a18 r5:00000000
[  +0,000008]  r4:81eaa800
[  +0,000012] [<80806480>] (mmc_get_card) from [<80810144>] (mmc_sd_detect+0x24/0x7c)
[  +0,000008]  r5:81ea9800 r4:81ea9800

[  +0,000014] Workqueue: kblockd blk_mq_run_work_fn
[  +0,000007] Backtrace:
[  +0,000016] [<809f0cb0>] (dump_backtrace) from [<809f1040>] (show_stack+0x20/0x24)
[  +0,000008]  r7:ffffffff r6:00000000 r5:60000193 r4:80fe5e54
[  +0,000010] [<809f1020>] (show_stack) from [<809f5250>] (dump_stack+0xcc/0xf8)
[  +0,000011] [<809f5184>] (dump_stack) from [<80303898>] (warn_alloc+0xd4/0x164)
[  +0,000009]  r10:00040800 r9:80f05008 r8:ffffe000 r7:80d18638 r6:00000000 r5:00000000
[  +0,000005]  r4:80f05008 r3:9a21c83e
[  +0,000008] [<803037c4>] (warn_alloc) from [<803049e8>] (__alloc_pages_nodemask+0x10c0/0x1184)
[  +0,000006]  r3:00000000 r2:80d18638
[  +0,000007]  r8:00000000 r7:00000000 r6:00000008 r5:00000001 r4:00000800


nějaký memy nfo

Kód: [Vybrat]

Mem-Info:
[  +0,000016] active_anon:9913 inactive_anon:178904 isolated_anon:0
               active_file:52 inactive_file:916 isolated_file:0
               unevictable:4 dirty:0 writeback:0
               slab_reclaimable:4508 slab_unreclaimable:7646
               mapped:7567 shmem:23022 pagetables:2289 bounce:0
               free:4547 free_pcp:0 free_cma:640
[  +0,000013] Node 0 active_anon:39652kB inactive_anon:715616kB active_file:208kB inactive_file:3664kB unevictable:16kB isolated(anon):0kB isolated(file):0kB mapped:30268kB dirty:0kB writeback:0kB92088kB writeback_tmp:0kB kernel_stack:2528kB all_unreclaimable? yes
[  +0,000016] DMA free:18188kB min:16384kB low:20480kB high:24576kB reserved_highatomic:0KB active_anon:39652kB inactive_anon:715616kB active_file:248kB inactive_file:3696kB unevictable:16kB write:0kB present:917504kB managed:892204kB mlocked:16kB pagetables:9156kB bounce:0kB free_pcp:0kB local_pcp:0kB free_cma:2560kB
po zabití

Kód: [Vybrat]

[  +0,000009] oom-kill:constraint=CONSTRAINT_NONE,nodemask=(null),cpuset=/,mems_allowed=0,global_oom,task_memcg=/,task=node,pid=14707,uid=1000
[  +0,000064] Out of memory: Killed process 14707 (node) total-vm:494324kB, anon-rss:471572kB, file-rss:0kB, shmem-rss:0kB, UID:1000 pgtables:486kB oom_score_adj:0
[  +0,082600] oom_reaper: reaped process 14707 (node), now anon-rss:0kB, file-rss:0kB, shmem-rss:0kB

jde nějak v linuxu nastavit, aby nebylo možné  zahltit všechnu RAM? whitelistem si myslím, že by to byl zdlouhavý přístup (služeb běží dost) a blacklist zase nezamíří na předem neznámé scénáře-procesy (dneska node, zítra julia)

10

Hardware / Re:Zigbee brána spolupracující s Raspberry Pi

« Poslední příspěvek od BigSandy kdy 10. 10. 2024, 21:31:59 »

Tak přece jen jeden dotaz.
Provozuje někdo Zigbee2MQTT na linuxu? Ne v HA.
Jak zalohovat sparovane zařizeni?
Přes web. rozhrani jsem našel v nastavení Request Z2m backup.
Chci si koupit pod vypinače toto.
https://aliexpress.com/item/1005007541192244.html
No a když se mi něco posere v raspberry, tak budu muset všechny vypinače rozšroubovat, abych zařizení znovu sparoval.