Poslední příspěvky

1

Server / Re:Jak zabránit zahlcení systému vyčerpáním RAM

« Poslední příspěvek od mikesznovu kdy Dnes v 01:21:41 »

Stroj s 1GB RAM neni vhodny na veci, ktere delate.

On to byl šlendrián srozumitelnost terminilogie api.
Tak schválně, co podle vás dělá metoda find na descriptoru/objektu otevř. souboru?

2

Server / Re:Jak zabránit zahlcení systému vyčerpáním RAM

« Poslední příspěvek od _Tomáš_ kdy Dnes v 01:16:12 »

pravidelně spouštíme s memory bombou, představa, že mi uživatelský proces zbortí produkční server se mi prostě nelíbí, to by se stávat nemělo nikdy.

Ideálně z toho udělat systemd službičku a nastavit paměť, pokud se ti to nechce dělat, tak quick&dirty řešení je si spustit screen a v něm příkaz

systemd-run --scope -p MemoryMax=250M -p MemoryHigh=200M bash

který ti vytvoří shell s omezením paměti na 250MB, počítá se celkově za všechny spuštěné procesy v tomto shellu. Nevýhoda je, že k tomu potřebuješ být root.

3

Windows a jiné systémy / Re:komentář při dlouhém řádku v cmd.exe

« Poslední příspěvek od Tomas-T kdy 10. 10. 2024, 23:48:26 »

Klasická CMD příkazová řádka ve Windows/DOSu nic takového nepodporuje ani nikdy nepodporovala.
# jako označení komentáře nefunguje vůbec, REM jen když je uvedený jako výkonný příkaz na samostatném řádku, ne jako command line parametr předchozího příkazu.
ALE:
Pokud se přepnete do konzole PowerShellu, tak by výše uvedený příkaz s # pro oddělení komentáře měl normálně fungovat - mně funguje.

4

Server / Re:Jak zabránit zahlcení systému vyčerpáním RAM

« Poslední příspěvek od Tomas-T kdy 10. 10. 2024, 23:37:18 »

Povedlo se mi minulý týden skoro zahltit paměť serveru u zákazníka pouštěním vcelku jednoduché command line utilitky načítající z jedné strany miliony záznamů v CSV a ukládající je do DB přes EF. V testu se pracovalo jen s malými vzorky dat, takže to nebylo vidět.
Přesto, že jsem zapsané věci po zapsání do DB poctivě uvolňoval, bylo po pár hodinách běhu programu zabráno 10 GB RAM, protože EF si držel reference na už uvolněné objekty a GC to odmítal smazat.
Vyřešilo to až zahození celého EF kontextu po každém bulk insertu do DB a vytvoření nového před dalším zápisem, najednou zabraná paměť nepřekračuje 60 MB, což je odpovídající.
Člověk se stále učí. 

5

Windows a jiné systémy / ffmpeg hlásí Cannot allocate memory, nedeterministické

« Poslední příspěvek od mikesznovu kdy 10. 10. 2024, 23:16:04 »

Tentokrát z jiného soudkumašiny, 16GB RAM  , snažím se převést na WIndows  10 přes ffmpeg přes qsv akceleraci soubor  a sype to na mě mraky řádků
h264_qsv @ 000001f17227b000] get_buffer() failed
[dec:h264_qsv @ 000001cfad5d9dc0] Error submitting packet to decoder: Cannot allocate memory
Těm předchází (když stihnu stisknout ctrl c než to ustřelí do nebe)
[h264_qsv @ 000001a098f653c0] Failed to allocate a qsv/nv12 frame from a fixed pool of hardware frames.
[h264_qsv @ 000001a098f653c0] Consider setting extra_hw_frames to a larger value (currently set to 8, giving a pool size of 34).

což jsem zkusil.

rádoby nápady od ai vedou k jiným chybám (přidán hwupload:extraframes - jak do filter:v i na začátek -extra_hw_frames)
Error submitting packet to decoder: Unknown error occurred
[AVHWFramesContext @ 000001c2a4e2c080] Could not create the texture (8007000e)
[AVHWFramesContext @ 000001c2a4e2d340] Error initializing a child frames context
[AVHWFramesContext @ 000001c2a4e2d340] Error creating an internal frame pool


Napadlo mě přirozeně , plnost ram.

ale mám využitá:6000, Dostupná 9000, Potvrzeno11000/24000 , vmezi 5700 ,fondy 220 a 230, paměť gpu200/77900 (vystřeluje na 900 max)

Při spuštém systému jako dřív, když to nedělalo. encoding je z h264 do h265/h264_qsv - . Zjistil jsem, ostatně jak píše výpis   ,problém že je na straně dekodéru, ale nejsem si tím jistý.

Začíná to bý zajímavé. Někdy konverze jede bez problému a někdy ne. - stejný příkaz. Většinou když ho ukončím a spustím rychlo po předchozím, se děje ta chyba.
Někdy to začné pálit ty Error až po určité dob konverze
Může být taky memory leak někde v intel mfx runtime? všiml jsem si ,že ta idle spotřeba grafické paměti nyní je 300 MB (ms hlásí kulatých ale  na hovno  0,3GB) - process explorer nyní 260MB, před pul hodinou 210MB-...


co toto může být za chybu ?

jinak soubor: 2GB, 4K yuv420p 30fps, 150Mbps avc

6

Windows a jiné systémy / komentář při dlouhém řádku v cmd.exe

« Poslední příspěvek od mikesznovu kdy 10. 10. 2024, 22:43:12 »

Přehlédl jsem něco, nebo v windows (interaktivní) příkazové řádce nejde zakomentovat zbytek řádku ? Mám nějaký uber dlouhý příkaz přes 5 řádků a chci sipkou nahoru do promptu dát předchozí příkaz,
umazat něco na začátku, nechat třeba 3 slovo  z a něj dát něco jako # , :: , REM ; nebo 🛑 nebo emoji s facepalmem ?


To znamená:
jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf
 změnit na
program .exe /F sjdlkf jslk fjlskdjf /n:4 #  lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf jlsdjflk sjdlkf jslk fjlskdjf lsdjf lfsddjf lskdjf lksdjl ksdj ldsjf lksdjf lsdf
se rovnat ekvivalentu
program .exe /F sjdlkf jslk fjlskdjf /n:4 #


Nemám myš.  a ctrl + k dělá ^K

a středník  voe   ->>>> program zahlásí : Argument ";" provided asi input filename, but c:\info.txt was already passed
to v microsoftu musel vymýšlel nějak rus ... takže tolik k tomu slavnému středníku v podání microsoftu
a mazat konec řádky držením Del je strašná pr...

7

Vývoj / Re:Produktivita vývojáře v době AI

« Poslední příspěvek od Tomas-T kdy 10. 10. 2024, 22:33:24 »

Já ho používá vcelku často jako náhradu Google.

Např:
- u déle neotevřeného projektu na mě při spouštění vyskočila konkrétní chyba nodemonu (která ale nic neřekla o příčině).
GPTChat navrhl 5 možností, čím by to mohlo být - při jejich prohlédnutí jsem si vzpomněl, že mám globálně asi jinou verzi než dřív - bylo to ono, vyřešeno za 5 minut.

- Potřeboval jsem v LINQ trochu složitější dotaz, o kterém jsem měl představu jak bych ho napsal v čistém SQL. I s popisem zadání odpověď do 2 minut.

- Nedělám jen čistou vývojařinu, píšu pro zákazníky k projektům i dokumenty (popisy, návrhy, analýzy), potřeboval jsem v angličtině něco o Azure Compute layer pro využití v konkrétním projektu tak na 5 stran v přesně definované struktuře (ukázal jsem mu jinou kapitolu stejného dokumentu) - za 10 minut (popis zadání) bylo hotovo.

- Chtěl jsem v SQL hromadně na všech tabulkách v databázi deaktivovat kontrolu cizích klíčů během importu dat skriptem kvůli vzájemným vazbám - za 2 minuty jsem měl SQL skript pro vypnutí i opětovné zapnutí na konci akce.

- Ve Wordu se mi text v cizím dokumentu při psaní zarovnával k dolnímu okraji. Opravdu zpaměti nevím, kde se dá něco takového v konfiguraci nastavit. GPTChat poradil za 2 minuty.

a spousty dalších jednoduchých problémů, které denně řeším - proti hledání na Google v balastu odpovědí nebo v dokumentaci produktu/knihovny/jazyka to šetří čas.
Jak odpověď navrhne jednu nebo více možností, u kódu i vysvětlí, co jednotlivé části dělají.
Samozřejmě občas dělá chyby, ale když ho upozorním, většinou se sám vhodně opraví.

8

Server / Re:Jak zabránit zahlcení systému vyčerpáním RAM

« Poslední příspěvek od RDa kdy 10. 10. 2024, 22:01:59 »

Stroj s 1GB RAM neni vhodny na veci, ktere delate. Anebo pouzivate nevhodny SW

Bezne pracuji s nekolit set GB soubory - a bud si je nactu rucne do ram, nebo je mam v tmpfs.. a pokud se to tam nevejde, tak holt se to streamuje po kouscich.

Tenhle proces je potreba mit pod kontrou, a nepouzivat totalne nevhodne knihovny. Napr. rozdelit soubor na bloky jde A) jak pri cteni (nactu kousek, zpracuji, a tak dokola), anebo hipstersky - B) nactu to cely, rozdelim na casti a zpracuji po castech.

Je evidentni ze autori reseni B netusi jak pocitac funguje a meli by delat neco jineho, nez se venovat IT.


Reseni pro vas: - nastavit OOM aby byl sviznejsi, klidne tak, ze kdyz proces vyzere 90% volneho prostoru, tak at je ukoncen. Normalne se to totiz pousti az kdyz je potreba - na hranici 100%, kdy vsechno ostatni bylo uswapovano, zkomprimovano, uvolneno atd.. vlastne to je asi ta nejvetsi nevyhoda OOM - ze musi pockat az opravdu dojde pamet - a kdyz zrusite napr. diskovou cache, protoze ta potrebna jaksi neni.. tak vsechno bude neskutecne dlouho trvat.

9

Server / Re:Jak zabránit zahlcení systému vyčerpáním RAM

« Poslední příspěvek od alex6bbc kdy 10. 10. 2024, 21:59:12 »

cgroups

10

Vývoj / Re:Produktivita vývojáře v době AI

« Poslední příspěvek od Zdeno Sekerák kdy 10. 10. 2024, 21:51:44 »

Pouzivam ChatGPT ale jenom jako chytry vyhledavac. Fakt je to lepsi nez prochazet tuny odpovedi na stackoverflow. Kdyz odpovi spatne tak ho opravim a necham pregenerovat. Na toto je to dobry.
Zkousel jsem pouzit na vetsi program, chtel jsem funkcni kod na DLMS komunikaci, a nedal to. Stravil jsem s nim hodne hodin. Opravoval jsem po nem kod a nechal ho to prodelavat. Ten stroj ma fakt trpelivost. Haha. Ale nedal to. Ani kdyz uz jsem ho tlacil k nejakemu reseni co jsem vedel ze funguje.
Takze jako evolucne lepsi google rozhodne. Neco vetsiho to je ztrata casu. Taky souhlas ze to vede k spohodlneni. Ze zacatku to jeste kontrolujete pak uz jenom rezignovane pastujete kod a trasujete jestli to dela co ma.

Jo pise to celkem hezke komentare ke kodu.