Příspěvky

16

Server / Re:RAM Memory Cache a Buffer

« kdy: 21. 02. 2022, 15:01:01 »

Díky za reakci. Ta tvoje trepnutá blbost mě navedla akorád na to, že vůbec netuším co většina těch procesů znamená. Pokud bych se zabejval těma co se jmenujou loopx tak pokud správně rozumím číslům PID tak se spustí dřív než je vůbec předáno řízení auživatelským programům. Z toho bych si tedy myslel, že je to součástí systému. Na tom stroji není ani nic extra nainstalováno...jen SSH, VPN, grafana. Pak tam běží pár mých procesů kdy některé jen kopírují data a jiné komunikujou s TCP a ukládají do databáze (SQlite). Když to stejné běží na fyzickém stroji žádný problémy nejsou.

Ono je to ale ve finále všechno jedno, jediné co se děje že poskytovatel VPN odstaví ten virtuální stoj a pošle mail. Já ho nastartuju a jede se dál. Celej ten projekt je čistě amatérskej a stejně tak k tomu přistupujou všichni uživatelé, takže to nikoho neuráží....jen mě :-D

17

Server / Re:RAM Memory Cache a Buffer

« kdy: 21. 02. 2022, 09:57:57 »

Ahoj, nabízím pokračování toho co se tu už řešilo, neboť po několika týdnech mám konečně výsledky co se na tom VPS děje. Závěr je to, že ten VPS podle mě pracuje špatně a nevidím chybu u sebe (samozřejmě připouštím, že jsem něco přehlédnul, něčemu neporozumněl, nebo nemám dostatečné znalosti a zkušenosti). Došel jsem k tomu tak, že jsem si každé tři sekundy logoval výsledek z příkazu top. Najednou se ale stane to, že z ničeho nic ten příkaz top přestane pracovat a vrací nulové hodnoty, po několika sekundách chcípne úplně celý systém. Poslední log (ani logy předtím) neukazuje na nic neobvyklého.
Neměl by ještě někdo nějaký nápad na základě těchto nových skutečností?

Výpis posledního top před zhroucením:

Kód: [Vybrat]

top - 09:00:52 up 2 days, 19:35,  0 users,  load average: 0.12, 0.08, 0.08
Tasks: 103 total,   1 running, 102 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.0 us,  6.2 sy,  0.0 ni, 87.5 id,  0.0 wa,  0.0 hi,  6.2 si,  0.0 st
MiB Mem :   1983.4 total,    160.4 free,    216.1 used,   1606.9 buff/cache
MiB Swap:   2355.0 total,   2353.7 free,      1.3 used.   1584.3 avail Mem 

    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
 585042 root      20   0       0      0      0 I   6.7   0.0   0:28.97 kworker+
 677495 root      20   0    9120   3584   3140 R   6.7   0.2   0:00.01 top
      1 root      20   0  168848  12648   8168 S   0.0   0.6   0:20.57 systemd
      2 root      20   0       0      0      0 S   0.0   0.0   0:00.04 kthreadd
      3 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 rcu_gp
      4 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 rcu_par+
      6 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 kworker+
      8 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 mm_perc+
      9 root      20   0       0      0      0 S   0.0   0.0   3:30.42 ksoftir+
     10 root      20   0       0      0      0 I   0.0   0.0   7:57.32 rcu_sch+
     11 root      rt   0       0      0      0 S   0.0   0.0   0:00.55 migrati+
     12 root     -51   0       0      0      0 S   0.0   0.0   0:00.00 idle_in+
     14 root      20   0       0      0      0 S   0.0   0.0   0:00.00 cpuhp/0
     15 root      20   0       0      0      0 S   0.0   0.0   0:00.00 kdevtmp+
     16 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 netns
     17 root      20   0       0      0      0 S   0.0   0.0   0:00.00 rcu_tas+
     18 root      20   0       0      0      0 S   0.0   0.0   0:00.00 kauditd
     19 root      20   0       0      0      0 S   0.0   0.0   0:00.07 khungta+
     20 root      20   0       0      0      0 S   0.0   0.0   0:00.00 oom_rea+
     21 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 writeba+
     22 root      20   0       0      0      0 S   0.0   0.0   0:00.00 kcompac+
     23 root      25   5       0      0      0 S   0.0   0.0   0:00.00 ksmd
     24 root      39  19       0      0      0 S   0.0   0.0   0:00.00 khugepa+
     70 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 kintegr+
     71 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 kblockd
     72 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 blkcg_p+
     73 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 tpm_dev+
     74 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 ata_sff
     75 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 md
     76 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 edac-po+
     77 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 devfreq+
     78 root      rt   0       0      0      0 S   0.0   0.0   0:00.00 watchdo+
     80 root      20   0       0      0      0 S   0.0   0.0   0:00.59 kswapd0
     81 root      20   0       0      0      0 S   0.0   0.0   0:00.00 ecryptf+
     83 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 kthrotld
     84 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 acpi_th+
     85 root      20   0       0      0      0 S   0.0   0.0   0:00.00 scsi_eh+
     86 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 scsi_tm+
     87 root      20   0       0      0      0 S   0.0   0.0   0:00.00 scsi_eh+
     88 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 scsi_tm+
     90 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 vfio-ir+
     92 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 ipv6_ad+
    101 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 kstrp
    104 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 kworker+
    118 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 charger+
    120 root       0 -20       0      0      0 I   0.0   0.0   0:09.47 kworker+
    201 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 raid5wq
    252 root      20   0       0      0      0 S   0.0   0.0   0:18.92 jbd2/vd+
    253 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 ext4-rs+
    329 root      19  -1   96528  45216  43980 S   0.0   2.2   1:46.10 systemd+
    358 root      20   0    2488    584    516 S   0.0   0.0   0:00.00 none
    371 root      20   0   21288   5256   3932 S   0.0   0.3   0:01.95 systemd+
    540 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 kaluad
    541 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 kmpath_+
    542 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 kmpathd
    543 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 kmpath_+
    544 root      rt   0  280208  17992   8200 S   0.0   0.9   0:21.06 multipa+
    553 root       0 -20       0      0      0 S   0.0   0.0   0:00.00 loop0
    555 root       0 -20       0      0      0 S   0.0   0.0   0:00.00 loop1
    557 root       0 -20       0      0      0 S   0.0   0.0   0:00.00 loop2
    558 root       0 -20       0      0      0 S   0.0   0.0   0:00.00 loop3
    560 root       0 -20       0      0      0 S   0.0   0.0   0:00.00 loop4
    563 root       0 -20       0      0      0 S   0.0   0.0   0:00.00 loop5
    564 root       0 -20       0      0      0 S   0.0   0.0   0:00.00 loop6
    581 systemd+  20   0   90196   5924   5152 S   0.0   0.3   0:01.50 systemd+
    623 systemd+  20   0   18380   7388   6536 S   0.0   0.4   0:07.47 systemd+
    625 systemd+  20   0   23860  11892   7984 S   0.0   0.6   0:06.79 systemd+
    636 root      20   0  236084   7516   6328 S   0.0   0.4   0:24.36 account+
    639 root      20   0    6812   2784   2520 S   0.0   0.1   0:03.02 cron
    640 message+  20   0    7828   4632   3688 S   0.0   0.2   0:01.62 dbus-da+
    651 root      20   0   29340  15056   7304 S   0.0   0.7   0:01.98 network+
    653 root      20   0   10324   5900   4620 S   0.0   0.3   0:21.58 openvpn
    654 root      20   0    9692   5236   4532 S   0.0   0.3   0:05.18 openvpn
    656 syslog    20   0  224348   4748   3216 S   0.0   0.2   0:16.87 rsyslogd
    662 root      20   0   17256   7848   6684 S   0.0   0.4   0:00.78 systemd+
    664 daemon    20   0    3792   2100   1924 S   0.0   0.1   0:00.00 atd
    714 root      20   0   12176   6512   5584 S   0.0   0.3   0:19.87 sshd
    747 root      20   0    5828   1576   1464 S   0.0   0.1   0:00.00 agetty
    759 root      20   0  107908  15440   8072 S   0.0   0.8   0:00.12 unatten+
    766 irma      20   0   18392   9600   8048 S   0.0   0.5   0:00.16 systemd
    771 irma      20   0  103244   3292      0 S   0.0   0.2   0:00.00 (sd-pam)
    778 root      20   0  232716   6552   5856 S   0.0   0.3   0:00.05 polkitd
    913 irma      20   0    7084   2208   1820 S   0.0   0.1   0:17.21 screen
    915 irma      20   0    6952   2052   1792 S   0.0   0.1   0:00.00 screen
    917 irma      20   0    6892   2276   2044 S   0.0   0.1   0:00.00 start_b+
    918 irma      20   0    7024   2572   2124 S   0.0   0.1   0:00.00 start_m+
    919 irma      20   0   10352   2236   1768 S   0.0   0.1   1:44.96 main
 169967 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 xfsalloc
 169975 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 xfs_mru+
 169981 root      20   0       0      0      0 S   0.0   0.0   0:00.00 jfsIO
 169982 root      20   0       0      0      0 S   0.0   0.0   0:00.00 jfsComm+
 169983 root      20   0       0      0      0 S   0.0   0.0   0:00.00 jfsSync
 316561 irma      20   0  333968  31272   7444 S   0.0   1.5  49:55.47 main
 416282 root      20   0  725792  42116  19368 S   0.0   2.1   0:07.49 snapd
 668599 grafana   20   0 1304764  81720  53960 S   0.0   4.0   0:10.34 grafana+
 668777 grafana   20   0 1306740  19128  11268 S   0.0   0.9   0:02.24 gpx_sql+
 670932 root      20   0       0      0      0 I   0.0   0.0   0:00.00 kworker+
 675275 root      20   0       0      0      0 I   0.0   0.0   0:00.12 kworker+
 676194 root      20   0       0      0      0 I   0.0   0.0   0:00.02 kworker+
 677044 root      20   0       0      0      0 I   0.0   0.0   0:00.00 kworker+
 677294 root      20   0    8352   3284   2612 S   0.0   0.2   0:00.00 cron
 677299 root      20   0    2608    612    540 S   0.0   0.0   0:00.00 sh
 677303 root      20   0    6892   3184   2940 S   0.0   0.2   0:00.03 system_+ 

Printscreen seznamu logů v příloze.

18

Hardware / Re:P8266MODES - čtečka RFID karet s displejem

« kdy: 15. 01. 2022, 17:40:35 »

Dovolil bych si rozporovat to, že v ESP8266 je jen jedno SDA. I2C je pokud si dobře pamatuji v tomto čipu řešeno čistě softwarově, takže SDA nemusí být svázáno jen s jednou pinožkou.

19

Server / Re:RAM Memory Cache a Buffer

« kdy: 04. 01. 2022, 01:01:44 »

V momentě kdy ten stroj sežere 100% CPU, dá se zjistit, čím je procesor konkrétně vytížený?

Na tomhle teď pracuju, takže bych to snad měl vědět příští cyklus zhroucení pokud se to povede zachytit. Napsal jsem si pro to krásnej a asi dost úchylnej script kterej se spouští každou minutu :-)

#!/bin/bash
for i in {1..19}
do
  currentDate=`date +"%Y-%m-%d_%T"`
  currentMoon=`date +"%m"`
  currentDay=`date +"%d"`

  mkdir -p /home/irma/MONITOR/$currentMoon/$currentDay

  #echo $currentTime
  top -b -n 1 > /home/irma/MONITOR/$currentMoon/$currentDay/$currentDate
  gzip /home/irma/MONITOR/$currentMoon/$currentDay/$currentDate
  sleep 3
done

Možná to nebude fungovat, ale nic lepšího co mi nezabralo moc času na napsání mě nenapadlo.

20

Server / Re:RAM Memory Cache a Buffer

« kdy: 04. 01. 2022, 00:11:26 »

vm.vfs_cache_pressure=500
vm.swappiness=100
vm.dirty_bytes=16638608
vm.dirty_background_bytes=8319304

Našel jsem ještě tenhle odkaz kde se ty parametry vysvětlujou takže aspoň člověk má trochu povědomí co nastavuje: https://letsfoss.com/managing-swap-memory-in-ubuntu/

Tam jsou ty hodnoty trošku v rozporu s tím co píšeš. Takže s těmi hodnotami budu experimentovat.
Zjistil jsem, že jak vm.dirty_bytes, tak vm.dirty_background_bytes jsou v mé konfiguraci nulové takže je nechám na nule.

Kód: [Vybrat]

cat /sys/kernel/mm/hugepages/hugepages-*/nr_hugepages

se provedlo s nulovým výsledkem.

Teď nezbývá než čekat...trvá to cca týden než to zbuchne.

21

Server / Re:RAM Memory Cache a Buffer

« kdy: 03. 01. 2022, 20:57:09 »

Díky za reakci a za odkazy. Kontroverzní to asi je, soudě podle jednoho jediného komentáře k problému. Snažil jsem se odkazy pročíst a trochu tomu porozumět, jedno z toho se mi povedlo, ale o úspěšnosti toho druhého dost pochybuji :-D

Po načerpání nových teoretických poznatků mi došlo, že jsem možná zapomněl napsat parametry toho VPS:
2GB RAM, 20GB SSD DISK, 1 CPU Core

Také jsem napsal špatně, že ten server se po vyčerpání paměti zhroutí. To vlastně není pravda, stane se to, že výkon CPU jde na 100%. Provozovatel VPS v mém případě neumožňuje dlouhodobé vytížení VPS a tak ho vypne.

Pokud to správně chápu tak problém je v tom, že se jedná o VPS o jehož konfiguraci nic nevím a asi s ní nic neudělám viz citace od savvinov:

In many cases, memory fragmentation can be reduced by tweaking VM parameters. Of course, as with any low-level change, you really need to know what you are doing, so it’s best to get a consult from a Linux expert, or from Oracle support in an SR (and do some good testing).

Třeba to nikam nepovede, ale budu pokračovat v laborování...
Provedl jsem opakovaně:

Kód: [Vybrat]

free -h

Kód: [Vybrat]

               total        used        free      shared  buff/cache   available
Mem:          1.9Gi       201Mi       994Mi       2.0Mi       791Mi       1.6Gi
Swap:         2.3Gi          0B       2.3Gi

1. Hodnota Swap je stále na nule a nikdy jsem neviděl, že by se pohnula. Zdá se, že tento prostor se vůbec nepoužívá.
2. buff/cache postupně pomalu v čase roste.

Snažím se stále pochopit jak bych tomu mohl pomoci jinak než nějakým násilným způsobem za jaký je možná považováno

Kód: [Vybrat]

echo 3 > /proc/sys/vm/drop_caches

, ale nic jiného mě v tuhle chvíli nenapadá, protože mi to příjde, že to není věcí programů, které používám, ale věcí systému který rozhodně nemám plně pod svou kontrolou.

22

Server / RAM Memory Cache a Buffer

« kdy: 03. 01. 2022, 12:05:49 »

Ahoj, provozuju dva servery s ubuntu. Jeden mám fyzicky a druhej používá VPS. Na obou serverech jede stejnej software. Ten fyzizkej používám pro ladění a vývoj a na tom VPS provozuju finální aplikaci. Jen poznámka, že vše provozuju dost amatérsky a nejsem úplně IT odborník.

Poslední dobou se mi na tom VPS začlo dít, že mi začla růst hodnota buff/cache z výpisu htop. Roste v podstatě až do maxima než server spadne. Na tom fyzickém stroji se to neděje což je pro mě záhada, ale to mi zas tak nevadí.

Chtěl bych se tedy zeptat co to vlastně to buff/cache je? Zkoušel jsem porovnávat dva různé záznamy z výstupu htop před a po nárůstu buff/cache a snažil se najít v které aplikaci paměť je, ale došel jsem k závěru že žádná spuštěná aplikace tuto paměť nepoužívá. Nebo jsem to nenašel.

Pak jsem narazil na tento odkaz:
https://www.geeksforgeeks.org/how-to-clear-ram-memory-cache-buffer-and-swap-space-on-linux/

Když jsem provedl to co tam popisujou paměť se skutečně uvolnila a serveru se ulehčilo. Píšou tam také, že se to provádí každé tři hodiny. Chci se tedy ještě zeptat, jestli návod v tomto odkazu je správná cesta ke stabilitě serveru.
Dík

23

/dev/null / Re:Cestovanie v čase - cestovanie do minulosti

« kdy: 08. 12. 2021, 07:14:37 »

To jsou ty správné uvědomělé témata s kterými to dotáhneš nejdál.

Osobně si myslím, že jediná uvědomělá témata jsou udržování rodiných vztahů, hraní si s dětmi a mazlení s manželkou.

Díky dobře udržovaným rodiným vztahům můžeš i "cestovat do minulosti", dětem pomáhat tvořit budoucnost a s manželkou prožívat tu sladkou realitu. Jediná podmínka, je to, že nesmíš chodit do práce abys na tohle všechno měl čas a sílu :-D

24

Server / Re:SQLite databaze a delete

« kdy: 17. 09. 2021, 21:36:15 »

Krasny dik za nakopnuti rovnou do toho spravnyho...stacilo dat v jiz vytvorenem souboru pragma auto_vacuum = FULL a zda se ze to dela to co chci. Tohle by me nikdy nenepadlo. Dik moc.

25

Server / SQLite databáze a delete

« kdy: 17. 09. 2021, 20:02:53 »

Ahoj chtel bych se zeptat, za by me nekdo nemohl nasmerovat pripadne vysvetlit. Mam databazovy soubor v SQlite databazi a v nem mam tabulku ve ktere jsou obecne udaje a cas. Protoze mam databazove soubory ktere maji uz kolem 100000 zaznamu za nekolik let, rekl jsem si, ze si vytvorim pomocnej databazovej soubor a v nem budu mit jen data za posledni dva mesice. To vsechno mi funguje, ale prekvapilo me, ze puvodni soubor s temi 100000 zaznamy a novy soubor, ktery ma jen nekolik tisic zaznamu maji priblizne stejnou velikost. Je to v poradku? Resim to z toho duvodu, ze ta data pak vizualizuju v grafane. Pokud mam v databazi jen par zaznamu tak to funguje vcelku svizne, jakmile jich je tam ale tisice tak je odezva dost pomala coz se mi nelibi. Rikal jsem si, ze by mi redukce tech dat mohla pomoci, ale ted si nejsem jistej jestli je to spravna cesta. Dik.

26

Bazar / Re:Sháním starý notebook

« kdy: 07. 04. 2021, 23:57:47 »

a ma to smysl?

dej deckam emulator starych osmibitu at si zahrajou retro hry v emulatoru.
windows 98 by sly taky spustit ve virtualu ne?!

Máš pravdu, pro děcka to určitě smysl nemá...já jsem totiž tak trošku kecal a chci to hlavně pro sebe :-D

27

Bazar / Re:Sháním starý notebook

« kdy: 07. 04. 2021, 20:28:26 »

Toshiba Satellite Pro 4300, vč. licenčního štítku Win98
K osobnímu odběru Praha 2, 9-17h.

Zdravím...Vaše nabídka je řekl bych z těch jediných dvou ta lepší. Pokud by tedy platilo, že uděláme výměnu, tak bych to bral. Můžete mi na sebe poslat kontakt. Děkuji.

28

Vývoj / Re:Výroba multiplatformní aplikace s GUI v Javě

« kdy: 07. 04. 2021, 20:22:01 »

JavaFX port a gluon je z pohledu multiplatformnosti docela použitelné řešení. Spolupracuji na vývoji jedné aplikace (ne jako programátor, ale jako zadavatel), která je v tomto psaná a skutečně aplikace funguje stejně na androidu, linuxu i na MACu. Na ničem jiném jsem to neviděl, ale asi to bude fungovat. Toto byl totiž jeden z důvodů proč jsme tento projekt chtěli podpořit. Bohužel aktuální situace je taková, že po několika letech se celý projekt zahodil a začalo se znovu a to NEmultiplatformní cestou. Důvodem je podle programátora:
1. Pomalá reakce vývojářů JavaFXPortu na stále se zrychlující tempo vývoje mobilních technologií. A díky tomu nutnost stále něco znásilňovat.
2. Samotná multiplatformnost se ukázala jako problém, protože každý OS se trochu jinak ovládá a je potřeba tvořit specifické vyjímky.
3. Nová finanční politika JavaFX vývojářů způsobila, že se projekt pokud se nehodlá prodávat nevyplatí financovat. Původně tuším stačilo za pár desítek dolarů zakoupit přístup na pár tejdnů. Nyní je to asi na rok a cena je vysoká. Toto asi neplatí pokud si člověk vyvíjí aplikaci jen pro sebe. Pak je to možná s nějakým omezením "zadarmo".

29

Bazar / Sháním starý notebook

« kdy: 07. 04. 2021, 10:26:20 »

Ahoj, nemáte někdo k dispozici a chtěl by jste se zbavit starého notebooku (např: Compaq N600C nebo starší), který by uměl Windows 98?

Chtěl bych pro si pro děti udělat takové menší muzeum a také by se mi líbilo si občas zavzpomínat. Vyměnil bych ho za DELL LATITUDE D510. Baterie už sice nevydrží, ale dá se repasovat a mám k němu i disketovou mechaniku do slotu kam se strká DVD mechanika.

Ten dell bych na to použil strašně rád protože je funkční a má pěknej monitor, ale bohužel se mi nepovedlo sehnat ovladače na grafickou kartu. Tím pádem je pro mě v dnešní době nepoužitelnej. Případně ho prodám, za jeho cenu za jakou se na netu prodává se dá sehnat i takovej co by mi vyhovoval. Dík za nabídky a nápady.

30

/dev/null / Re:Práce pro české společnosti

« kdy: 31. 03. 2021, 09:14:05 »

Ahoj, já měl asi před půl rokem možná podobnej pocit. Dokonce už jsem si scháněl místo u hasičů, abych mohl jen chrápat v práci a chodit do posilky. Pak se mi ale po covidu udělalo líp, pěkně jsem se vylil, přeformátoval si pár bloků v mozku a už se mi zase chce makat...