Obrovská cache paměti

Re:Obrovská cache paměti
« Odpověď #15 kdy: 08. 06. 2021, 12:51:00 »
Na aplikaci se neptam ,ale xo je to zac? (Domaci c, herni masina, server, strihacsky komp)

Nebezi tam prave nejaky souborovy ci jinyserver?


Re:Obrovská cache paměti
« Odpověď #16 kdy: 08. 06. 2021, 19:18:56 »
Přidáno do sysctl, ale restartovat to teď nemůžu a sysctl -p se mi zdá, že funguje jinak než si myslíš. Pouze to ukazuje obsah konfiguračního souboru? Nijak neaplikuje tuhle konfiguraci.

Musel jsem pro aplikaci tedy použít ještě:
Kód: [Vybrat]
sudo sysctl vm.vfs_cache_pressure=200
sudo sysctl vm.swappiness=10
sudo sysctl vm.dirty_bytes=67108864
sudo sysctl vm.dirty_background_bytes=33554432

Nic se však pořád neděje. Z 16 GB mám využitu jen 4 GB + 12G cache, ale je tak trochu pravda, že nevím co dělám. Možná to přecejen řeším špatně. Že by se cache měla uvolňovat potřebným chápu, ale já mám pocit, že se neuvolňuje. To se mi pak potvrdilo ještě zmíněným nefunkční echo 3 > /pat/to/memory_caches nebo jak to bylo.

Mám tam různé věci, ale mám pocit, že tohle dělá python skript na zpracovávání videí.

Naučil jsem se měřit iowait a přiznávám, že je možné, že ty zámrzy systému se nedějí kvůli paměti, ale možná kvůli iowaitu, i když nevím jak to funguje, protože disk s videi je bokem a nemá se systémovým diskem nic moc společného, CPU se fláká třeba na 30 %. Může iotop způsobující zřejmě externí disk způsobovat zámrzy systému, který je na jiném (interním) disku?

Protože system monitor mi ukazuje sít, cpu i mememory na 30 % jediný iowait je v červených hodnotách mnohdy na více než 30-40 %. Což mi asi zvedá load avg. takže load avg. je pro mě už dávno nepoužívaný ukazatel. protože si nejsem jistý jeho relevantností. :-)

V jakém případě ná cenu řešit vysoký iowait? Např. v případě, že CPU je využito z více než 90 %? Nebo třeba v případě, kdy ten iowait způsobuje systémový disk? Nebo kdy.

Amatérský dotaz, který neumím vygooglit. To je linux tak hloupý (snad to nikoho nějak nepohorší, nemyslím to zle), že čeká na IO a blokuje tím CPU?, to se to neumí na pozadí nějak samo optimalizovat aby to fungovalo efektivněji? :-)
« Poslední změna: 08. 06. 2021, 19:22:01 od scientific »

Re:Obrovská cache paměti
« Odpověď #17 kdy: 08. 06. 2021, 20:00:13 »
sudo sysctl -p funguje tak, že znova načte /etc/sysctl.conf (případně /etc/sysctl.conf.d/*) a nastaví je

no linux ani cpu asi nemůžou nic dělat, když program chce data z disku a na ně se čeká, co by měl jako dělat mezitím?

co zkusit SSD nebo nějaké rychlejší disky?

jinak obecně swap asi tomu IO nepomůže, je swap na jiném disku, než ten, který čeká na data?

nejde dát víc paměti?

Re:Obrovská cache paměti
« Odpověď #18 kdy: 09. 06. 2021, 20:11:22 »
Tak žádné SSD asi nepotřebuji, nepotřebuji rychlejší zpracovávání, takhle mi to stačí a iowaitem to není. Cache jsem pošteloval, jak jste mi poradili, asi to něco dělá, ale hlavně si myslím, že pomohlo to vypnutí swapu. Ten swap byl prostě používán nějak hodně i přestože v cache bylo plno paměti k uvolnění a ten starý systémový retro HDD to nějak nedával nebo nevím. Každopádně cache 8 GB mi nevadí, iowait způsobující nesystémový disk mi také nevadí, všechno je nyní dokonalé. Od vypnutí swapu mám pohodičkový load average a nebe je krásně modré, díky všem.