Zobrazit příspěvky

Tato sekce Vám umožňuje zobrazit všechny příspěvky tohoto uživatele. Prosím uvědomte si, že můžete vidět příspěvky pouze z oblastí Vám přístupných.


Příspěvky - scientific

Stran: 1 ... 3 4 [5] 6 7 ... 17
61
Software / Re:Nedaří se mi formulovat cgroups cgexec command
« kdy: 08. 06. 2021, 18:59:49 »
joo, vlastně jsem chtěl jen source, máš pravdu.

Ale jak to použít například na firefox?

Spouštím ho takto:
Kód: [Vybrat]
DISPLAY=:0 firefox

Ale tak, jak bych očekával že to půjde to bohužel nejde:
Kód: [Vybrat]
[localuser@localhost ~]$ cgexec -g memory:cgFirefox6GB DISPLAY=:0 firefox
No such file or directory
[localuser@localhost ~]$

Děkuji za tip se source a prosím o tip ještě s firefoxem, pak s tímhle už dám pokoj. :-) Díky moc.

62
Server / Re:Obrovská cache paměti
« kdy: 07. 06. 2021, 23:43:20 »
@Jan Fikar
To co zmiňuješ mám nastaveno takto no:
Kód: [Vybrat]
vm.dirty_background_ratio = 10
vm.dirty_ratio = 40

Mám to tedy být jak to je plus tomu nastavit jak radíš tedy takto:
Kód: [Vybrat]
sysctl vm.vfs_cache_pressure=200
sysctl vm.swappiness=10
sysctl vm.dirty_bytes=67108864
sysctl vm.dirty_background_bytes=33554432
sysctl vm.dirty_background_ratio = 10
sysctl vm.dirty_ratio = 40

Chápu to správně? Snad takto nastavené to zůstane perzistentní a nezmizí to nastavení po rebootu, jinak bych to hádám musel vepsat přímo někam do do souboru /proc/sys/vm/neco?

@e3k: Taky mě to napadlo, ale nic zajímavého co by se týkalo memory tam nevidím.

Jediné trochu zajímavé je, že je tam zaznamenán můj marný pokus o vyprázdnění mezipaměti:

Kód: [Vybrat]
700.735222] bash (487150): drop_caches: 3
[434700.735224] bash (483853): drop_caches: 3
[434701.746225] bash (481074): drop_caches: 3
[434701.747414] sysctl (487765): drop_caches: 3

63
Server / Re:Obrovská cache paměti
« kdy: 07. 06. 2021, 16:45:44 »
Posílám požadované hodnoty proměnných sysctl:

Kód: [Vybrat]
vm.vfs_cache_pressure  = 100
vm.swappiness = 10
vm.dity_bytes = 0
vm.dirty_background_bytes = 0

Procesy virtuální paměti ukazují asi hodně, ale pokud tím jsou myšleny virtuální servery nebo tak něco, tak to nevedu.

Jak poznám aplikaci, která má zmíněnou zapinovanou paměn pro DMA?

Jeden z Vás se měl ještě přes e-mail ptal na slabtop, tak ho posílám v příloze také. Konkrétně se ptal na dentry, které udajně nelze smazat, možná to souvisí s tím DMA

Asi by se mi nejvíce líbilo právě někde třeba přes cgroup nejak buď globálně omezit, aby nemohl existovat proces s více než pár stovek MB cache. Úplně nejlépe kdybych mohl přes cgroup přidělovat jednotlivým aplikacím maximum využití paměti. To se mi ale nedeaří pro moji neznalosti syntaxe linuxu. :-D Viz zde: https://forum.root.cz/index.php?topic=24845.0

64
Server / Re:Obrovská cache paměti
« kdy: 07. 06. 2021, 15:27:15 »
Ano, swapuje, ale to, že swapuje je přece správně? Kdyby neswapoval, tak by to bylo jen horší, takže vypnutí swapu se mi nezdá jako řešení, já potřebuji asi nějak spíše zamezit, abych měl více free, než aby se celá kapacita volné paměti 10G zahltila mezipamětí.

65
Server / Re:Obrovská cache paměti
« kdy: 07. 06. 2021, 15:14:10 »
nevím co jsou to "mrtvá data". Já ramdisk nedělal ale nějaké tmpfs tu jsou.

takhle vypadá ten mount a df:

Kód: [Vybrat]
[root@localhost ~]# mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime,seclabel)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
devtmpfs on /dev type devtmpfs (rw,nosuid,seclabel,size=8029984k,nr_inodes=2007496,mode=755)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev,seclabel)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,seclabel,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,nodev,seclabel,mode=755)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,seclabel,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime,seclabel)
bpf on /sys/fs/bpf type bpf (rw,nosuid,nodev,noexec,relatime,mode=700)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,blkio)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,cpu,cpuacct)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,devices)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,memory)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,net_cls,net_prio)
cgroup on /sys/fs/cgroup/rdma type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,rdma)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,freezer)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,pids)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,perf_event)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,cpuset)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,hugetlb)
none on /sys/kernel/tracing type tracefs (rw,relatime,seclabel)
configfs on /sys/kernel/config type configfs (rw,relatime)
/dev/mapper/cl-root on / type xfs (rw,relatime,seclabel,attr2,inode64,logbufs=8,logbsize=32k,noquota)
selinuxfs on /sys/fs/selinux type selinuxfs (rw,relatime)
systemd-1 on /mnt/petr type autofs (rw,relatime,fd=28,pgrp=1,timeout=0,minproto=5,maxproto=5,direct,pipe_ino=24048)
mqueue on /dev/mqueue type mqueue (rw,relatime,seclabel)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime,seclabel,pagesize=2M)
debugfs on /sys/kernel/debug type debugfs (rw,relatime,seclabel)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=41,pgrp=1,timeout=0,minproto=5,maxproto=5,direct,pipe_ino=24094)
fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)
/dev/sdd on /mnt/ssd type ext4 (rw,relatime,seclabel)
/dev/sdf1 on /mnt/thin type ext4 (ro,relatime,seclabel,stripe=8191)
/dev/sde1 on /mnt/hgst type ext4 (rw,relatime,seclabel)
/dev/mapper/cl-centos on /home type xfs (rw,relatime,seclabel,attr2,inode64,logbufs=8,logbsize=32k,noquota)
/dev/sdc1 on /boot type ext4 (rw,relatime,seclabel)
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw,relatime)
tmpfs on /run/user/1001 type tmpfs (rw,nosuid,nodev,relatime,seclabel,size=1609700k,mode=700,uid=1001,gid=1001)
gvfsd-fuse on /run/user/1001/gvfs type fuse.gvfsd-fuse (rw,nosuid,nodev,relatime,user_id=1001,group_id=1001)
//10.0.0.24/petr on /mnt/petr type cifs (rw,nosuid,nodev,noexec,relatime,vers=1.0,cache=strict,username=admin,uid=1001,forceuid,gid=1001,forcegid,addr=10.0.0.24,file_mode=0755,dir_mode=0755,soft,nounix,serverino,mapposix,rsize=61440,wsize=65536,bsize=1048576,echo_interval=60,actimeo=1,x-systemd.automount,_netdev)
/dev/sda1 on /mnt/blue type ext4 (ro,relatime,seclabel,stripe=8191)
/dev/sdb1 on /mnt/blue2 type ext4 (ro,relatime,seclabel,stripe=8191)
/dev/sdg1 on /run/media/surf/Thin type ext4 (rw,nosuid,nodev,relatime,seclabel,stripe=8191,uhelper=udisks2)
/dev/sdg1 on /mnt/thin type ext4 (rw,relatime,seclabel,stripe=8191)
binfmt_misc on /proc/sys/fs/binfmt_misc type binfmt_misc (rw,relatime)
[root@localhost ~]# df -h
Filesystem             Size  Used Avail Use% Mounted on
devtmpfs               7.7G     0  7.7G   0% /dev
tmpfs                  7.7G  1.3M  7.7G   1% /dev/shm
tmpfs                  7.7G   74M  7.7G   1% /run
tmpfs                  7.7G     0  7.7G   0% /sys/fs/cgroup
/dev/mapper/cl-root     50G   29G   22G  58% /
/dev/sdd               458G   73M  435G   1% /mnt/ssd
/dev/sdg1              293G  154G  124G  56% /mnt/thin
/dev/sde1              458G  165G  270G  38% /mnt/hgst
/dev/mapper/cl-centos  150G   36G  114G  24% /home
/dev/sdc1              976M  293M  616M  33% /boot
tmpfs                  1.6G  6.0M  1.6G   1% /run/user/1001
//10.0.0.24/petr       5.5T  3.8T  1.8T  69% /mnt/petr
/dev/sda1              457G   15G  419G   4% /mnt/blue
/dev/sdb1              457G   19G  415G   5% /mnt/blue2
[root@localhost ~]#

jinak bych tu měl ještě /dev/mapper/cl-swap

66
Server / Re:Obrovská cache paměti
« kdy: 07. 06. 2021, 13:03:08 »
Default v Centosu je 10 %.
Když nastavím nulu jak navrhuješ, tak vypnu swap, což jsem už zkoušel přes "swapoff", ale asi to k ničemu nebylo, má vůbec vliv zapnutí/vypnutí swapu na objem cache paměti?

Diskovou cache já přece vůbec neřeším, řeším cache paměti, nikoliv swap.

Nebo to spolu nějak souvisí? Pokud ano, jak? Díky.

67
Server / Obrovská cache paměti
« kdy: 07. 06. 2021, 12:38:24 »
Ahoj všem, máte pro mě prosím nějaké tipy, jak udělat troubleshooting, proč mám plnou paměť, až to swapuje a systém zamrzá?

Memory
Citace
Total: 16G
Used: 5G
Free: 100M
Cache: 9G
Buffers: Skoro nic

Měl jsem za to, že cache se automaticky uvolňuje pokud o tu paměť požádá jiný proces.

Zkoušel jsem něco jako:

Kód: [Vybrat]
sync && echo 3 > /proc/sys/vm/drop_caches

Ani jeden z příkazů ale nic nedělá, jen mi zablokují konzoli.

Zkoušel jsem i něco jako:
Kód: [Vybrat]
sysctl drop_caches=3

Ale to dělalo stejné prd jako výše uvedené příkazy.

Pak jsem ještě zkoušel cgroups pro memory limit toho procesu co takhle plní cache, to se ami ale nepovedlo, viz: https://forum.root.cz/index.php?topic=24845.0

Díky všem za tipy.

BTW: Neptejte se co je to za aplikaci, chci to řešit univerzálně a systémově. Ne nějak přímo přes nějaké konfigurace aplikace.

68
Software / Re:Nedaří se mi formulovat cgroups cgexec command
« kdy: 07. 06. 2021, 10:23:45 »
Takto mi to funguje parádně:
Kód: [Vybrat]
cgexec -g memory:cgApp ls -la

Takto mi to ale bohužel nefunguje:
Kód: [Vybrat]
cgexec -g memory:cgApp 'cd /home/user/app/ && . ./run'

69
Software / Nedaří se mi formulovat cgroups cgexec command
« kdy: 06. 06. 2021, 22:47:17 »
Ahoj, snažím se omezit aplikaci memory limitem přes cgroups.

Dělám to takto:
Kód: [Vybrat]
sudo yum install libcgroup-tools
sudo cgcreate -t user:group-a user:group -g memory:/cgApp
sudo echo $(( 2048 * 1024 * 1024 )) | sudo tee /sys/fs/cgroup/memory/cgApp/memory.limit_in_bytes #2 GB RAM

Zde je komplikace oproti manuálu, který říká:

Kód: [Vybrat]
cgexec -g memory:cgApp App

Jenže takhle já aplikaci nespouštím, nýbrž takto:

Kód: [Vybrat]
cd /home/user/app/ && . ./run

Jenže jak to spustit přes cgexec? Takto mi to nefunguje:

Kód: [Vybrat]
cgexec -g memory:cgApp 'cd /home/user/app/ && . ./run'

Jak ten cgexec prosím použít správně? Děkuji.

PS: Dal jsem to do špatné kategorie, omlouvám se, snad to tu někdo najde. :-)

70
Ajoo, takže jsem celou dobu znal řešení, já se z toho picnu.... Díky

Kód: [Vybrat]
yum provides /etc/fail2ban
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror-prg.webglobe.com
 * centos-sclo-rh: mirror-prg.webglobe.com
 * centos-sclo-sclo: mirror-prg.webglobe.com
 * epel: mirror.hosting90.cz
 * extras: mirror-prg.webglobe.com
 * updates: mirror-prg.webglobe.com
fail2ban-server-0.11.1-10.el7.noarch : Core server component for Fail2Ban
Repo        : epel
Matched from:
Filename    : /etc/fail2ban

:-)

71
Tak to je dost šikovný, díky za tip. Možná se mi ale hodilo spíše opačné použití neceho jako yum provide fail2ban nebo něc o jako which či něco, co čeho by byl vstup "/etc/fail2ban" a ono mi to vrátilo jméno balíčku "fail2ban-client", nejspíše to ale už nikdy nebudu potřeba použít. Toto vzniklo čistě moji hloupostí. :-)

72
Jejda, tak to jsem dobrý tatar, je to přesně tak jak píšeš. Díky! :-)

73
Je to jak říkáš, po startu už nefunguje, Očekával bych že si ty konfigurační soubory vytvoří. Jak se dá prosím tedy reinstalovat služba, když ne pres "yum remove fail2ban && yum install fail2ban"? Reinstalací samozřejmě myslím zejména obnovit "tovární nastavení" služby. Děkuji.

Kód: [Vybrat]
# cd /etc/fail2ban
-bash: cd: /etc/fail2ban: No such file or directory
# yum install fail2ban
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror-prg.webglobe.com
 * centos-sclo-rh: mirror-prg.webglobe.com
 * centos-sclo-sclo: mirror-prg.webglobe.com
 * epel: mirror.hosting90.cz
 * extras: mirror-prg.webglobe.com
 * updates: mirror-prg.webglobe.com
Package fail2ban-0.11.1-10.el7.noarch already installed and latest version
Nothing to do
# lsb_release
-bash: lsb_release: command not found
# cat /etc/centos-release
CentOS Linux release 7.9.2009 (Core)
# systemctl status fail2ban
● fail2ban.service - Fail2Ban Service
   Loaded: loaded (/usr/lib/systemd/system/fail2ban.service; enabled; vendor pre                                                                             set: disabled)
   Active: active (running) since Wed 2021-06-02 16:57:27 CEST; 5h 32min ago
     Docs: man:fail2ban(1)
  Process: 32707 ExecStop=/usr/bin/fail2ban-client stop (code=exited, status=0/S                                                                             UCCESS)
  Process: 32722 ExecStartPre=/bin/mkdir -p /run/fail2ban (code=exited, status=0                                                                             /SUCCESS)
 Main PID: 32724 (f2b/server)
   CGroup: /system.slice/fail2ban.service
           └─32724 /usr/bin/python2 -s /usr/bin/fail2ban-server -xf start

Jun 02 16:57:27 localhost systemd[1]: Starting Fail2Ban Serv...
Jun 02 16:57:27 localhost systemd[1]: Started Fail2Ban Service.
Jun 02 16:57:29 localhost fail2ban-server[32724]: Server ready
Hint: Some lines were ellipsized, use -l to show in full.
# ls -la /etc | grep fail2ban
drwxr-xr-x.   6 root    root       178 Jun  2 16:39 fail2ban_old
# systemctl restart fail2ban
# systemctl status fail2ban
● fail2ban.service - Fail2Ban Service
   Loaded: loaded (/usr/lib/systemd/system/fail2ban.service; enabled; vendor preset: disabled)
   Active: failed (Result: exit-code) since Wed 2021-06-02 22:44:16 CEST; 2s ago
     Docs: man:fail2ban(1)
  Process: 30477 ExecStop=/usr/bin/fail2ban-client stop (code=exited, status=255)
  Process: 30496 ExecStart=/usr/bin/fail2ban-server -xf start (code=exited, status=255)
  Process: 30494 ExecStartPre=/bin/mkdir -p /run/fail2ban (code=exited, status=0/SUCCESS)
 Main PID: 30496 (code=exited, status=255)

Jun 02 22:44:16 localhost systemd[1]: Stopped Fail2Ban Service.
Jun 02 22:44:16 localhost systemd[1]: Unit fail2ban.service entered failed state.
Jun 02 22:44:16 localhost systemd[1]: fail2ban.service failed.
Jun 02 22:44:16 localhost systemd[1]: Starting Fail2Ban Service...
Jun 02 22:44:16 localhost systemd[1]: Started Fail2Ban Service.
Jun 02 22:44:16 localhost fail2ban-server[30496]: ERROR: Base configuration directory /etc/fail2ban does not exist
Jun 02 22:44:16 localhost systemd[1]: fail2ban.service: main process exited, code=exited, status=255/n/a
Jun 02 22:44:16 localhost systemd[1]: Unit fail2ban.service entered failed state.
Jun 02 22:44:16 localhost systemd[1]: fail2ban.service failed.
#

Nyní jsem instalaci zkusil znovu a prostě nefunguje:

Kód: [Vybrat]
# yum remove fail2ban
Loaded plugins: fastestmirror
Resolving Dependencies
--> Running transaction check
---> Package fail2ban.noarch 0:0.11.1-10.el7 will be erased
--> Finished Dependency Resolution

Dependencies Resolved

=============================================================================================================================================================
 Package                              Arch                               Version                                     Repository                         Size
=============================================================================================================================================================
Removing:
 fail2ban                             noarch                             0.11.1-10.el7                               @epel                             0.0

Transaction Summary
=============================================================================================================================================================
Remove  1 Package

Installed size: 0
Is this ok [y/N]: y
Downloading packages:
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Erasing    : fail2ban-0.11.1-10.el7.noarch                                                                                                             1/1
  Verifying  : fail2ban-0.11.1-10.el7.noarch                                                                                                             1/1

Removed:
  fail2ban.noarch 0:0.11.1-10.el7

Complete!
# ls -la /etc | grep fail2ban
drwxr-xr-x.   6 root    root       178 Jun  2 16:39 fail2ban_old
# yum install fail2ban
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror-prg.webglobe.com
 * centos-sclo-rh: mirror-prg.webglobe.com
 * centos-sclo-sclo: mirror-prg.webglobe.com
 * epel: mirror.hosting90.cz
 * extras: mirror-prg.webglobe.com
 * updates: mirror-prg.webglobe.com
Resolving Dependencies
--> Running transaction check
---> Package fail2ban.noarch 0:0.11.1-10.el7 will be installed
--> Finished Dependency Resolution

Dependencies Resolved

=============================================================================================================================================================
 Package                              Arch                               Version                                      Repository                        Size
=============================================================================================================================================================
Installing:
 fail2ban                             noarch                             0.11.1-10.el7                                epel                              15 k

Transaction Summary
=============================================================================================================================================================
Install  1 Package

Total download size: 15 k
Installed size: 0
Is this ok [y/d/N]: y
Downloading packages:
fail2ban-0.11.1-10.el7.noarch.rpm                                                                                                     |  15 kB  00:00:00
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : fail2ban-0.11.1-10.el7.noarch                                                                                                             1/1
  Verifying  : fail2ban-0.11.1-10.el7.noarch                                                                                                             1/1

Installed:
  fail2ban.noarch 0:0.11.1-10.el7

Complete!
# ls -la /etc | grep fail2ban
drwxr-xr-x.   6 root    root       178 Jun  2 16:39 fail2ban_old
#


74
1) Needituji je.
2) Nepochybuji o tom, že jsem nainstaloval zpět.

To cos napsal nesouvisí s tím co se ptám. Já potřebuji aby se vytvořilo zpět "tovární nastavení" do /etc/fail2ban jako při prvotní instalaci. Do které potom nahraji svoje jail.local + věznice a filty.

75
Ahoj všem,

při instalaci fail2ban se mi nevytváří adresář /etc/fail2ban nemáte pro mě někdo nějaký tip, jak zjistit proč tomu tak je a co dělám špatně? Děkuji moc.

Ještě dodám, že fail2ban na tom serveru už byl, chtěl jsem ho "reinstalovat". Provedl jsem něco jako:

Kód: [Vybrat]
yum erase fail2ban # nebo yum remove fail2ban už nevím a vlastně jsem nepochopil rozdíl, nejspíš nšco jako remove VS purge v ubuntu.
mv /etc/fail2ban /etc/fail2ban_old_backup
yum install fail2ban
cd /etc/fail2ban
-bash: cd: /etc/fail2ban: No such file or directory

Díky všem za tipy.

Stran: 1 ... 3 4 [5] 6 7 ... 17