Out of memory - paměti na serveru je dost

[pakozdy]

zdravim

mam tu jeden starsi server. je fyzicky, 64GB RAM , bezi tam postarsie gentoo 1.12.11 (2.6.27).
ide o tzv konzervu t.j. neaktualizovany, bez konfiguracnych zmien atd. Bezia na nom  relativne mala zataz, apache,mysql,2xtomcat (java7).

Jedneho dna oficialne bez nejakych zmien v konfiguracii sa zacala  objavovat situacia s OutOfMemory. OOM_killer zacal cistit. Tu prebehla rekonfiguracia oom_killera aby zabil proces ktory ma nedostatok pamate.  system tvrdi ze pamate ma dost vid logy nizsie. procesy nevykazuju zvysene cerpanie zdrojov (ps -fe). proste vsetko sa tvari ok, len proste system zacne tuhnut, OOM_KILLER zabija procesy bez nejakej suvislosti - obcas apache, obcas cron,  obcas mysql.

netusi niekto co sa moze diat ? v logoch okrem OOM_killer-a nie je nic.
vdaka za akykolvek tip

/proc/meminfo par minut pred killnutim

Kód: [Vybrat]

MemTotal:     65525132 kB
MemFree:        151160 kB
Buffers:          1212 kB
Cached:       62052160 kB
SwapCached:         20 kB
Active:       13988760 kB
Inactive:     50991868 kB
HighTotal:    65137984 kB
HighFree:       142836 kB
LowTotal:       387148 kB
LowFree:          8324 kB
SwapTotal:    16008764 kB
SwapFree:     16008576 kB
Dirty:              76 kB
Writeback:           0 kB
AnonPages:     2926916 kB
Mapped:          10664 kB
Slab:           368824 kB
SReclaimable:   362216 kB
SUnreclaim:       6608 kB
PageTables:       6764 kB
NFS_Unstable:        0 kB
Bounce:              0 kB
WritebackTmp:        0 kB
CommitLimit:  65152612 kB
Committed_AS:  3184996 kB
VmallocTotal:   116728 kB
VmallocUsed:      8176 kB
VmallocChunk:   108548 kB
HugePages_Total:     0
HugePages_Free:      0
HugePages_Rsvd:      0
HugePages_Surp:      0
Hugepagesize:     2048 kB
DirectMap4k:      6144 kB
DirectMap2M:    911360 kB

vypis z oom_killer

Kód: [Vybrat]

Jun  7 10:50:30 xyz [1382835.254842] Pid: 4386, comm: scheduler_Worke Not tainted 2.6.27-gentoo-r8 #2
Jun  7 10:50:30 xyz [1382835.254846]  [<c025c9ea>] oom_kill_process+0x42/0x183
Jun  7 10:50:30 xyz [1382835.254853]  [<c025cd4b>] out_of_memory+0x7f/0x188
Jun  7 10:50:30 xyz [1382835.254856]  [<c025ee04>] __alloc_pages_internal+0x2ab/0x340
Jun  7 10:50:30 xyz [1382835.254860]  [<c025eead>] __get_free_pages+0x14/0x24
Jun  7 10:50:30 xyz [1382835.254863]  [<c02af04d>] proc_file_read+0x77/0x1eb
Jun  7 10:50:30 xyz [1382835.254867]  [<c02aefd6>] ? proc_file_read+0x0/0x1eb
Jun  7 10:50:30 xyz [1382835.254871]  [<c02ab52c>] proc_reg_read+0x56/0x6a
Jun  7 10:50:30 xyz [1382835.254874]  [<c02ab4d6>] ? proc_reg_read+0x0/0x6a
Jun  7 10:51:01 xyz [1382835.254877]  [<c027ba80>] vfs_read+0x8a/0x131
Jun  7 10:51:01 xyz [1382835.254881]  [<c027bdcc>] sys_read+0x3b/0x60
Jun  7 10:51:01 xyz [1382835.254884]  [<c02037fd>] sysenter_do_call+0x12/0x21
Jun  7 10:51:01 xyz [1382835.254887]  =======================
Jun  7 10:51:01 xyz [1382835.254889] Mem-Info:
Jun  7 10:51:01 xyz [1382835.254890] DMA per-cpu:
Jun  7 10:51:01 xyz [1382835.254892] CPU    0: hi:    0, btch:   1 usd:   0
Jun  7 10:51:01 xyz [1382835.254894] CPU    1: hi:    0, btch:   1 usd:   0
Jun  7 10:51:01 xyz [1382835.254896] CPU    2: hi:    0, btch:   1 usd:   0
Jun  7 10:51:01 xyz [1382835.254897] CPU    3: hi:    0, btch:   1 usd:   0
Jun  7 10:51:01 xyz [1382835.254899] Normal per-cpu:
Jun  7 10:51:01 xyz [1382835.254901] CPU    0: hi:  186, btch:  31 usd: 174
Jun  7 10:51:01 xyz [1382835.254902] CPU    1: hi:  186, btch:  31 usd: 157
Jun  7 10:51:01 xyz [1382835.254904] CPU    2: hi:  186, btch:  31 usd: 140
Jun  7 10:51:01 xyz [1382835.254906] CPU    3: hi:  186, btch:  31 usd:  82
Jun  7 10:51:01 xyz [1382835.254907] HighMem per-cpu:
Jun  7 10:51:01 xyz [1382835.254909] CPU    0: hi:  186, btch:  31 usd:  27
Jun  7 10:51:01 xyz [1382835.254911] CPU    1: hi:  186, btch:  31 usd:  36
Jun  7 10:51:01 xyz [1382835.254913] CPU    2: hi:  186, btch:  31 usd:  40
Jun  7 10:51:01 xyz [1382835.254915] CPU    3: hi:  186, btch:  31 usd:  11
Jun  7 10:51:01 xyz [1382835.254917] Active:4570561 inactive:5244170 dirty:2 writeback:0 unstable:0
Jun  7 10:51:01 xyz [1382835.254918]  free:6467781 slab:92722 mapped:2112 pagetables:1769 bounce:0
Jun  7 10:51:01 xyz [1382835.254921] DMA free:3520kB min:64kB low:80kB high:96kB active:48kB inactive:0kB present:15872kB pages_scanned:1548 all_unreclaim
able? yes
Jun  7 10:51:01 xyz [1382835.254923] lowmem_reserve[]: 0 873 63981 63981
Jun  7 10:51:01 xyz [1382835.254928] Normal free:3732kB min:3744kB low:4680kB high:5616kB active:0kB inactive:248kB present:894080kB pages_scanned:6749 al
l_unreclaimable? yes
Jun  7 10:51:01 xyz [1382835.254931] lowmem_reserve[]: 0 0 504866 504866
Jun  7 10:51:01 xyz [1382835.254936] HighMem free:25863872kB min:512kB low:68192kB high:135872kB active:18282196kB inactive:20976432kB present:64622912kB
pages_scanned:0 all_unreclaimable? no
Jun  7 10:51:01 xyz [1382835.254938] lowmem_reserve[]: 0 0 0 0
Jun  7 10:51:01 xyz [1382835.254942] DMA: 90*4kB 145*8kB 9*16kB 4*32kB 1*64kB 3*128kB 1*256kB 0*512kB 1*1024kB 0*2048kB 0*4096kB = 3520kB
Jun  7 10:51:01 xyz [1382835.254952] Normal: 407*4kB 11*8kB 4*16kB 5*32kB 0*64kB 0*128kB 1*256kB 1*512kB 1*1024kB 0*2048kB 0*4096kB = 3732kB
Jun  7 10:51:01 xyz [1382835.254961] HighMem: 6*4kB 13*8kB 101768*16kB 386462*32kB 153322*64kB 14891*128kB 334*256kB 2*512kB 2*1024kB 0*2048kB 15*4096kB =
 25863872kB
Jun  7 10:51:01 xyz [1382835.254971] 9061133 total pagecache pages
Jun  7 10:51:01 xyz [1382835.254974] 22994 pages in swap cache
Jun  7 10:51:01 xyz [1382835.254976] Swap cache stats: add 169751, delete 146757, find 406968/416882
Jun  7 10:51:01 xyz [1382835.254977] Free swap  = 15873612kB
Jun  7 10:51:01 xyz [1382835.254979] Total swap = 16008764kB
Jun  7 10:51:01 xyz [1382835.468059] 16711680 pages RAM
Jun  7 10:51:01 xyz [1382835.468061] 16482304 pages HighMem
Jun  7 10:51:01 xyz [1382835.468062] 330397 pages reserved
Jun  7 10:51:01 xyz [1382835.468063] 4529974 pages shared
Jun  7 10:51:01 xyz [1382835.468064] 5390783 pages non-share


[Reklama]

[Zdenek Henek]

zdravim

mam tu jeden starsi server. je fyzicky, 64GB RAM , bezi tam postarsie gentoo 1.12.11 (2.6.27).
ide o tzv konzervu t.j. neaktualizovany, bez konfiguracnych zmien atd. Bezia na nom  relativne mala zataz, apache,mysql,2xtomcat (java7).

Jedneho dna oficialne bez nejakych zmien v konfiguracii sa zacala  objavovat situacia s OutOfMemory. OOM_killer zacal cistit. Tu prebehla rekonfiguracia oom_killera aby zabil proces ktory ma nedostatok pamate.  system tvrdi ze pamate ma dost vid logy nizsie. procesy nevykazuju zvysene cerpanie zdrojov (ps -fe). proste vsetko sa tvari ok, len proste system zacne tuhnut, OOM_KILLER zabija procesy bez nejakej suvislosti - obcas apache, obcas cron,  obcas mysql.

netusi niekto co sa moze diat ? v logoch okrem OOM_killer-a nie je nic.
vdaka za akykolvek tip

/proc/meminfo par minut pred killnutim

Kód: [Vybrat]

MemTotal:     65525132 kB
MemFree:        151160 kB
Buffers:          1212 kB
Cached:       62052160 kB
SwapCached:         20 kB
Active:       13988760 kB
Inactive:     50991868 kB
HighTotal:    65137984 kB
HighFree:       142836 kB
LowTotal:       387148 kB
LowFree:          8324 kB
SwapTotal:    16008764 kB
SwapFree:     16008576 kB
Dirty:              76 kB
Writeback:           0 kB
AnonPages:     2926916 kB
Mapped:          10664 kB
Slab:           368824 kB
SReclaimable:   362216 kB
SUnreclaim:       6608 kB
PageTables:       6764 kB
NFS_Unstable:        0 kB
Bounce:              0 kB
WritebackTmp:        0 kB
CommitLimit:  65152612 kB
Committed_AS:  3184996 kB
VmallocTotal:   116728 kB
VmallocUsed:      8176 kB
VmallocChunk:   108548 kB
HugePages_Total:     0
HugePages_Free:      0
HugePages_Rsvd:      0
HugePages_Surp:      0
Hugepagesize:     2048 kB
DirectMap4k:      6144 kB
DirectMap2M:    911360 kB

vypis z oom_killer

Kód: [Vybrat]

Jun  7 10:50:30 xyz [1382835.254842] Pid: 4386, comm: scheduler_Worke Not tainted 2.6.27-gentoo-r8 #2
Jun  7 10:50:30 xyz [1382835.254846]  [<c025c9ea>] oom_kill_process+0x42/0x183
Jun  7 10:50:30 xyz [1382835.254853]  [<c025cd4b>] out_of_memory+0x7f/0x188
Jun  7 10:50:30 xyz [1382835.254856]  [<c025ee04>] __alloc_pages_internal+0x2ab/0x340
Jun  7 10:50:30 xyz [1382835.254860]  [<c025eead>] __get_free_pages+0x14/0x24
Jun  7 10:50:30 xyz [1382835.254863]  [<c02af04d>] proc_file_read+0x77/0x1eb
Jun  7 10:50:30 xyz [1382835.254867]  [<c02aefd6>] ? proc_file_read+0x0/0x1eb
Jun  7 10:50:30 xyz [1382835.254871]  [<c02ab52c>] proc_reg_read+0x56/0x6a
Jun  7 10:50:30 xyz [1382835.254874]  [<c02ab4d6>] ? proc_reg_read+0x0/0x6a
Jun  7 10:51:01 xyz [1382835.254877]  [<c027ba80>] vfs_read+0x8a/0x131
Jun  7 10:51:01 xyz [1382835.254881]  [<c027bdcc>] sys_read+0x3b/0x60
Jun  7 10:51:01 xyz [1382835.254884]  [<c02037fd>] sysenter_do_call+0x12/0x21
Jun  7 10:51:01 xyz [1382835.254887]  =======================
Jun  7 10:51:01 xyz [1382835.254889] Mem-Info:
Jun  7 10:51:01 xyz [1382835.254890] DMA per-cpu:
Jun  7 10:51:01 xyz [1382835.254892] CPU    0: hi:    0, btch:   1 usd:   0
Jun  7 10:51:01 xyz [1382835.254894] CPU    1: hi:    0, btch:   1 usd:   0
Jun  7 10:51:01 xyz [1382835.254896] CPU    2: hi:    0, btch:   1 usd:   0
Jun  7 10:51:01 xyz [1382835.254897] CPU    3: hi:    0, btch:   1 usd:   0
Jun  7 10:51:01 xyz [1382835.254899] Normal per-cpu:
Jun  7 10:51:01 xyz [1382835.254901] CPU    0: hi:  186, btch:  31 usd: 174
Jun  7 10:51:01 xyz [1382835.254902] CPU    1: hi:  186, btch:  31 usd: 157
Jun  7 10:51:01 xyz [1382835.254904] CPU    2: hi:  186, btch:  31 usd: 140
Jun  7 10:51:01 xyz [1382835.254906] CPU    3: hi:  186, btch:  31 usd:  82
Jun  7 10:51:01 xyz [1382835.254907] HighMem per-cpu:
Jun  7 10:51:01 xyz [1382835.254909] CPU    0: hi:  186, btch:  31 usd:  27
Jun  7 10:51:01 xyz [1382835.254911] CPU    1: hi:  186, btch:  31 usd:  36
Jun  7 10:51:01 xyz [1382835.254913] CPU    2: hi:  186, btch:  31 usd:  40
Jun  7 10:51:01 xyz [1382835.254915] CPU    3: hi:  186, btch:  31 usd:  11
Jun  7 10:51:01 xyz [1382835.254917] Active:4570561 inactive:5244170 dirty:2 writeback:0 unstable:0
Jun  7 10:51:01 xyz [1382835.254918]  free:6467781 slab:92722 mapped:2112 pagetables:1769 bounce:0
Jun  7 10:51:01 xyz [1382835.254921] DMA free:3520kB min:64kB low:80kB high:96kB active:48kB inactive:0kB present:15872kB pages_scanned:1548 all_unreclaim
able? yes
Jun  7 10:51:01 xyz [1382835.254923] lowmem_reserve[]: 0 873 63981 63981
Jun  7 10:51:01 xyz [1382835.254928] Normal free:3732kB min:3744kB low:4680kB high:5616kB active:0kB inactive:248kB present:894080kB pages_scanned:6749 al
l_unreclaimable? yes
Jun  7 10:51:01 xyz [1382835.254931] lowmem_reserve[]: 0 0 504866 504866
Jun  7 10:51:01 xyz [1382835.254936] HighMem free:25863872kB min:512kB low:68192kB high:135872kB active:18282196kB inactive:20976432kB present:64622912kB
pages_scanned:0 all_unreclaimable? no
Jun  7 10:51:01 xyz [1382835.254938] lowmem_reserve[]: 0 0 0 0
Jun  7 10:51:01 xyz [1382835.254942] DMA: 90*4kB 145*8kB 9*16kB 4*32kB 1*64kB 3*128kB 1*256kB 0*512kB 1*1024kB 0*2048kB 0*4096kB = 3520kB
Jun  7 10:51:01 xyz [1382835.254952] Normal: 407*4kB 11*8kB 4*16kB 5*32kB 0*64kB 0*128kB 1*256kB 1*512kB 1*1024kB 0*2048kB 0*4096kB = 3732kB
Jun  7 10:51:01 xyz [1382835.254961] HighMem: 6*4kB 13*8kB 101768*16kB 386462*32kB 153322*64kB 14891*128kB 334*256kB 2*512kB 2*1024kB 0*2048kB 15*4096kB =
 25863872kB
Jun  7 10:51:01 xyz [1382835.254971] 9061133 total pagecache pages
Jun  7 10:51:01 xyz [1382835.254974] 22994 pages in swap cache
Jun  7 10:51:01 xyz [1382835.254976] Swap cache stats: add 169751, delete 146757, find 406968/416882
Jun  7 10:51:01 xyz [1382835.254977] Free swap  = 15873612kB
Jun  7 10:51:01 xyz [1382835.254979] Total swap = 16008764kB
Jun  7 10:51:01 xyz [1382835.468059] 16711680 pages RAM
Jun  7 10:51:01 xyz [1382835.468061] 16482304 pages HighMem
Jun  7 10:51:01 xyz [1382835.468062] 330397 pages reserved
Jun  7 10:51:01 xyz [1382835.468063] 4529974 pages shared
Jun  7 10:51:01 xyz [1382835.468064] 5390783 pages non-share


Co vypise ulimit -a
?

V jave muzes dostat OOM i z duvodu nedostatku resources - napr. file descriptoru. Zkus navisit pocet FD na proces.

[pakozdy]

Java neumre na OOM. to by som nasiel v java logoch. tam je ticho, ale oom_killer zabije java proces. predpokladam ze
keby jave dosla pamat, osetri si to sama. Navyse v killovanych procesoch sa java casto nevyskutuje.
java ma nastavenu dynamicku pamat 700-2048, 500-2048 . Ale cakal by som ze v logoch ostane od systemu aspon nejaky smrad ze dochadza k pretlaku.

este ma napadlo ze tam bezia 32b verzie programov, kernel vyzera byt 32bit(i686) bez PAE.

ulimit vyzera ok.

Kód: [Vybrat]

core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 522240
max locked memory       (kbytes, -l) 32
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 522240
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited


[Lol Phirae]

mam tu jeden starsi server. je fyzicky, 64GB RAM

kernel vyzera byt 32bit(i686) bez PAE.

Pobavils... 

[kvr kvr]

Kernel je buď 64-bit nebo 32-bit z PAE, jinak by nemohl využít těch 64GB, což by pak dávalo jiné čísla v /proc/meminfo

V obou případěch bych zkusil upgrade, pokud to s danou distribucí nějak půjde, správa paměti se postupně zlepšovala. Zvláště v případě, že je tam PAE, které je samo o sobě velká magie se spoustou omezení.

Příčina, proč teď najednou a ne dřív, může být spousta - větší load, větší traffic a rychlejší potřeba alokace paměti, na kterou kernel nestíhá správně reagovat (pomalost uvolňování / zapisování cache / buffers, či jednoduše nějaká chyba - race condition, whatever). 2.6.27 je hodně stará verze, takže upgrade může snadno vyřešit...

[Reklama]

[pb.]

Pokud tam máte PAE, systém dokáže využít těch 64 GB RAM a přidělit je různým procesům. Ale každý proces stejně dokáže naadresovat — všimněte si, nepíšu naalokovat — pouze 3 GB viruálního adresního prostoru. Proces tak může mít naalokováno třeba jen 300 MB fyzické paměti, ale může havarovat na nedostatek virtuální paměti (přes 3 GB). Virtuální paměť mohou potřebovat různé sdílené paměťové segmenty, vlákna, soubory namapované do paměti a podobně. Specialistou na spotřebu virtuálního adresního prostoru je například baloo z KDE (270 GB, předpokládám namapované soubory).

Přehled o alokaci můžete zjistit pomocí ps: ps -xa -o vsz,pid,comm | sort -n
Podrobný výpis alokací paměťového prostoru lze zjistit pomocí programu pmap.

[Huhaf]

Pridejte vypis sysctl.conf

[pakozdy]

 /etc/sysctl.conf

Kód: [Vybrat]

#
# For more information on how this file works, please see
# the manpages sysctl(8) and sysctl.conf(5).
#
# In order for this file to work properly, you must first
# enable 'Sysctl support' in the kernel.
#
# Look in /proc/sys/ for all the things you can setup.
#

# Disables packet forwarding
#net.ipv4.ip_forward = 0
# Disables IP dynaddr
#net.ipv4.ip_dynaddr = 0
# Disable ECN
#net.ipv4.tcp_ecn = 0
# Enables source route verification
net.ipv4.conf.default.rp_filter = 1
# Enable reverse path
net.ipv4.conf.all.rp_filter = 1

# Enable SYN cookies (yum!)
# http://cr.yp.to/syncookies.html
#net.ipv4.tcp_syncookies = 1

# Disable source route
#net.ipv4.conf.all.accept_source_route = 0
#net.ipv4.conf.default.accept_source_route = 0

# Disable redirects
#net.ipv4.conf.all.accept_redirects = 0
#net.ipv4.conf.default.accept_redirects = 0

# Disable secure redirects
#net.ipv4.conf.all.secure_redirects = 0
#net.ipv4.conf.default.secure_redirects = 0

# Ignore ICMP broadcasts
#net.ipv4.icmp_echo_ignore_broadcasts = 1

# Disables the magic-sysrq key
#kernel.sysrq = 0
# When the kernel panics, automatically reboot in 3 seconds
#kernel.panic = 3
# Allow for more PIDs (cool factor!); may break some programs
#kernel.pid_max = 999999

# You should compile nfsd into the kernel or add it
# to modules.autoload for this to work properly
# TCP Port for lock manager
#fs.nfs.nlm_tcpport = 0
# UDP Port for lock manager
#fs.nfs.nlm_udpport = 0
#

# oom_kill zmeny
vm.overcommit_memory = 2
vm.overcommit_ratio = 75
vm.oom_kill_allocating_task=1
vm.oom_dump_tasks=1
a sysctl -a  bez sietovych veci

Kód: [Vybrat]

kernel.sched_rt_period_us = 1000000
kernel.sched_rt_runtime_us = 950000
kernel.sched_compat_yield = 0
kernel.panic = 0
kernel.core_uses_pid = 0
kernel.core_pattern = core
kernel.tainted = 0
kernel.real-root-dev = 0
kernel.print-fatal-signals = 0
kernel.ctrl-alt-del = 0
kernel.modprobe = /sbin/modprobe
kernel.hotplug =
kernel.sg-big-buff = 32768
kernel.acct = 4 2       30
kernel.sysrq = 1
kernel.cad_pid = 1
kernel.threads-max = 1044480
kernel.random.poolsize = 4096
kernel.random.entropy_avail = 2410
kernel.random.read_wakeup_threshold = 64
kernel.random.write_wakeup_threshold = 128
kernel.random.boot_id = 66ef57ea-ecf5-423f-886f-660640108a5f
kernel.random.uuid = ebdcbac3-e95e-4382-ae9c-4bdf14a26855
kernel.overflowuid = 65534
kernel.overflowgid = 65534
kernel.pid_max = 32768
kernel.panic_on_oops = 0
kernel.printk = 1       4       1       7
kernel.printk_ratelimit = 5
kernel.printk_ratelimit_burst = 10
kernel.ngroups_max = 65536
kernel.unknown_nmi_panic = 0
kernel.nmi_watchdog = 0
kernel.panic_on_unrecovered_nmi = 0
kernel.bootloader_type = 113
kernel.kstack_depth_to_print = 24
kernel.io_delay_type = 0
kernel.randomize_va_space = 2
kernel.acpi_video_flags = 0
kernel.max_lock_depth = 1024
kernel.maps_protect = 0
kernel.poweroff_cmd = /sbin/poweroff
kernel.keys.maxkeys = 200
kernel.keys.maxbytes = 20000
kernel.keys.root_maxkeys = 200
kernel.keys.root_maxbytes = 20000
kernel.ostype = Linux
kernel.osrelease = 2.6.27-gentoo-r8
kernel.version = #2 SMP Wed Apr 8 14:56:45 CEST 2009
kernel.hostname = ovbbox
kernel.domainname = (none)
kernel.shmmax = 33554432
kernel.shmall = 2097152
kernel.shmmni = 4096
kernel.msgmax = 8192
kernel.msgmni = 755
kernel.msgmnb = 16384
kernel.sem = 250        32000   32      128
kernel.auto_msgmni = 1
kernel.pty.max = 4096
kernel.pty.nr = 2
vm.overcommit_memory = 2
vm.panic_on_oom = 0
vm.oom_kill_allocating_task = 1
vm.oom_dump_tasks = 1
vm.overcommit_ratio = 75
vm.page-cluster = 3
vm.dirty_background_ratio = 5
vm.dirty_ratio = 10
vm.dirty_writeback_centisecs = 499
vm.dirty_expire_centisecs = 2999
vm.nr_pdflush_threads = 2
vm.swappiness = 60
vm.nr_hugepages = 0
vm.hugetlb_shm_group = 0
vm.hugepages_treat_as_movable = 0
vm.nr_overcommit_hugepages = 0
vm.lowmem_reserve_ratio = 256   32      32
vm.drop_caches = 0
vm.min_free_kbytes = 3815
vm.percpu_pagelist_fraction = 0
vm.max_map_count = 65536
vm.laptop_mode = 0
vm.block_dump = 0
vm.vfs_cache_pressure = 100
vm.legacy_va_layout = 0
vm.stat_interval = 1
vm.mmap_min_addr = 65536
vm.vdso_enabled = 1
vm.highmem_is_dirtyable = 0
fs.inode-nr = 10920     309
fs.inode-state = 10920  309     0       0       0       0       0
fs.file-nr = 1264       0       6486236
fs.file-max = 6486236
fs.nr_open = 1048576
fs.dentry-state = 11235 9468    45      0       0       0
fs.overflowuid = 65534
fs.overflowgid = 65534
fs.leases-enable = 1
fs.dir-notify-enable = 1
fs.lease-break-time = 45
fs.aio-nr = 0
fs.aio-max-nr = 65536
fs.inotify.max_user_instances = 128
fs.inotify.max_user_watches = 8192
fs.inotify.max_queued_events = 16384
fs.epoll.max_user_instances = 128
fs.epoll.max_user_watches = 119020
fs.suid_dumpable = 0
fs.binfmt_misc.status = enabledfs.quota.lookups = 0
fs.quota.drops = 0
fs.quota.reads = 0
fs.quota.writes = 0
fs.quota.cache_hits = 0
fs.quota.allocated_dquots = 0
fs.quota.free_dquots = 0
fs.quota.syncs = 12
fs.nfs.nfs_callback_tcpport = 0
fs.nfs.idmap_cache_timeout = 600
fs.nfs.nfs_mountpoint_timeout = 500
fs.nfs.nfs_congestion_kb = 259008
fs.nfs.nlm_grace_period = 0
fs.nfs.nlm_timeout = 10
fs.nfs.nlm_udpport = 0
fs.nfs.nlm_tcpport = 0
fs.nfs.nsm_use_hostnames = 0
fs.nfs.nsm_local_state = 0
fs.mqueue.queues_max = 256
fs.mqueue.msg_max = 10
fs.mqueue.msgsize_max = 8192
debug.exception-trace = 1
dev.scsi.logging_level = 0
dev.raid.speed_limit_min = 1000
dev.raid.speed_limit_max = 200000
dev.hpet.max-user-freq = 64
dev.mac_hid.mouse_button_emulation = 0
dev.mac_hid.mouse_button2_keycode = 97
dev.mac_hid.mouse_button3_keycode = 100
sunrpc.rpc_debug = 0
sunrpc.nfs_debug = 0
sunrpc.nfsd_debug = 0
sunrpc.nlm_debug = 0
sunrpc.transports = tcp 1048576
sunrpc.transports = udp 32768
sunrpc.udp_slot_table_entries = 16
sunrpc.tcp_slot_table_entries = 16
sunrpc.min_resvport = 665
sunrpc.max_resvport = 1023


[Zdenek Henek]

Java neumre na OOM. to by som nasiel v java logoch. tam je ticho, ale oom_killer zabije java proces. predpokladam ze
keby jave dosla pamat, osetri si to sama. Navyse v killovanych procesoch sa java casto nevyskutuje.
java ma nastavenu dynamicku pamat 700-2048, 500-2048 . Ale cakal by som ze v logoch ostane od systemu aspon nejaky smrad ze dochadza k pretlaku.

este ma napadlo ze tam bezia 32b verzie programov, kernel vyzera byt 32bit(i686) bez PAE.

ulimit vyzera ok.

Kód: [Vybrat]

core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 522240
max locked memory       (kbytes, -l) 32
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 522240
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited


no me se moc nelibi tento radek

open files                      (-n) 1024

dejte to aspon na 8192

[Josef]

Blba otazka, je dost mista na disku? 

[trubicoid2]

este ma napadlo ze tam bezia 32b verzie programov, kernel vyzera byt 32bit(i686) bez PAE.

no jako prvni bych zkusil kompilovat stejny kernel se stejnou konfiguraci, ale 64b, userspace se vubec menit nemusi, ale sprava pameti bude daleko lepsi

teda pokud nekde budes mit gcc 64bit, ktere ten archaicky kernel prelozi

pripadne zkusit "nejnovejsi" 2.6.27.x x=57 nebo 2.6.39.4? treba ty novejsi kernely soucasne gcc zvladne

[trubicoid2]

zdá se, že 2.6.27.57 i 2.6.39.4 by mělo jet s gcc4, gcc5 nejde, ted jsem zkousel

[Jenda]

Ale každý proces stejně dokáže naadresovat — všimněte si, nepíšu naalokovat — pouze 3 GB viruálního adresního prostoru. Proces tak může mít naalokováno třeba jen 300 MB fyzické paměti, ale může havarovat na nedostatek virtuální paměti (přes 3 GB).

To ale přece nevyvolá OOM killer (který se navíc nevyvolává při alokacích, ale až když začneš namapované stránky špinit), ale malloc/sbrk mu prostě vrátí -1, ne?

Pro tazatele: můžeš vypnout memory overcommit? Teoreticky by se pak v logu mohl ukázat proces, který to _opravdu_ způsobil.

[Jenda]

malloc

mmap, samozřejmě. Sorry.

[pakozdy]

vymena jadra je trocha problem - je to proste konzerva do ktorej nikto nechce velmi sparat. navyse gentoo vidim prvy raz a s kernelmi som na tejto distribucii nerobil takze je tam vysoke riziko uplneho polamania.

skusim detailnejsie zistit cerapania pamate.
na uvod zmenim nastavenia javy a mysql aby to zozralo max 2,5GB.