Aktualizace aplikace zatěžuje nadměrně server

Vlas

Aktualizace aplikace zatěžuje nadměrně server
« kdy: 22. 07. 2010, 09:29:28 »
Mám na serveru Debian Etch + Samba, běží mi tam i produkt, který vyžaduje jednou za měsíc aktualizaci dat z 2 ks DVD. Když aktualizaci spustím, probíhá kopírování mnoha malých souborů z DVD na HDD, čímž dochází k drastickému zpomalení prakticky všech služeb serveru (někdy ani nepřidělí přes DHCP IPčko. Prostě čtení z DVD a zápis na HDD žere moc CPU. Dá se nějakým způsobem snížit tuto zátěž ? Je mi jedno jestli se tím aktualizace protáhne z 1 hodiny třeba na 8hodin.
Díky za nápady.


Jakub L.

Re: Aktualizace aplikace zatěžuje nadměrně server
« Odpověď #1 kdy: 22. 07. 2010, 11:25:50 »
Řešení se jmenuje ionice. Nastavením správného ionice snížíte prioritu aktualizace při manipulaci s diskem a tudíž budou přednostně obsluhovány ostatní věci a teprve ve "volném čase" bude probíhat aktualizace...

Vlas

Re: Aktualizace aplikace zatěžuje nadměrně server
« Odpověď #2 kdy: 22. 07. 2010, 12:01:45 »
Díky za radu, teď jsem zjistil že tam není Etch ale Sarge s jádrem 2.4.27 a ionice potřebuje 2.6.13, pokusím se nějak dořešit...

trubicoid2

Re: Aktualizace aplikace zatěžuje nadměrně server
« Odpověď #3 kdy: 22. 07. 2010, 12:19:15 »
jeste takova trivialni vec: jede DVD mechanika a disk v UDMA rezimu?

Vlas

Re: Aktualizace aplikace zatěžuje nadměrně server
« Odpověď #4 kdy: 22. 07. 2010, 12:40:21 »
Podle hdparmu ano:

cdrom: DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 *udma3

hdd: DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 *udma5 udma6


trubicoid2

Re: Aktualizace aplikace zatěžuje nadměrně server
« Odpověď #5 kdy: 23. 07. 2010, 09:54:18 »
pak jeste muzou byt spatne zvoleny parametry file systemu, jinak nevim, proc by kopirovani melo vytezovat CPU

co tam mas za file system? a jaky mount parametry? -o noatime treba?

jinak jak radil kolega zkusit pustit pres

ionice -c3 nice -19 davka.sh

Vlas

Re: Aktualizace aplikace zatěžuje nadměrně server
« Odpověď #6 kdy: 26. 07. 2010, 14:25:20 »
pak jeste muzou byt spatne zvoleny parametry file systemu, jinak nevim, proc by kopirovani melo vytezovat CPU

co tam mas za file system? a jaky mount parametry? -o noatime treba?

jinak jak radil kolega zkusit pustit pres

ionice -c3 nice -19 davka.sh

momentálně /dev/hda1 on / type ext3 (rw,usrquota,errors=remount-ro)

ionice nemůžu použít, nemám v provozu jádro na kterém to lze provozovat ( psal sem už nahoře)

Mordae

Re: Aktualizace aplikace zatěžuje nadměrně server
« Odpověď #7 kdy: 26. 07. 2010, 21:05:11 »
Eh, abych byl uprimny, proc tam neni novejsi Debian? To samotne 2.6 jadro by to mozna vyresilo, protoze je v nem jiny I/O planovac... Pripadne by mohl pomoci ionice.

Pokud by to opravdu neslo, je tady jedno osklive, hackovite reseni; http://s3.amazonaws.com/ServEdge_pub/ionice

trubicoid2

Re: Aktualizace aplikace zatěžuje nadměrně server
« Odpověď #8 kdy: 27. 07. 2010, 01:29:08 »
no jestli mas ext3, tak bych zkusil pridat mount parametr noatime

a pak jeste pridat dir_index (jestli ho jeste nemas), je potreba toto udelat na nenamountovanym fs:

tune2fs -O dir_index /dev/hda1
e2fsck -f -y -D /dev/hda1

pripadne taky e2fsck na konci napise nec jako (14.8% non-contiguous), jestli cislo bude vysoky, tak je hodne souboru fragmentovanych, tak by se s tim asi melo neco udelat; nejjednoduzsi je zalohovat, formatovat, restaurovat anebo neco jako http://vleu.net/shake/

anebo pouzivat xfs, kteryzto umi defragmentovat online pomoci xfs_fsr


trubicoid2

Re: Aktualizace aplikace zatěžuje nadměrně server
« Odpověď #9 kdy: 27. 07. 2010, 10:15:03 »
no dobre, xfs mozna ne, protoze vetsinou je pomaly s malyma souborama, coz je tvuj pripad

jeste pro ext3 je dobre zkusit data=writeback

Vlas

Re: Aktualizace aplikace zatěžuje nadměrně server
« Odpověď #10 kdy: 03. 08. 2010, 06:45:45 »
Starej Debian je tam proto, protože to beží a nikdy nebylo potřeba do toho šahat. Aktualizace nejdřív bylo 1CD a to šlo celkem dobře, dnes sou to 2DVD dat a začíná to být otravný.

Pokusím se v první řadě modifikovat mount parametry, než bych šel do aktualizace OS, přecejen si nechcu přidělat kupu starostí.
Děkuju za pomoc, ozvu se jak jsem dopadl.