Pomalé kopírování z NASu

Re:Pomalé kopírování z NASu
« Odpověď #15 kdy: 21. 12. 2013, 12:24:32 »
Při 95% už většině lidem NAS neodpovídal vůbec na nic... mnohdy jim NAS přestal reagovat při 82% využitého prostoru.
Řešilo se to deaktivováním některých funkcionalit ext4, problém dělá vyhledávání nefragmentovaného prostoru.
Jak se chová ten "top" při čtení a zápisu?

Pošli sem ještě obsah /etc/fstab

Jumbo frames se dá vyčíst z ifconfigu (MTU:9000) a většinou to lze nastavit rovnou v GUI NASu.
„Řemeslo se naučí každý. Umění nikdo.“
„Jednoduchost je nejvyšší úroveň sofistikovanosti.“
- Leonardo Da Vinci


Pavel85

Re:Pomalé kopírování z NASu
« Odpověď #16 kdy: 21. 12. 2013, 15:19:49 »
tady je

proc      /proc      proc   defaults   0   0
/dev/ram0   /      ext2   defaults   1   1


Akorát se mi zdá, že ten nas nepoužívá EXT4 ale EXT3, ale nejsem si jistý.
Nejhorší je, že ty data nemám kam vykopírovat.

Pavel85

Re:Pomalé kopírování z NASu
« Odpověď #17 kdy: 21. 12. 2013, 15:39:36 »
JUMBO by mělo být tedy vyplé

/ #  sbin/ifconfig
egiga0    Link encap:Ethernet  HWaddr 5C:D9:98:F9:58:06
          inet addr:10.0.0.10  Bcast:10.0.0.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:553663 errors:0 dropped:0 overruns:0 frame:0
          TX packets:1698172 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:532
          RX bytes:254564427 (242.7 MiB)  TX bytes:2433919331 (2.2 GiB)
          Interrupt:11

lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:64550 errors:0 dropped:0 overruns:0 frame:0
          TX packets:64550 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:11617372 (11.0 MiB)  TX bytes:11617372 (11.0 MiB)

Re:Pomalé kopírování z NASu
« Odpověď #18 kdy: 22. 12. 2013, 09:26:11 »
Vypadá to celkem normálně... Co je vykopírovat na ten druhý disk? Tak aby první měl alespoň 15% volného prostoru.
Taky bych se zkusil při čtení a zápisu kouknout do toho "top" co se děje.
„Řemeslo se naučí každý. Umění nikdo.“
„Jednoduchost je nejvyšší úroveň sofistikovanosti.“
- Leonardo Da Vinci

Pavel 'TIGER' Růžička

Re:Pomalé kopírování z NASu
« Odpověď #19 kdy: 22. 12. 2013, 09:58:03 »
Já bych asi začal tím, že bych překontroloval disky, jak jsou na tom. Nejde jen o špatné bloky, ale i o jejich odezvu. Mám tu zdravý disk, ale odezva je kolem 200ms panečku a jak se to všechno loudá. Jakmile bych měl jistotu v discích, pokračoval bych dál a začal se hrabat v systému. Pravdou je, že ten zaplněný disk může být problém, ale 20% free je moc. 5% by mělo stačit.


Re:Pomalé kopírování z NASu
« Odpověď #20 kdy: 22. 12. 2013, 10:21:23 »
Já bych asi začal tím, že bych překontroloval disky, jak jsou na tom. Nejde jen o špatné bloky, ale i o jejich odezvu. Mám tu zdravý disk, ale odezva je kolem 200ms panečku a jak se to všechno loudá. Jakmile bych měl jistotu v discích, pokračoval bych dál a začal se hrabat v systému. Pravdou je, že ten zaplněný disk může být problém, ale 20% free je moc. 5% by mělo stačit.

Nebylo by špatné to je fakt, šel by použít příkaz dd
dd if=/dev/zero of=smazat.bin bs=1M count=10000 (zápis)
dd if=smazat.bin of=/dev/null bs=1M count=10000 (čtení)
pak ten soubor odstranit samozřemě :)
rm smazat.bin

Jakmile volný prostor klesne pod 20% výkon strašně padá dolu, jde jen o to jestli snesitelně nebo neúnosně. U nasů bylo obvyklé nerezervovat prostor pro roota. Synology, QNAP a Netgear pod ARMem to řešili tím, že zablokujou určitou kapacitu disku a pak ještě změní některé parametry kernelu.
Nicméně faktem je, že to nikdo z nich pořádně nedořešil a v extrémním případě to při 20% což je klidně 600GB prostoru se zařízení zasekne a nereaguje (load 100% - je tím popsáno asi tak desítky stran textu nadšených uživatelůls
).
Jediná možnost je rázně zvýšit výkon CPU a pamět tudíž 2GHz a výš + 512MB a výš (enterprise modely).
„Řemeslo se naučí každý. Umění nikdo.“
„Jednoduchost je nejvyšší úroveň sofistikovanosti.“
- Leonardo Da Vinci

Re:Pomalé kopírování z NASu
« Odpověď #21 kdy: 22. 12. 2013, 10:42:12 »
Pozor, trošku jsem to nedomyslel :-) po ránu jsem vymazanej. Samozřejmě to zobrazí rychlost v rámci souborového systému.
I tak by to ale mohlo něco naznačit. Co takhle firmware? Je poslední? Bohužel pokud vím záplata se někdy řešila i reformátováním (nezkoumal jsem to do hloubky, ale asi nějaký parametry při tvorbě fs).

Kouknul bych i do dmesg a zkusil pustit smartctl na oba disky.
„Řemeslo se naučí každý. Umění nikdo.“
„Jednoduchost je nejvyšší úroveň sofistikovanosti.“
- Leonardo Da Vinci

PANKapitanRUM

Re:Pomalé kopírování z NASu
« Odpověď #22 kdy: 22. 12. 2013, 12:01:04 »
A nebo udělat přesně to, co jsem psal  ::)
S tím NASem jsem už měl tu čest a byl tam stejný problém, ale všechny cesty vedou do Říma, třeba se tam dostanete i přes Aljašku.

Pavel85

Re:Pomalé kopírování z NASu
« Odpověď #23 kdy: 22. 12. 2013, 13:02:46 »
Takže v tom "top" při kopírování je u procesoru tak 60-75% a u "sys" to lítá tak 15-20%.

PANKapitanRUM - zkusil bych to co jsi poradil, ale  je to časově náročnější a nejraději bych u toho všechno zálohoval, jenže zatím není kde.

Jinak FW je nejnovější a v nastavení jsem nikde nenašel možnosti JUMBO RFAMES.

A ještě mi vrtá hlavou, ten jeden plný disk by způsoboval pomalé kopírování z obou disků?

Včera jsem si s tím hrál a je zvláštní, že někdy to jede třeba jen 6-7MB/s a někdy třeba 15MB/s. Zkoušel jsem i vypnout DLNA, jestli to nebrzdí, ale nic nepomáhá. Nic jiného na tom neprovozuji. Slouží to pouze jako uložiště přístupné přes sambu (žádná oprávnění nebo skupiny,přístup mají všichni) a jako DLNA server pro TV, která neumí sambu. Takže ani FTP nemám zaplé, ale ito se chová stejně.

A ještě jedna otázka. Pokud bych vytáhnul disky za účelem překopírování dat (ať to nemusím tahat po té síti), budou data přístupné? Třeba přes redukci USB, nebo normálně v kompu?

Jimm

Re:Pomalé kopírování z NASu
« Odpověď #24 kdy: 22. 12. 2013, 13:21:20 »
Proto, že je to "časově náročnější" tady budete raději tlachat pár měsíců a řešit teorii, než zkusit to co vám navrhuje někdo, kdo tvrdí že měl ten samý model a že to pomůže? No tak na to se dá říct snad jedině looool. :)

Re:Pomalé kopírování z NASu
« Odpověď #25 kdy: 22. 12. 2013, 13:44:58 »
Takže v tom "top" při kopírování je u procesoru tak 60-75% a u "sys" to lítá tak 15-20%.

PANKapitanRUM - zkusil bych to co jsi poradil, ale  je to časově náročnější a nejraději bych u toho všechno zálohoval, jenže zatím není kde.

Jinak FW je nejnovější a v nastavení jsem nikde nenašel možnosti JUMBO RFAMES.

A ještě mi vrtá hlavou, ten jeden plný disk by způsoboval pomalé kopírování z obou disků?

Včera jsem si s tím hrál a je zvláštní, že někdy to jede třeba jen 6-7MB/s a někdy třeba 15MB/s. Zkoušel jsem i vypnout DLNA, jestli to nebrzdí, ale nic nepomáhá. Nic jiného na tom neprovozuji. Slouží to pouze jako uložiště přístupné přes sambu (žádná oprávnění nebo skupiny,přístup mají všichni) a jako DLNA server pro TV, která neumí sambu. Takže ani FTP nemám zaplé, ale ito se chová stejně.

A ještě jedna otázka. Pokud bych vytáhnul disky za účelem překopírování dat (ať to nemusím tahat po té síti), budou data přístupné? Třeba přes redukci USB, nebo normálně v kompu?

Ano symptom je přesně takový, jeden zaplněný disk výrazně zbrzdí celý systém...
Ono je to patrné i na běžném PC s vícejaderným CPU, jenže tam se to tak nějak ztratí.

5% je extrémně málo (i v linuxu se to bere jako bezpečnostní limit - proto je obvykle alokovanej pro uživatele root)
Uživatelům už systém vrací 0% volného prostoru.

Disky obvykle jsou přístupné... celkem bez problémů, to si zkus. Vyjmutí ve vypnutém stavu samozřejmě nic nepoškodí.
Bývají tam cca 3 oddíly (root, swap - v RAIDu 1 a zbytek dle konfigurace) obvykle nad LVM se softwarovým raidem.

„Řemeslo se naučí každý. Umění nikdo.“
„Jednoduchost je nejvyšší úroveň sofistikovanosti.“
- Leonardo Da Vinci

RDa

  • *****
  • 1 772
    • Zobrazit profil
    • E-mail
Re:Pomalé kopírování z NASu
« Odpověď #26 kdy: 22. 12. 2013, 13:49:29 »
Muze mi nekdo vysvetlit proc by ext4 melo hnit pri free < 20%?

Jiz par mesicu je u me stav (na pracovnich discich):

** 6.0T  5.9T  145G  98% **
** 15T   15T   17G 100% **

A uplne v pohode nad tim operuji (read/write). A to bych to mel mit ztizene RAID-5...

To co opravdu hnije je implementace SMB serveru - kdyz se soubor pres SMB zapise, tak nejde cist rychleji nez 8-9 MB/s => NAS pouzivejte pres NFS nebo iSCSI :)

Re:Pomalé kopírování z NASu
« Odpověď #27 kdy: 22. 12. 2013, 13:57:09 »
Muze mi nekdo vysvetlit proc by ext4 melo hnit pri free < 20%?

Jiz par mesicu je u me stav (na pracovnich discich):

** 6.0T  5.9T  145G  98% **
** 15T   15T   17G 100% **

A uplne v pohode nad tim operuji (read/write). A to bych to mel mit ztizene RAID-5...

To co opravdu hnije je implementace SMB serveru - kdyz se soubor pres SMB zapise, tak nejde cist rychleji nez 8-9 MB/s => NAS pouzivejte pres NFS nebo iSCSI :)

Ten ARM s málo RAM to prostě neutáhne... je to naprosto normální stav, jeden tu mám a volných je 15% prostoru - přenosové rychlosti už klesly na polovinu je to běžná věc.
„Řemeslo se naučí každý. Umění nikdo.“
„Jednoduchost je nejvyšší úroveň sofistikovanosti.“
- Leonardo Da Vinci

Re:Pomalé kopírování z NASu
« Odpověď #28 kdy: 22. 12. 2013, 14:13:07 »
Muze mi nekdo vysvetlit proc by ext4 melo hnit pri free < 20%?

Jiz par mesicu je u me stav (na pracovnich discich):

** 6.0T  5.9T  145G  98% **
** 15T   15T   17G 100% **

A uplne v pohode nad tim operuji (read/write). A to bych to mel mit ztizene RAID-5...

To co opravdu hnije je implementace SMB serveru - kdyz se soubor pres SMB zapise, tak nejde cist rychleji nez 8-9 MB/s => NAS pouzivejte pres NFS nebo iSCSI :)

Ten ARM s málo RAM to prostě neutáhne... je to naprosto normální stav, jeden tu mám a volných je 15% prostoru - přenosové rychlosti už klesly na polovinu je to běžná věc.

Nepříjde mi, ale že by ta Samba v tom byla tak hrozná, mě to dá 600Mbit/s teď to teda přibrzdilo s tím plným diskem na 300Mbit/s.
I tak na cca 6Watt energie slušný výkon + disky samozřejmě.
„Řemeslo se naučí každý. Umění nikdo.“
„Jednoduchost je nejvyšší úroveň sofistikovanosti.“
- Leonardo Da Vinci

Komo

Re:Pomalé kopírování z NASu
« Odpověď #29 kdy: 22. 12. 2013, 14:17:59 »
A skusal si aj kopirovat z NASu na ine zariadenie?
Ak sa na NASe sprava vsetko OK moze byt problem aj v PC na ktory data kopirujes.