Zálohování na pásku - pomalé LTO-2

Petr

Re:Zálohování na pásku - pomalé LTO-2
« Odpověď #15 kdy: 27. 02. 2017, 17:28:58 »
Nejen u taru, ale i u dd páska prostě odmítá pracovat s blokem větším než 64kB.

Udělal jsem si archiv na disku s tím, že ho pak hodím na pásku přes dd. Postupoval jsme takto:

1. Vytvoření archivu:
# tar --totals -b 512 -cf /tmp/zaloha.tar  ./TrueOS-Desktop-2016-08-24-x64-PC_BSD.iso
Total bytes written: 1694760960 (1.6GiB, 120MiB/s)

2. nastavení pásky na začátek a nastavení bloku na 256kB:
# mt -f /dev/nst0 rewind
# mt -f /dev/nst0 setblk 256kb

3. Ověření, že se vše správne nastavilo:
# mt -f /dev/nst0 status
SCSI 2 tape drive:
File number=0, block number=0, partition=0.
Tape block size 262144 bytes. Density code 0x42 (LTO-2).
Soft error count since last status=0
General status bits on (41010000):
 BOT ONLINE IM_REP_EN

4. Pokus zapsat na pásku po 256kB blocích přes dd se nezdaří:
# dd if=/tmp/zaloha.tar of=/dev/nst0 bs=256k
dd: writing `/dev/nst0': Device or resource busy
1+0 records in
0+0 records out
0 bytes (0 B) copied, 4.90658 s, 0.0 kB/s

5. Přítom po 64kB blocích to jde:
# dd if=/tmp/zaloha.tar of=/dev/nst0 bs=64k
25860+0 records in
25860+0 records out
1694760960 bytes (1.7 GB) copied, 144.778 s, 11.7 MB/s

Někde tedy musí být nastavena maximální velikost bloku pro zařízení /dev/nst0
Netušíte kde?


JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Zálohování na pásku - pomalé LTO-2
« Odpověď #16 kdy: 27. 02. 2017, 19:58:57 »
A co kdybyste tedy preci jenom zkusil napaskovat kus /dev/random a zjistil rychlost a jestli paska porad zastavuje?

aaa

Re:Zálohování na pásku - pomalé LTO-2
« Odpověď #17 kdy: 27. 02. 2017, 22:24:42 »
A co kdybyste tedy preci jenom zkusil napaskovat kus /dev/random a zjistil rychlost a jestli paska porad zastavuje?
/dev/random bude zastavovat. Mne dava po vycerpani maleho poolu niekde okolo 5B/s. To rychlejsie napise na klavesnici.
/dev/urandom mi dava 160MiB/s, to mam docela slusny CPU. To uz by mohlo stacit na vytazenie pasky, aj ked pri horsom CPU nikto nevie.
/dev/zero mi dava okolo 4.5GB/s, takze to by som skusil. Zase je problem s tym, ze sa to lahko komprimuje.

Re:Zálohování na pásku - pomalé LTO-2
« Odpověď #18 kdy: 28. 02. 2017, 10:05:00 »
1. radic se s paskou dohodl na dostatecne rychlosti?
2. zkusil jste pouzit primo tar pro ukladani na pasku s parametrem -b, napr. -b 1024?


Re:Zálohování na pásku - pomalé LTO-2
« Odpověď #19 kdy: 28. 02. 2017, 10:07:31 »
1. radic se s paskou dohodl na dostatecne rychlosti?
2. zkusil jste pouzit primo tar pro ukladani na pasku s parametrem -b, napr. -b 1024?

Omlouvam se, koukam, ze uz jste to zkousel...


Petr

Re:Zálohování na pásku - pomalé LTO-2
« Odpověď #20 kdy: 28. 02. 2017, 11:16:35 »
Rychlost /dev/random je opravdu bídná. Rychlejší je /dev/urandom které dává 5,2MB/s
Kód: [Vybrat]
# dd if=/dev/urandom of=/tmp/smaz.txt count=1000000
1000000+0 records in
1000000+0 records out
512000000 bytes (512 MB) copied, 98.3409 s, 5.2 MB/s
Pro test pásky je to ale málo.

Nejrychlejší /dev/zero už na test stačí. Do /dev/null dává 539MB/s:
Kód: [Vybrat]
# dd if=/dev/zero of=/dev/null count=1000000
1000000+0 records in
1000000+0 records out
512000000 bytes (512 MB) copied, 0.949387 s, 539 MB/s

Jenže když to pošlu na pásku, tak to v podstatě ignoruje a netočí se, zřejmě protože komprese. Až nakonec na chvilku zavrčí. Výsledná rychlost rychlost je stejná, tedy kolem 11MB/s:
Kód: [Vybrat]
dd if=/dev/zero of=/dev/nst0 bs=65536 count=10000
10000+0 records in
10000+0 records out
655360000 bytes (655 MB) copied, 55.6942 s, 11.8 MB/s

Při vypnutí komprese se už páska točí, ale pořád stejně, tedy 7 vteřin jede, pak 3 vteřiny stojí a tak pořád dokola:
Kód: [Vybrat]
# mt -f /dev/st0 defcompression -1
# mt -f /dev/st0 compression off
# dd if=/dev/zero of=/dev/nst0 bs=65536 count=10000
10000+0 records in
10000+0 records out
655360000 bytes (655 MB) copied, 55.5325 s, 11.8 MB/s

Když čtu z pásky regulerní tar soubor s daty a výstup dám do /dev/null, tak páska zastavuje:
Kód: [Vybrat]
# dd if=/dev/nst0 of=/dev/null bs=65536
25859+0 records in
25859+0 records out
1694695424 bytes (1.7 GB) copied, 138.143 s, 12.3 MB/s

Když chci použít větší bloky než 64kB, tak to hodí chybu:
Kód: [Vybrat]
# dd if=/dev/nst0 of=/dev/null bs=131072
dd: reading `/dev/nst0': Device or resource busy
0+0 records in
0+0 records out
0 bytes (0 B) copied, 0.000500041 s, 0.0 kB/s

Zkusil jsem nainstalovat ovladač lin_tape od IBM, výsledek je však pořád stejný. Démon lin_taped vytvoří zařízení /dev/IBMtape0. Chování je ale identické jako u původního /dev/st0, tady neumožní větší bloky jak 64kB a páska zastavuje.

Všechno to ukazuje na omezenou rychlost sběrnice.
Zarazilo mne taky to "SCSI 2 tape drive" ve statusu mt:
Kód: [Vybrat]
# mt -f /dev/st0 status
SCSI 2 tape drive:
File number=0, block number=0, partition=0.
Tape block size 0 bytes. Density code 0x42 (LTO-2).
Soft error count since last status=0
General status bits on (41010000):
 BOT ONLINE IM_REP_EN
Díval jsem se do zdrojáku mt a pokud jsem to dobře pochopil, neznamená to přímo, že by se jednalo o pomalé rozhraní SCSI 2 s propustností 10MB/s. Ono ve zdrojáku mt je jen pár možností, které to umí vypsat ("SCSI 1", "SCSI 2", "OnStream SC-, DI-, DP-, or USB", "qic-117 drive type", "IDE-Tape" a "Unknown tape drive type").

Petr

Re:Zálohování na pásku - pomalé LTO-2
« Odpověď #21 kdy: 28. 02. 2017, 12:46:33 »
Citace
1. radic se s paskou dohodl na dostatecne rychlosti?

Když si při bootu přes ctrl-m vlezu do setupu raid řadiče, tak disky jsou na kanálu 0 a páska na kanálu 1. Oba kanály mají v parametru "SCSI Transfer rate" uvedeno 320M. Když si u pásky otevřu "Device identification", tak v parametru "SCSI Standard" je uvedeno SCSI-3. U disků je ve stejné položce navíc "SCSI-3 (320MB/s)". Předpokládm tedy, že řadič s mechanikou komunikuje stejně jako s disky plnou rychlostí rozhraní Ultra-320 SCSI, tedy 320MB/s. Jde to nějak ověřit v linuxu?


Re:Zálohování na pásku - pomalé LTO-2
« Odpověď #22 kdy: 28. 02. 2017, 18:37:56 »
Kód: [Vybrat]
SCSI 2je v pohodě, na FC ULTRIUM LTO-5 to taky píše SCSI 2 a rychlost je OK (přes 100MB/s).