HP microserver GEN8 pomalý zapis na disky

[Michal Šmucr]

Ještě pár hodnot na porovnání.
Dnes se mi dostal shodou okolností do ruky také HP Microserver Gen 8, základní model se slabším CPU G1610T.

Měl jsem po ruce dva volné HDD. Starý 2TB Hitachi vytažený z vyřazeného pole a novější 6TB Seagate IronWolf Pro.
Vyzkoušel jsem dd zápis s tím samým příkazem pro srovnání.
Pak jsem totéž zreplikoval v benchmarku fio (balíček ve většině distribucí), který umožňuje nastavit zmíněný queue depth (QD), abyste viděl rozdíl.

Device Model:     HDS723020ALA640 RSD HUA

dd
user@lunar:~$ sudo dd if=/dev/urandom of=/dev/sda bs=1M count=1k status=progress oflag=direct
1068498944 bytes (1.1 GB, 1019 MiB) copied, 16 s, 66.7 MB/s
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 16.0867 s, 66.7 MB/s

fio QD 1
Run status group 0 (all jobs):
  WRITE: bw=64.2MiB/s (67.3MB/s), 64.2MiB/s-64.2MiB/s (67.3MB/s-67.3MB/s), io=7700MiB (8074MB), run=120006-120006msec

Run status group 1 (all jobs):
   READ: bw=138MiB/s (145MB/s), 138MiB/s-138MiB/s (145MB/s-145MB/s), io=16.2GiB (17.4GB), run=120003-120003msec

fio QD 8
Run status group 0 (all jobs):
  WRITE: bw=137MiB/s (144MB/s), 137MiB/s-137MiB/s (144MB/s-144MB/s), io=16.0GiB (17.2GB), run=120050-120050msec

Run status group 1 (all jobs):
   READ: bw=138MiB/s (145MB/s), 138MiB/s-138MiB/s (145MB/s-145MB/s), io=16.2GiB (17.4GB), run=120061-120061msec

Model Family:     Seagate IronWolf Pro
Device Model:     ST6000NE0023-2EX110

dd
user@lunar:~$ sudo dd if=/dev/urandom of=/dev/sdc bs=1M count=1k status=progress oflag=direct
1072693248 bytes (1.1 GB, 1023 MiB) copied, 14 s, 76.6 MB/s
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 14.0178 s, 76.6 MB/s

fio QD 1
Run status group 2 (all jobs):
  WRITE: bw=77.7MiB/s (81.5MB/s), 77.7MiB/s-77.7MiB/s (81.5MB/s-81.5MB/s), io=9329MiB (9782MB), run=120003-120003msec

Run status group 3 (all jobs):
   READ: bw=222MiB/s (232MB/s), 222MiB/s-222MiB/s (232MB/s-232MB/s), io=26.0GiB (27.9GB), run=120001-120001mse

fio QD 8
Run status group 2 (all jobs):
  WRITE: bw=222MiB/s (233MB/s), 222MiB/s-222MiB/s (233MB/s-233MB/s), io=26.0GiB (27.9GB), run=120032-120032msec

Run status group 3 (all jobs):
   READ: bw=222MiB/s (233MB/s), 222MiB/s-222MiB/s (233MB/s-233MB/s), io=26.1GiB (28.0GB), run=120034-120034msec


Je tam pěkně poznat, že se po zvýšení QD propustnost při zápisu víceméně srovná se čtením.
Jinak finální výkon a optimalizace celého systému pro daný workload má spoustu aspektů, co to můžou ovlivnit.
Tohle je ideální kombinace velkého bloku a příhodného QD, a hází to víceméně maximální propustnost pro rotační disky na začátku plotny.

[Reklama]

[Jan Fikar]

Jak už bylo v odkazu od a12, tak microserver vypíná u disků write-cache. Jde to zapnout v biosu anebo hdparm. Kouknout se jde pomocí sudo hdparm -W /dev/sda

Vypnutí write-cache vypne i NCQ a zápis je celkově pomalý. Kouknout jde pomocí cat /sys/block/sda/device/queue_depth

Mělo by tam být 32. Když je tam 1, tak je NCQ vypnuté.

Taky sloty 1 a 2 jsou SATA3, kdežto 3, 4 a CD jen SATA2. To ale je spíš důležité pro SSD než pro HDD.

[smaza]

Děkuji všem za podnětné příspěvky. Ten Legacy mód jsem tam měl zapnutý, abych mohl bootovat ze sata portu na desce, ve kterém mám strčené to SSD. Viz zde https://op-co.de/blog/posts/microserver_gen8_fix_boot_order/. Trochu se v tom pohrabu a pak dám report.

Díky.

[messagebus]

Taky by bylo zahodno zkontrolovat jakou rychlosti bezi

dd if=/dev/urandom of=/dev/null ...

[Jan Fikar]

V podstatě můžeš mít v biosu co chceš a pak třeba v /etc/rc.local zapneš pro každý disk

hdparm -W 1 /dev/sda
echo 32 > /sys/block/sda/device/queue_depth

A mělo by to zapisovat rychle.

Další možnost je mít /boot ma microSD kartě, co se zasunuje přímo do MB.

[Reklama]

[Jan Fikar]

Taky by bylo zahodno zkontrolovat co dava

dd if=/dev/urandom of=/dev/null ...

To je pravda, na E3-1265L V2 to jede přes 300 MB/s, ale ten Celer bude trochu pomalejší. Jestli jde jen o rychlost, tak je lepší brát jako zdroj /dev/zero

[smaza]

V biosu jsem zapnul raid radič a povolil cache. Vytvořeil RAID0 z SSD disku a systém normálně nabootoval z SSD. Asi vyřešeno. Díky moc.

Kód: [Vybrat]

root@pve:~# hdparm -W /dev/sda

/dev/sda:
 write-caching =  1 (on)
root@pve:~# hdparm -W /dev/sdb

/dev/sdb:
 write-caching =  1 (on)
root@pve:~# hdparm -W /dev/sdc

/dev/sdc:
 write-caching =  1 (on)
root@pve:~# hdparm -W /dev/sdd

/dev/sdd:
 write-caching =  1 (on)
root@pve:~# cat /sys/block/sda/device/queue_depth
32
root@pve:~# dd if=/dev/urandom of=/dev/null
^C6753515+0 records in
6753514+0 records out
3457799168 bytes (3.5 GB, 3.2 GiB) copied, 17.0893 s, 202 MB/s

root@pve:~# dd if=/dev/urandom of=/dev/sda bs=1M count=1024 oflag=direct status=progress
933232640 bytes (933 MB, 890 MiB) copied, 6 s, 155 MB/s
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 6.87877 s, 156 MB/s
root@pve:~# dd if=/dev/urandom of=/dev/sdb bs=1M count=1024 oflag=direct status=progress
1059061760 bytes (1.1 GB, 1010 MiB) copied, 7 s, 151 MB/s
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 7.11022 s, 151 MB/s
root@pve:~# dd if=/dev/urandom of=/dev/sdc bs=1M count=1024 oflag=direct status=progress
1040187392 bytes (1.0 GB, 992 MiB) copied, 7 s, 149 MB/s
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 7.23144 s, 148 MB/s
root@pve:~# dd if=/dev/urandom of=/dev/sdd bs=1M count=1024 oflag=direct status=progress
1006632960 bytes (1.0 GB, 960 MiB) copied, 7 s, 144 MB/s
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 7.45791 s, 144 MB/s
root@pve:~#


[smaza]

Ještě si s tím hraju přepnul jsem zpátky na Legacy a zapnul cache. Rychlosti plus mínus stejné. Nicméně queue_depth=1, když chci zapsat hodnotu 32 napíše mi to:

Kód: [Vybrat]

root@pve:~# echo 32 > /sys/block/sda/device/queue_depth
-bash: /sys/block/sda/device/queue_depth: Permission denied


Kód: [Vybrat]

root@pve:~# hdparm -W /dev/sd[abcd]

/dev/sda:
 write-caching =  1 (on)

/dev/sdb:
 write-caching =  1 (on)

/dev/sdc:
 write-caching =  1 (on)

/dev/sdd:
 write-caching =  1 (on)
root@pve:~# dd if=/dev/urandom of=/dev/sda bs=1M count=1024 oflag=direct status=progress
932184064 bytes (932 MB, 889 MiB) copied, 6 s, 155 MB/s
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 6.88844 s, 156 MB/s
root@pve:~# dd if=/dev/urandom of=/dev/sdb bs=1M count=1024 oflag=direct status=progress
1038090240 bytes (1.0 GB, 990 MiB) copied, 8 s, 130 MB/s
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 8.2777 s, 130 MB/s
root@pve:~# dd if=/dev/urandom of=/dev/sdc bs=1M count=1024 oflag=direct status=progress
1056964608 bytes (1.1 GB, 1008 MiB) copied, 7 s, 151 MB/s
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 7.12634 s, 151 MB/s
root@pve:~# dd if=/dev/urandom of=/dev/sdd bs=1M count=1024 oflag=direct status=progress
1035993088 bytes (1.0 GB, 988 MiB) copied, 8 s, 129 MB/s
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 8.29229 s, 129 MB/s
root@pve:~# cat /sys/block/sda/device/queue_depth
1