RAID5 je rychlejší než RAID10

RAID5 je rychlejší než RAID10
« kdy: 22. 11. 2011, 11:40:22 »
Mam dva servery Supermicro X7DWN+ (2CPU )

V serverech jsou instalovane
3WARE 9650SE 16-port SATA 3Gb/s 256MB RAID
a kazdy ma 16 SATA 1TB Seagate HDD

Udelal jsem testy z kterych je videt ze (na cteni) RAID5 x 8HDD ma vetsi vykon nez RAID10 x 16HDD. Kdyby to melo byt uplne opacne: RAID10x16 mnel by byt rychlejsi nez RAID5x8

Hledam nejakeho dodavatele kde by mohl vzit nejake jine RAID napr. LSI (ne 3ware), Areca a t.d. kde je mozne provest testy a vratit RAID kdyby nebyl spokojeny testem

Mam zajem nejmene o 16 internal SATA.

Muzete li neco poradit?
Dekuji.
« Poslední změna: 23. 11. 2011, 10:22:27 od Petr Krčmář »


Rda

Re: RAID5 x 8 rychlejsi za RAID10 x 16
« Odpověď #1 kdy: 22. 11. 2011, 14:59:00 »
A v kolika vlaknech si cetl? Si porid jen HBA a kasli na hwraid. Ta investice za to nestoji :) Radeji si za to porid spare disk a lepsi cpu, se sw raidem na tom budes o hodne lepe.

bw

Re: RAID5 x 8 rychlejsi za RAID10 x 16
« Odpověď #2 kdy: 22. 11. 2011, 18:01:46 »
slo by podelit sa o nastroje a vysledky? nezda sa mi, ze by si dostal na RAID 5 viac IOPS, ale mozem sa mylit, resp. implementacia v HW radici taka moze byt :)

Re: RAID5 x 8 rychlejsi za RAID10 x 16
« Odpověď #3 kdy: 23. 11. 2011, 00:41:38 »
A v kolika vlaknech si cetl? Si porid jen HBA a kasli na hwraid. Ta investice za to nestoji :) Radeji si za to porid spare disk a lepsi cpu, se sw raidem na tom budes o hodne lepe.
Jsou to High Availability a High Load servery. Potrebuji rychlost a velkou capacitu. SATA controllery jsou nejvic pro 8 kanalu.

RAID controller
Kód: [Vybrat]
[root@template ~]# tw_cli /c2 show all
/c2 Driver Version = 2.26.02.013
/c2 Model = 9650SE-16ML
/c2 Available Memory = 224MB
/c2 Firmware Version = FE9X 4.10.00.007
/c2 Bios Version = BE9X 4.08.00.002
/c2 Boot Loader Version = BL9X 3.08.00.001
/c2 Serial Number = L322626A8510931
/c2 PCB Version = Rev 032
/c2 PCHIP Version = 2.00
/c2 ACHIP Version = 1.90
/c2 Number of Ports = 16
/c2 Number of Drives = 16
/c2 Number of Units = 1
/c2 Total Optimal Units = 1
/c2 Not Optimal Units = 0
/c2 JBOD Export Policy = off
/c2 Disk Spinup Policy = 1
/c2 Spinup Stagger Time Policy (sec) = 1
/c2 Auto-Carving Policy = off
/c2 Auto-Carving Size = 2048 GB
/c2 Auto-Rebuild Policy = on
/c2 Rebuild Mode = Adaptive
/c2 Rebuild Rate = 1
/c2 Verify Mode = Adaptive
/c2 Verify Rate = 1
/c2 Controller Bus Type = PCIe
/c2 Controller Bus Width = 8 lanes
/c2 Controller Bus Speed = 2.5 Gbps/lane

8 Disku RAID5
Kód: [Vybrat]
[root@template ~]# ./tw_cli /c4/u0 show
Unit UnitType Status %RCmpl %V/I/M Port Stripe Size(GB)
------------------------------------------------------------------------
u0 RAID-5 OK - - - 256K 6519.19
u0-0 DISK OK - - p0 - 931.312
u0-1 DISK OK - - p1 - 931.312
u0-2 DISK OK - - p2 - 931.312
u0-3 DISK OK - - p3 - 931.312
u0-4 DISK OK - - p4 - 931.312
u0-5 DISK OK - - p5 - 931.312
u0-6 DISK OK - - p6 - 931.312
u0-7 DISK OK - - p7 - 931.312
u0/v0 Volume - - - - - 6519.19

Prvni test ryclosti
Kód: [Vybrat]
[root@template ~]# dd if=/dev/sdc of=/dev/null bs=8M iflag=direct
9530+0 records in
9529+0 records out
79935045632 bytes (80 GB) copied, 116.869 s, 684 MB/s
57059+0 records in
57058+0 records out
478637195264 bytes (479 GB) copied, 698.931 s, 685 MB/s
423807+0 records in
423806+0 records out
3555142402048 bytes (3.6 TB) copied, 5287.42 s, 672 MB/s

16 disku RAID10
Kód: [Vybrat]
[root@template ~]# tw_cli /c2/u0 show
Unit UnitType Status %RCmpl %V/I/M Port Stripe Size(GB)
------------------------------------------------------------------------
u0 RAID-10 OK - - - 256K 7450.5
u0-0 RAID-1 OK - - - - -
u0-0-0 DISK OK - - p15 - 931.312
u0-0-1 DISK OK - - p11 - 931.312
u0-1 RAID-1 OK - - - - -
u0-1-0 DISK OK - - p7 - 931.312
u0-1-1 DISK OK - - p3 - 931.312
u0-2 RAID-1 OK - - - - -
u0-2-0 DISK OK - - p14 - 931.312
u0-2-1 DISK OK - - p10 - 931.312
u0-3 RAID-1 OK - - - - -
u0-3-0 DISK OK - - p6 - 931.312
u0-3-1 DISK OK - - p2 - 931.312
u0-4 RAID-1 OK - - - - -
u0-4-0 DISK OK - - p13 - 931.312
u0-4-1 DISK OK - - p9 - 931.312
u0-5 RAID-1 OK - - - - -
u0-5-0 DISK OK - - p5 - 931.312
u0-5-1 DISK OK - - p1 - 931.312
u0-6 RAID-1 OK - - - - -
u0-6-0 DISK OK - - p12 - 931.312
u0-6-1 DISK OK - - p8 - 931.312
u0-7 RAID-1 OK - - - - -
u0-7-0 DISK OK - - p4 - 931.312
u0-7-1 DISK OK - - p0 - 931.312
u0/v0 Volume - - - - - 8
u0/v1 Volume - - - - - 7442.5

Stejny test
Kód: [Vybrat]
[root@template ~]# dd if=/dev/sdb of=/dev/null bs=8M iflag=direct
469+0 records in
468+0 records out
3925868544 bytes (3.9 GB) copied, 6.84351 s, 574 MB/s
120888+0 records in
120887+0 records out
1014073655296 bytes (1.0 TB) copied, 1756.27 s, 577 MB/s

Vysledky pro 1 threaded linear read (block ssize=8Mb):
RAID5 x8HDD - 672 MB/s
RAID10 x16HDD -  577 MB/s

disktest RAID5 x8HDD
Kód: [Vybrat]
threads=1 bs=4k 333414.4B/s 0.32MB/s 81.4/s.
threads=1 bs=32k 2585395.2B/s 2.47MB/s 78.9/s.
threads=1 bs=64k 4974182.4B/s 4.74MB/s 75.9/s.
threads=1 bs=128k 9201254.4B/s 8.78MB/s 70.2/s.
threads=1 bs=4m 151833804.8B/s 144.80MB/s 36.2/s.
threads=1 bs=32m 406008627.2B/s 387.20MB/s 12.1/s.
threads=4 bs=4k 1114112.0B/s 1.06MB/s 272.0/s.
threads=4 bs=32k 8493465.6B/s 8.10MB/s 259.2/s.
threads=4 bs=64k 16148070.4B/s 15.40MB/s 246.4/s.
threads=4 bs=128k 29412556.8B/s 28.05MB/s 224.4/s.
threads=4 bs=4m 95210700.8B/s 90.80MB/s 22.7/s.
threads=4 bs=32m 187904819.2B/s 179.20MB/s 5.6/s.
threads=16 bs=4k 2544435.2B/s 2.43MB/s 621.2/s.
threads=16 bs=32k 19316736.0B/s 18.42MB/s 589.5/s.
threads=16 bs=64k 37512806.4B/s 35.77MB/s 572.4/s.
threads=16 bs=128k 63583027.2B/s 60.64MB/s 485.1/s.
threads=16 bs=4m 143025766.4B/s 136.40MB/s 34.1/s.
threads=16 bs=32m 161061273.6B/s 153.60MB/s 4.8/s.
threads=32 bs=4k 3180953.6B/s 3.03MB/s 776.6/s.
threads=32 bs=32k 24389222.4B/s 23.26MB/s 744.3/s.
threads=32 bs=64k 46406041.6B/s 44.26MB/s 708.1/s.
threads=32 bs=128k 77791232.0B/s 74.19MB/s 593.5/s.
threads=32 bs=4m 139250892.8B/s 132.80MB/s 33.2/s.
threads=32 bs=32m 181193932.8B/s 172.80MB/s 5.4/s.
threads=64 bs=4k 3684352.0B/s 3.51MB/s 899.5/s.
threads=64 bs=32k 27203993.6B/s 25.94MB/s 830.2/s.
threads=64 bs=64k 51308134.4B/s 48.93MB/s 782.9/s.
threads=64 bs=128k 81395712.0B/s 77.62MB/s 621.0/s.
threads=64 bs=4m 144284057.6B/s 137.60MB/s 34.4/s.
threads=64 bs=32m 174483046.4B/s 166.40MB/s 5.2/s.
threads=128 bs=4k 3526246.4B/s 3.36MB/s 860.9/s.
threads=128 bs=32k 26417561.6B/s 25.19MB/s 806.2/s.
threads=128 bs=64k 47048294.4B/s 44.87MB/s 717.9/s.
threads=128 bs=128k 72692531.2B/s 69.33MB/s 554.6/s.
threads=128 bs=4m 151833804.8B/s 144.80MB/s 36.2/s.
threads=128 bs=32m 187904819.2B/s 179.20MB/s 5.6/s.
threads=256 bs=4k 1419673.6B/s 1.35MB/s 346.6/s.
threads=256 bs=32k 11023155.2B/s 10.51MB/s 336.4/s.
threads=256 bs=64k 18671206.4B/s 17.81MB/s 284.9/s.
threads=256 bs=128k 28285337.6B/s 26.98MB/s 215.8/s.
threads=256 bs=4m 160641843.2B/s 153.20MB/s 38.3/s.

disktest RAID10 x16HDD
Kód: [Vybrat]
threads=1 bs=4k 312115.2B/s 0.30MB/s 76.2/s.
threads=1 bs=32k 2333081.6B/s 2.23MB/s 71.2/s.
threads=1 bs=64k 4456448.0B/s 4.25MB/s 68.0/s.
threads=1 bs=128k 8441036.8B/s 8.05MB/s 64.4/s.
threads=1 bs=4m 148058931.2B/s 141.20MB/s 35.3/s.
threads=1 bs=32m 416074956.8B/s 396.80MB/s 12.4/s.
threads=4 bs=4k 1205452.8B/s 1.15MB/s 294.3/s.
threads=4 bs=32k 9021030.4B/s 8.60MB/s 275.3/s.
threads=4 bs=64k 17249075.2B/s 16.45MB/s 263.2/s.
threads=4 bs=128k 32191283.2B/s 30.70MB/s 245.6/s.
threads=4 bs=4m 306184192.0B/s 292.00MB/s 73.0/s.
threads=4 bs=32m 426141286.4B/s 406.40MB/s 12.7/s.
threads=16 bs=4k 3623731.2B/s 3.46MB/s 884.7/s.
threads=16 bs=32k 26948403.2B/s 25.70MB/s 822.4/s.
threads=16 bs=64k 48575283.2B/s 46.33MB/s 741.2/s.
threads=16 bs=128k 81972428.8B/s 78.17MB/s 625.4/s.
threads=16 bs=4m 292762419.2B/s 279.20MB/s 69.8/s.
threads=16 bs=32m 446273945.6B/s 425.60MB/s 13.3/s.
threads=32 bs=4k 5120000.0B/s 4.88MB/s 1250.0/s.
threads=32 bs=32k 36349542.4B/s 34.67MB/s 1109.3/s.
threads=32 bs=64k 65817804.8B/s 62.77MB/s 1004.3/s.
threads=32 bs=128k 101816729.6B/s 97.10MB/s 776.8/s.
threads=32 bs=4m 301989888.0B/s 288.00MB/s 72.0/s.
threads=32 bs=32m 419430400.0B/s 400.00MB/s 12.5/s.
threads=64 bs=4k 6173081.6B/s 5.89MB/s 1507.1/s.
threads=64 bs=32k 45350912.0B/s 43.25MB/s 1384.0/s.
threads=64 bs=64k 79934259.2B/s 76.23MB/s 1219.7/s.
threads=64 bs=128k 124531507.2B/s 118.76MB/s 950.1/s.
threads=64 bs=4m 310797926.4B/s 296.40MB/s 74.1/s.
threads=64 bs=32m 338899763.2B/s 323.20MB/s 10.1/s.
threads=128 bs=4k 7660339.2B/s 7.31MB/s 1870.2/s.
threads=128 bs=32k 53356134.4B/s 50.88MB/s 1628.3/s.
threads=128 bs=64k 93146316.8B/s 88.83MB/s 1421.3/s.
threads=128 bs=128k 136537702.4B/s 130.21MB/s 1041.7/s.
threads=128 bs=4m 347707801.6B/s 331.60MB/s 82.9/s.
threads=128 bs=32m 238236467.2B/s 227.20MB/s 7.1/s.
threads=256 bs=4k 7710720.0B/s 7.35MB/s 1882.5/s.
threads=256 bs=32k 54014771.2B/s 51.51MB/s 1648.4/s.
threads=256 bs=64k 94535680.0B/s 90.16MB/s 1442.5/s.
threads=256 bs=128k 141439795.2B/s 134.89MB/s 1079.1/s.
threads=256 bs=4m 398039449.6B/s 379.60MB/s 94.9/s.
threads=256 bs=32m 164416716.8B/s 156.80MB/s 4.9/s.
Porovnam vysledky testu a spocitam rozdil absolutni a % od vykonu RAID10
Kód: [Vybrat]
absolute value percent (%)
MB/s (diff) IOP/s (diff) MB/s (diff) IOP/s (diff)
-0,02 -5,2 -6,67 -6,82
-0,24 -7,7 -10,76 -10,81
-0,49 -7,9 -11,53 -11,62
-0,73 -5,8 -9,07 -9,01
-3,6 -0,9 -2,55 -2,55
9,6 0,3 2,42 2,42
0,09 22,3 7,83 7,58
0,5 16,1 5,81 5,85
1,05 16,8 6,38 6,38
2,65 21,2 8,63 8,63
201,2 50,3 68,90 68,90
227,2 7,1 55,91 55,91
1,03 263,5 29,77 29,78
7,28 232,9 28,33 28,32
10,56 168,8 22,79 22,77
17,53 140,3 22,43 22,43
142,8 35,7 51,15 51,15
272 8,5 63,91 63,91
1,85 473,4 37,91 37,87
11,41 365 32,91 32,90
18,51 296,2 29,49 29,49
22,91 183,3 23,59 23,60
155,2 38,8 53,89 53,89
227,2 7,1 56,80 56,80
2,38 607,6 40,41 40,32
17,31 553,8 40,02 40,01
27,3 436,8 35,81 35,81
41,14 329,1 34,64 34,64
158,8 39,7 53,58 53,58
156,8 4,9 48,51 48,51
3,95 1009,3 54,04 53,97
25,69 822,1 50,49 50,49
43,96 703,4 49,49 49,49
60,88 487,1 46,76 46,76
186,8 46,7 56,33 56,33
48 1,5 21,13 21,13
6 1535,9 81,63 81,59
41 1312 79,60 79,59
72,35 1157,6 80,25 80,25
107,91 863,3 80,00 80,00
226,4 56,6 59,64 59,64

Tohle znamena ze kdy mam jeden thread RAID10 je pomalejsi 2-11% za RAID5
Jen kdy block size je 32m RAID10 je o par % rychlejsi.

Kdy mam 2 a vice threadu RAID10 je trochu rychlejsi.

Ja myslim ze spravny RAID10x16 vzdy je rychlejsi za RAID5x8. By schema's default.Teto testy ukazuji ze neni to tak vzdy.

cita

Re: RAID5 x 8 rychlejsi za RAID10 x 16
« Odpověď #4 kdy: 23. 11. 2011, 01:06:51 »
zdravim,

doporucuji vznest stejny dotaz na drbd mailing list. Toto se tam resi bezne.


Re: RAID5 je rychlejší než RAID10
« Odpověď #5 kdy: 24. 11. 2011, 02:01:34 »
Porovnani vykonu RAID10 vs RAID5
kdy mame (+) znamena ze RAID10 je rychlejsi.
Vysledky jsou v %

Random read whole disk


Random read 10G LV  >:(


Linear read 10G LV  :o


ApoC

Re: RAID5 je rychlejší než RAID10
« Odpověď #6 kdy: 24. 11. 2011, 08:48:35 »
Mozna je to blbost, ale neni ta degradace vykonu zpusobena tim, ze v RAID10 mas 2x vice disku nez v RAID5? Mozna je tam uz moc velky overhead na rizeni atd. Zkousel jsi merit RAID10 se stejnym poctem disku jako v RAID5?

trubicoid2

Re: RAID5 je rychlejší než RAID10
« Odpověď #7 kdy: 24. 11. 2011, 11:24:28 »
OT: "comparation" je slovo z 15. stoleti, lepe zmenit na "comparison"

Piklo

Re: RAID5 je rychlejší než RAID10
« Odpověď #8 kdy: 24. 11. 2011, 13:58:12 »
Reality check, jsi si jist, ze RAID10 je vzdy rychlejsi nez  RAID5? Tvrzeni "By schema's default." mi prijde dosti zkratkovite.

Rychlost muze znamenat jednak rychlost odpovedi (latenci) a jednak mnozstvi dat prenesenych za jednotku casu. Pokud bude malo relativne malych dotazu, tak bude latence nizsi u RAID5 nez u RAID10 a zaroven je za teto situace mnozstvi prenesenych dat za jednotku casu zavisle na latenci.

houska

Re: RAID5 je rychlejší než RAID10
« Odpověď #9 kdy: 24. 11. 2011, 14:18:10 »
graf je zajimavy ... jeste bych zkusil si udelat sw raid ve stejne konfiguraci jako ten hw a pustit test na tom ... jestli to neni tim hw raidem

Logik

  • *****
  • 837
    • Zobrazit profil
    • E-mail
Re: RAID5 je rychlejší než RAID10
« Odpověď #10 kdy: 24. 11. 2011, 15:06:09 »
Piklo: Při čtení lze data přečíst z libovolného disku. Čím jsou data na více discích, tím je větší šance, že je hlavička někde blízko a přečte to rychlejc. Takže při náhodném čtení by měl RAID10 vyhrát.
U kontinuálního čtení zas inteligentní řadič různé disky zaúkoluje čtením různých kusů. Opět by měl RAID10 vyhrát.


Re: RAID5 je rychlejší než RAID10
« Odpověď #11 kdy: 24. 11. 2011, 17:28:52 »
OT: "comparation" je slovo z 15. stoleti, lepe zmenit na "comparison"
Dekuji. Neni to graf na prodej. Spis informativni. :)

graf je zajimavy ... jeste bych zkusil si udelat sw raid ve stejne konfiguraci jako ten hw a pustit test na tom ... jestli to neni tim hw raidem
Kam mam zapojit 16 disku? Na zakladni desce mam jen 6 SATA portu. Kdyz zapojim pres RAID JBOD nebude to dost cisty test. Ale nemam zajem o SW RAID, mam potrebu pouzivat HW RAID. Jde o High Load a High Availability server.

Mozna je to blbost, ale neni ta degradace vykonu zpusobena tim, ze v RAID10 mas 2x vice disku nez v RAID5? Mozna je tam uz moc velky overhead na rizeni atd. Zkousel jsi merit RAID10 se stejnym poctem disku jako v RAID5?
Vic disku - vic rychlost cteni. RAID muze cist ze dvou disku zrcadla ruzne bloky. Mnelo by tak byt. RAID10 ma 2x8 disku a priblizne stejnu kapacity 6-7TB.

ApoC

Re: RAID5 je rychlejší než RAID10
« Odpověď #12 kdy: 25. 11. 2011, 17:34:14 »
Jasny, ale muze se tam narazit na limitaci HW, kdy pro vetsi pocet disku je overhead na komunikaci / management uz tak vysoky, ze se degraduje vykon.

Logik

  • *****
  • 837
    • Zobrazit profil
    • E-mail
Re: RAID5 je rychlejší než RAID10
« Odpověď #13 kdy: 25. 11. 2011, 22:01:00 »
IMHO to tak nebude, ale jde to vyloučit snadno - testem "raidu" 0 na 8 discích....

martin

Re: RAID5 je rychlejší než RAID10
« Odpověď #14 kdy: 26. 11. 2011, 14:44:40 »
Nebylo by pro mne překvapením, kdyby ten řadič nedělal load balancing  mezi zrcadlenými disky. Bývalo to docela běžné v téhle kategorii. Také je obvyklé, že jsou zprasené implementace a výkon ulítává o 20% i více. Zkuste spíš Arecu. 3ware má/měl problémy v Linuxu. 3ware bych dal spíš do freebsd, kde to jede v pohodě.

BTW k čemu je singleuser test 'dd'člem s 8m blokem na R5 nebo R10?