SW Raid bez synchronizace

Jenda

Re:SW Raid bez synchronizace
« Odpověď #15 kdy: 26. 02. 2018, 15:06:18 »
Btw. --assume-clean znamená jenom že se to nebude synchronizovat hned při vytvoření. Neříká to nic o tom, že se to nesyncne časem - většina distribucí má v cronu job, který každý měsíc kontroluje, že jsou disková pole v pořádku. V lepším případě to vyhodí chybu že v pořádku nejsou, v horším to rovnou spustí sync.


Trupik

Re:SW Raid bez synchronizace
« Odpověď #16 kdy: 26. 02. 2018, 15:21:38 »
Zdravím,
je možné znovu vytvořit SW raid (1) v Ubuntu 16.04, ale bez synchronizace? Tj. bez ztráty dat na discích?
Ak tie dva disky predtým boli v RAID1, je na nich presne to isté. Ak sa náhodou spustí SYNC, tak len rovnaké dáta z jedného disku prepíše identickými dátami z druhého disku. Cez víkend som zväčšoval RAID oddiel s metadata=0.90 a keďže pri tejto verzii metadáta sú na konci oddielu, podarilo sa mi tým úplne zrušiť informáciu o RAID-e na tých oddieloch (lebo koniec oddielu bol odrazu na inom mieste). mdadm --assemble sa nemal čoho chytiť, takže mi ostalo len mdadm --create. Keďže začiatok oddielu sa neposúval, filesystém ostal nedotknutý a SYNC sa síce spustil, ale žiadne dáta nezmenil, nakoľko na oboch diskoch už boli dáta rovnaké (do rozsahu kam siahal ten pôvodný filesystém). Takže SYNC prebehol, potom som dal e2resize a pripojil, a všetko bolo OK.

Kkt1

Re:SW Raid bez synchronizace
« Odpověď #17 kdy: 26. 02. 2018, 16:03:33 »
...
Dost i přemýšlím o HW Raid řešení, kde bych nebyl limitovaný spolehnutím na systém. Je možnost nějakého RAID HW řešení do 2 000kč? Co jsem našel, tak raid řadič od axago, ale má jen sata1...
Do 2000 dostanes s prominutim s*ackoidni radic ktery s HW raidem ma spolecneho asi tolik jako tvoje babicka a pristani na mesici. HW raid ma sve vyhody u vetsiho mnozstvi disku, nebo kdyz mas specificke pozadavky, ve tvem pripade je nejsnazsi reseni mdraid nebo pokud rad riskujes treba btrfs raid. Zalohovat linuxovou konfiguraci raidu je snazsi nez resit interkompatibilitu mezi radicem do 2000 a novym radicem do 2000.

dustin

Re:SW Raid bez synchronizace
« Odpověď #18 kdy: 26. 02. 2018, 18:33:26 »
Použitý HP P420 s 512MB keše a novou baterkou vyjde tak na 150 dolarů, formát smartarray na disku je stejný již spoustu let. Ale md raid udělá lepší službu, pokud mu nejde o hrubý výkon.

Re:SW Raid bez synchronizace
« Odpověď #19 kdy: 26. 02. 2018, 18:46:00 »
Ale md raid udělá lepší službu, pokud mu nejde o hrubý výkon.

Pochybuji, daní bude zátěž CPU.


dustin

Re:SW Raid bez synchronizace
« Odpověď #20 kdy: 26. 02. 2018, 19:06:03 »
md raid1 ani raid10 žádnou větší CPU daň nemá, pár procent. Stačí si to vyzkoušet, v topu jsou kernelí vlákna raidu vidět. raid5/6 nepoužívám, takže neznám, ale ani tam nepředpokládám nic zásadního.

Něco jiného je ZFSoL, tam mi kopírování souborů na ZVOL s blocksize 4kB sežralo 12 xeoních jader ze 16. Na druhou stranu funkce ZFS nelze s md raid1/10 vůbec srovnávat...

dustin

Re:SW Raid bez synchronizace
« Odpověď #21 kdy: 26. 02. 2018, 19:23:21 »
Pro upřesnění toho ZFS  - šlo o kopírování (dd) celého XFS filesystému se stovkami miliónů hardlinků, proto tak malý blocksize na ZVOL. 4kB blocksize se ukázala nepoužitelnou - čtení pak 30 MB/s na poolu se 14 disky v zfs mirroru a load opět několik jader.

Jenda

Re:SW Raid bez synchronizace
« Odpověď #22 kdy: 26. 02. 2018, 20:42:04 »
raid5/6 nepoužívám, takže neznám, ale ani tam nepředpokládám nic zásadního.
Pro představu pět let starý Xeon E5-2420 0 @ 1.90GHz upočítá MD RAID6 (tj. výpočetně nejnáročnější typ RAIDu) 8.5 GB/s.

nobody(ten pravej)

Re:SW Raid bez synchronizace
« Odpověď #23 kdy: 27. 02. 2018, 01:33:35 »
Pro představu pět let starý Xeon E5-2420 0 @ 1.90GHz upočítá MD RAID6 (tj. výpočetně nejnáročnější typ RAIDu) 8.5 GB/s.
je na to nejaky benchmark?

RDa

  • *****
  • 2 567
    • Zobrazit profil
    • E-mail
Re:SW Raid bez synchronizace
« Odpověď #24 kdy: 27. 02. 2018, 07:49:03 »
Pro představu pět let starý Xeon E5-2420 0 @ 1.90GHz upočítá MD RAID6 (tj. výpočetně nejnáročnější typ RAIDu) 8.5 GB/s.
je na to nejaky benchmark?

Pise to u bootu:
Kód: [Vybrat]
[    0.143135] raid6: sse2x1   gen()  9722 MB/s
[    0.160148] raid6: sse2x1   xor()  7582 MB/s
[    0.177159] raid6: sse2x2   gen() 12199 MB/s
[    0.194169] raid6: sse2x2   xor()  8359 MB/s
[    0.211180] raid6: sse2x4   gen() 14261 MB/s
[    0.228194] raid6: sse2x4   xor() 10056 MB/s
[    0.228260] raid6: using algorithm sse2x4 gen() 14261 MB/s
[    0.228328] raid6: .... xor() 10056 MB/s, rmw enabled
[    0.229130] raid6: using ssse3x2 recovery algorithm
@ dvojjadrovy Intel(R) Pentium(R) CPU G3220 @ 3.00GHz

Takze ty famy ze SW raid je narocny na CPU jsou z dob i586. Stejne to byla blbost, protoze XOR z raid-u je velice jednoducha instrukce - jakekoliv zpracovani dat (parsovani) bude trvat nasobne dele. Maly vliv to bude mit jen na fileserveru s 10GE, kde se presouvaji opravdu kvanta dat, ale pochybuji ze to nekdo z vas provozuje.

Re:SW Raid bez synchronizace
« Odpověď #25 kdy: 27. 02. 2018, 08:33:50 »
Takze ty famy ze SW raid je narocny na CPU jsou z dob i586. Stejne to byla blbost, protoze XOR z raid-u je velice jednoducha instrukce - jakekoliv zpracovani dat (parsovani) bude trvat nasobne dele. Maly vliv to bude mit jen na fileserveru s 10GE, kde se presouvaji opravdu kvanta dat, ale pochybuji ze to nekdo z vas provozuje.

To samozřejmě fámy nejsou. Na hw raid funguje cpu offloading, podobně, jako se to řeší u serverových síťových karet. Hlavním cílem je udržet nízkou latenci, ne jen hrubý průtok.

Na fileserveru či NAS samozřejmě rozdíl asi nepoznáte, ale u databázového serveru už sakra jo.

dustin

Re:SW Raid bez synchronizace
« Odpověď #26 kdy: 27. 02. 2018, 08:51:28 »
Tu latenci přece snižuje baterií zálohovaná write keš, díky které HW řadič okamžitě potvrzuje dokončení zápisu. To není o vyšší zátěži CPU.

Jakub

Re:SW Raid bez synchronizace
« Odpověď #27 kdy: 27. 02. 2018, 09:10:09 »
Díky, zůstanu u md raidu.

O žraní výkonu zase tolik nejde, mám dostatečnou rezervu.
Vše běží na CPU (síťovka, gpu, raid), cpu podtaktováno z původních 4x1400 na 4x800MHz, stále se cpu nedostalo přes 67% zatížení při souběžném zapisování/vypsování dat z db, otevírání webu z apache a zapisování/čtení z disků od 2 uživatelů. :)

Bohužel se na "opravu" raidu vrhnu později, sesipalo se mi na hlavu najednou více věcí a oprava RAIDU v nasu není teď prioritou. Každopádně díky. :)

Kkt1

Re:SW Raid bez synchronizace
« Odpověď #28 kdy: 27. 02. 2018, 09:13:23 »
Pro představu pět let starý Xeon E5-2420 0 @ 1.90GHz upočítá MD RAID6 (tj. výpočetně nejnáročnější typ RAIDu) 8.5 GB/s.
je na to nejaky benchmark?

Pise to u bootu:
Kód: [Vybrat]
[    0.143135] raid6: sse2x1   gen()  9722 MB/s
[    0.160148] raid6: sse2x1   xor()  7582 MB/s
[    0.177159] raid6: sse2x2   gen() 12199 MB/s
[    0.194169] raid6: sse2x2   xor()  8359 MB/s
[    0.211180] raid6: sse2x4   gen() 14261 MB/s
[    0.228194] raid6: sse2x4   xor() 10056 MB/s
[    0.228260] raid6: using algorithm sse2x4 gen() 14261 MB/s
[    0.228328] raid6: .... xor() 10056 MB/s, rmw enabled
[    0.229130] raid6: using ssse3x2 recovery algorithm
@ dvojjadrovy Intel(R) Pentium(R) CPU G3220 @ 3.00GHz

Takze ty famy ze SW raid je narocny na CPU jsou z dob i586. Stejne to byla blbost, protoze XOR z raid-u je velice jednoducha instrukce - jakekoliv zpracovani dat (parsovani) bude trvat nasobne dele. Maly vliv to bude mit jen na fileserveru s 10GE, kde se presouvaji opravdu kvanta dat, ale pochybuji ze to nekdo z vas provozuje.
Maly vliv to bude mit taky u stroju kde je tech raid6 nekolik. Treba takovy storage s 90x hdd.

RDa

  • *****
  • 2 567
    • Zobrazit profil
    • E-mail
Re:SW Raid bez synchronizace
« Odpověď #29 kdy: 27. 02. 2018, 09:19:19 »
To samozřejmě fámy nejsou. Na hw raid funguje cpu offloading, podobně, jako se to řeší u serverových síťových karet. Hlavním cílem je udržet nízkou latenci, ne jen hrubý průtok.

Na fileserveru či NAS samozřejmě rozdíl asi nepoznáte, ale u databázového serveru už sakra jo.

Offloading ma jedine smysl pokud mate uzke hrdlo v I/O k radici a provozujete RAID1 / RAID10 nebo 4 diskovy RAID6 - kde je mnozstvi dat pro disky jiz 2x vetsi nez puvodni data. Stejne si toho vsimnete az na SSD nebo s vetsim poctem poli.

Prave ze podil CPU vypoctu zacne byt znatelny, az kdyz se bude jednat o opravdovy objem dat. Coz databaze rozhodne neudela vetsi, nez FS/NAS. A i kdybych tlacil pres 2x 10GE tech imaginarnich 2000MB/s, tak to vytizi tu G3220 teoreticky z 14%, coz neni zadna zatez.

Kdyz vam databaze pri zapisu bude delat RMW a nemate uzke hrdlo k HBA, tak je uplne jedno, zda prepocet udela radic nebo procesor, protoze vam to cele budou stejne brzdit disky.

Jestli porad pocitujete rozdil, tak je to kvuli tomu jak psal dustin prede mnou - zapisy potvrdi radic drive nez je provede (at uz do SSD fronty, nebo zalohovane ram). Ale to same muze nabidnout i stroj se sw raidem a NVDIMM.