Chybné čtení dat z mdadm RAID 6 (obzvláště při zápisu)

ByCzech

  • *****
  • 1 862
    • Zobrazit profil
    • E-mail
Re:Chybné čtení dat z mdadm RAID 6 (obzvláště při zápisu)
« Odpověď #45 kdy: 29. 11. 2018, 20:39:47 »
Ještě chybí informace o tom, co tam máte za zdroj. Protože s tolika diskama potřebujete podobný zdroj, jako byste v tom počítači měl třeba výkonnou grafickou kartu.

Výkonná grafická karta s odběrem okolo 40-50W? Jako vážně? To by tam těch disků muselo být několikanásobně více, výkonná grafická karta bere aspoň 200-300 W.

počítá se cca 20W/disk, což při těch 6 discích dává nějakých 120W.

Jasně ty disky berou okolo 5W (RED dokonce okolo 3,5W) ale budeme počítat 20 W.


Lol Phirae

Re:Chybné čtení dat z mdadm RAID 6 (obzvláště při zápisu)
« Odpověď #46 kdy: 29. 11. 2018, 20:53:43 »
Jasně ty disky berou okolo 5W (RED dokonce okolo 3,5W) ale budeme počítat 20 W.

Já bych pro jistotu počítal 50W. Myslím, že na takový velkostroj s 8 disky bude 1500W zdroj minimum. No, a já si jdu mezitím pohrát se svým perpetuum mobile od Dellu, co s Xeonem E3-1270 v6, 32GB RAM a 4x4TB SAS disky žere 54W.  :o ::) ;D

naseptavac

Re:Chybné čtení dat z mdadm RAID 6 (obzvláště při zápisu)
« Odpověď #47 kdy: 29. 11. 2018, 21:00:58 »
Prumerna spotreba je jedna vec, ale kdyz ty disky najednou zaberou, to se urcite nevejde pod soucet prumernych spotreb. Postupne spousteni disku pod HW radicem RAIDu se nedela jen tak z pleziru. Zdroj to musi ustat bez poklesu napeti.

mtd

Re:Chybné čtení dat z mdadm RAID 6 (obzvláště při zápisu)
« Odpověď #48 kdy: 29. 11. 2018, 21:30:13 »

Jasně ty disky berou okolo 5W (RED dokonce okolo 3,5W) ale budeme počítat 20 W.

tak vy si počítejte co chcete. nicméně při návrhu hw se vychází z mezních hodnot (jako třeba maximální odběr), nikoli ze středních hodnot.

update: argumentujete wd red. wd red podle datasheetu má v 4GB variantě jen na 12V lince špičkový odběr 1,75A. To dává nějakých 21W. viz https://cdn.cnetcontent.com/3a/07/3a07b8d6-7086-4c6f-80dd-ac1685c20336.pdf.
« Poslední změna: 29. 11. 2018, 21:37:43 od mtd »

ByCzech

  • *****
  • 1 862
    • Zobrazit profil
    • E-mail
Re:Chybné čtení dat z mdadm RAID 6 (obzvláště při zápisu)
« Odpověď #49 kdy: 29. 11. 2018, 21:48:44 »
Prumerna spotreba je jedna vec, ale kdyz ty disky najednou zaberou, to se urcite nevejde pod soucet prumernych spotreb. Postupne spousteni disku pod HW radicem RAIDu se nedela jen tak z pleziru. Zdroj to musi ustat bez poklesu napeti.

Já bych doporučil určitě si to nastudovat...


ByCzech

  • *****
  • 1 862
    • Zobrazit profil
    • E-mail
Re:Chybné čtení dat z mdadm RAID 6 (obzvláště při zápisu)
« Odpověď #50 kdy: 29. 11. 2018, 22:34:14 »

Jasně ty disky berou okolo 5W (RED dokonce okolo 3,5W) ale budeme počítat 20 W.

tak vy si počítejte co chcete. nicméně při návrhu hw se vychází z mezních hodnot (jako třeba maximální odběr), nikoli ze středních hodnot.

update: argumentujete wd red. wd red podle datasheetu má v 4GB variantě jen na 12V lince špičkový odběr 1,75A. To dává nějakých 21W. viz https://cdn.cnetcontent.com/3a/07/3a07b8d6-7086-4c6f-80dd-ac1685c20336.pdf.

To má ten disk jen jednou - i s rezervou - při studeném startu, když roztáčí plotny a jen velmi krátce. 4 GB disk jsem už neviděl ani jako flashku v poslední době. Bylo by lepší, kdyby jste pohledali informace ze změřené spotřeby ne při chvilkovém proudovém rázu při startu a ke konkrétnímu modelu. Běžně má novější disk disk o větší kapacitě nižší spotřebu.



Re:Chybné čtení dat z mdadm RAID 6 (obzvláště při zápisu)
« Odpověď #51 kdy: 29. 11. 2018, 22:48:50 »
Ještě chybí informace o tom, co tam máte za zdroj. Protože s tolika diskama potřebujete podobný zdroj, jako byste v tom počítači měl třeba výkonnou grafickou kartu.

Ok, v následujících dnech zkusím zjistit (nejsem teď u toho stroje).

Ohledně hardware

Zatím jsem ho příliš nepopisoval, protože se stejným hardware přes léto (červen až srpen) fungovalo vše perfektně.

Ukládal jsem na pole 8 TB dat do jednoho souboru na Btrfs a zároveň probíhalo spoustu jiných činností, např. CrashPlan si min. jednou prošel cca milion adresářů na celém poli, probíhalo v každé hodině ukládání záloh, počítání md5 checksum nějakých dat atd., podotýkám, že Btrfs při čtení kontroluje checksumy dat (nevypínal jsem ho), takže při prvním problému by některá z aplikací zobrazila chybu. Ale to se nestalo. Samozřejmě to nevylučuje, že mohlo nějaké hardware začít nenápadně zlobit a nebo příp. že něco přehlížím (častý jev uživatele popisujícího změny hw+sw za určité období).

mtd

Re:Chybné čtení dat z mdadm RAID 6 (obzvláště při zápisu)
« Odpověď #52 kdy: 29. 11. 2018, 23:21:40 »

To má ten disk jen jednou - i s rezervou - při studeném startu, když roztáčí plotny a jen velmi krátce. 4 GB disk jsem už neviděl ani jako flashku v poslední době. Bylo by lepší, kdyby jste pohledali informace ze změřené spotřeby ne při chvilkovém proudovém rázu při startu a ke konkrétnímu modelu. Běžně má novější disk disk o větší kapacitě nižší spotřebu.


já hledal ten disk podle názvu, nedal jste přesnější údaje. ;) no ale to je jedno.. zrovna tenhle údaj nejde moc vylepšit, dokud jsou ty plotny stejně těžké a disk má stejné otáčky. pokud by to chtěli vylepšit, musel by se roztáčet opravdu dlouho (což by zas dělalo problémy s probouzením disku atd..)

pro výběr zdroje je důležitý údaj o špičkovém proudu z datasheetu nebo aspoň změřený při rozeběhu. zdroj musí všechno utáhnout i když se disky roztáčí současně. pokud utáhne všechno při startu, má i rezervy na různé špičky v odběru během normálního provozu. ten střední odběr, co ukazujete na grafech, moc neříká nic o špičkách, které vznikají během provozu (a s kterýma se zdroj musí vypořádávat, na 12V lince je povolená tolerance 10%, z které pokud se i během špičky odběru vyleze, není chování periferií na 12V lince definované)

mě je samozřejmě jasné, že během normálního provozu je ten střední odběr několikrát nižší. takže když chce někdo ušetřit za zdroj, tak si nastaví v biosu, aby se disky roztáčely postupně. což je ale jenom takovej trik. stejně zdroj musí mít vevnitř dost velké kondenzátory, aby kompenzoval špičky během běžného provozu. ale dostatečně velké kondenzátory mívají právě až ty výkonnější a kvalitnější zdroje. výrobci šetří na kondenzátorech. a někdy to dělají i výrobci serverového hw - potkal jsem třeba redundantní serverové zdroje, co počítaly s kapacitou kondenzátorů toho druhého redundantního zdroje a když tam nebyl, tak se ty kondíky během asi půl roku opotřebovaly a server začal dělat blbosti.

mtd

Re:Chybné čtení dat z mdadm RAID 6 (obzvláště při zápisu)
« Odpověď #53 kdy: 29. 11. 2018, 23:57:38 »




koukám ještě na ten graf a přece jen se z něj dá něco vyčíst i o špičkách za běžného provozu. protože je tam vidět rozdíl mezi náhodným a sekvenčním čtením, což je rozdíl v energii, který imo padne z významné části na pohyby hlavičky. v grafu vidím rozdíly cca 0,5-2W a bude tam peak odpovídající době, kdy se hlavička pohybuje (to může být tak 10% z čtecího cyklu, záleží).

no a pokud se bude číst z raidu, to znamená synchronizovaně, bude efekt horší.

ByCzech

  • *****
  • 1 862
    • Zobrazit profil
    • E-mail
Re:Chybné čtení dat z mdadm RAID 6 (obzvláště při zápisu)
« Odpověď #54 kdy: 30. 11. 2018, 01:23:13 »
no a pokud se bude číst z raidu, to znamená synchronizovaně, bude efekt horší.

Chtělo by ta tvrzení něčím podložit a nejen napsat "bude efekt horší" a podobné cancy. Úplně normálně si tu vymýšlíte.

naseptavac

Re:Chybné čtení dat z mdadm RAID 6 (obzvláště při zápisu)
« Odpověď #55 kdy: 30. 11. 2018, 07:05:05 »
Chtělo by ta tvrzení něčím podložit a nejen napsat "bude efekt horší" a podobné cancy. Úplně normálně si tu vymýšlíte.

Ten tvuj graf ukazuje prumerne spotreby (prime mereni) nejakejch disku pri ruznych typech operaci. Je-li prumerna spotreba az 10W, spickova bude vic. Proudovy naraz mujze byt proste vetsi a zdroj je musi ustat.

BTW Nejdrive napises 5W, pak sem das graf nejakejch odpadkovejch disku, kde je az 10W a ted to chces necim podlozit? Strc si tu svou aroganci nekam a pak si to misto vypodloz diskem. Treba ti hemeroidy prozradi, zda se takhle ohriva vec se spotrebou 3,5W.

Lol Phirae

Re:Chybné čtení dat z mdadm RAID 6 (obzvláště při zápisu)
« Odpověď #56 kdy: 30. 11. 2018, 09:04:28 »
Raději pořídím zdroj 3000W, kdyby byl efekt úplně nejhorší...  ;D ::)

mtd

Re:Chybné čtení dat z mdadm RAID 6 (obzvláště při zápisu)
« Odpověď #57 kdy: 30. 11. 2018, 09:23:14 »
no a pokud se bude číst z raidu, to znamená synchronizovaně, bude efekt horší.

Chtělo by ta tvrzení něčím podložit a nejen napsat "bude efekt horší" a podobné cancy. Úplně normálně si tu vymýšlíte.

tak to tak nějak vyplývá z toho, jak to celé funguje. ale jestli to potřebujete nějak potvrzovat nebo vyvracet, můžete si vzít osciloskop a jít měřit. moje potřeba komukoli cokoli dokazovat je naprosto nulová.

trubicoid2

Re:Chybné čtení dat z mdadm RAID 6 (obzvláště při zápisu)
« Odpověď #58 kdy: 30. 11. 2018, 10:35:53 »
no tak pánové, je zbytečný se hádat o spotřebě, stejně nevíme, co tam má za zdroj a jestli není třeba 12V CPU s disky jen na jedné větvi

potřeba je to vyzkoušet u pana Kratochvíla

navrhuji zatížit 7 z 8 disků náhodným čtením (seek) a z 8. disku číst data a kontrolovat md5

Kód: [Vybrat]
for x in {a..g}
do
ioping -w 1000 -R /dev/sd${x}& #1000 s by asi melo stacit k precteni 10GB z disku (100MB/s)
done
dd if=/dev/sdf bs=1M count=10240 skip=1048576 status=none | md5sum

případně měnit ze kterého disku kontroluji data, protože jsou různý

Trubicoid2

Re:Chybné čtení dat z mdadm RAID 6 (obzvláště při zápisu)
« Odpověď #59 kdy: 30. 11. 2018, 13:12:31 »
Ještě bych se podíval třeba
Kód: [Vybrat]
sensors před a během spuštění, jestli neklesá hodně některé napětí