RAID se 4 TB disky

[dustin]

Zátěž CPU při tom SMM se projeví v měření zátěže OS? Jak se k té informaci dostane?

[Reklama]

[Sten]

Zátěž CPU při tom SMM se projeví v měření zátěže OS? Jak se k té informaci dostane?

Nejspíš tak, že se SMM vyvolá během dotazu na řadič, takže OS to vidí, jako když to vytěžuje ovladač disku, ale tady už hádám

[PANKapitanRUM]

Podobných výsledků testů jsem už viděl dost, jednak se mi tě nechce učit a ani na vypracování obšírné odpovědi nemám čas ani chuť, tedy ti jen stručně řeknu, že prosté porovnání rychlosti, jaké je uvedeno v testu, je zcela zavádějící. Jednak Microsoft při zapnutém SW RAIDu provádí řadu optimalizací a pokud máš dost RAM, je to zatraceně znát, tyto optimalizace lze samozřejmě zapnout i s vypnutým SW Raidem. Intel realizuje svůj raid přes SMM, operačnímu systému krade čas procesoru a ten pak udává zkreslené výsledky o svém vytížení, pak je tu ten nepříjemný problém s powermanagementem, kdy pokud je powermanagement zapnutý, operační systém o voláních SMM neví a procesor může mít zbytečně sníženou frekvenci, viz to, jak funguje powermanagement pod Windows. U fakeraidu duplikace příkazů samozřejmě probíhá na úrovni řadiče, prozradím, že Intel na to vlastní patenty, vygoogluješ si je už jistě sám.

[anonym]

resi jeste dneska nekdo narocnost RAIDu na procesor? nema to cenu!

procesor udela za jednu diskovou operaci tolik cyklu, ze se to ztrati. jedina vyjimka muzou byt nove 6Gbps SSD, ale ty casto nestiha ani HW raid (pokud neni z nejnovejsi generace)

pokud vam opravdu vadi ze fakeraid zatezuje procesor, tak predpokladam ze pouzivate fat32, protoze jakejkoliv jinej FS je vyrazne slozitejsi, a to zatezuje procesor...

[Sten]

Podobných výsledků testů jsem už viděl dost, jednak se mi tě nechce učit a ani na vypracování obšírné odpovědi nemám čas ani chuť, tedy ti jen stručně řeknu, že prosté porovnání rychlosti, jaké je uvedeno v testu, je zcela zavádějící. Jednak Microsoft při zapnutém SW RAIDu provádí řadu optimalizací a pokud máš dost RAM, je to zatraceně znát, tyto optimalizace lze samozřejmě zapnout i s vypnutým SW Raidem. Intel realizuje svůj raid přes SMM, operačnímu systému krade čas procesoru a ten pak udává zkreslené výsledky o svém vytížení, pak je tu ten nepříjemný problém s powermanagementem, kdy pokud je powermanagement zapnutý, operační systém o voláních SMM neví a procesor může mít zbytečně sníženou frekvenci, viz to, jak funguje powermanagement pod Windows. U fakeraidu duplikace příkazů samozřejmě probíhá na úrovni řadiče, prozradím, že Intel na to vlastní patenty, vygoogluješ si je už jistě sám.

Jak správně uvádíš, ty optimalizace jde zapnout i bez SW RAIDu. Takže předpokládám, že je zapíná i ovladač na intelí fake RAID, obzvlášť když se Intel chlubí velkým výkonem. Navíc nejde o Linux, aby ses tu nemohl odvolávat na to, že na tuhle implementaci výrobci kašlou a nemají ji odladěnou.

Aha, takže Intel realizuje fake RAID přes SMM, proto se to projevuje na vyšším zatížení CPU, ale přes SMM ho vlastně nerealizuje, protože má nějaké patenty, které jsou dost možná na HW (ne-fake) RAIDy, které také vyrábí.

resi jeste dneska nekdo narocnost RAIDu na procesor? nema to cenu!

procesor udela za jednu diskovou operaci tolik cyklu, ze se to ztrati. jedina vyjimka muzou byt nove 6Gbps SSD, ale ty casto nestiha ani HW raid (pokud neni z nejnovejsi generace)

pokud vam opravdu vadi ze fakeraid zatezuje procesor, tak predpokladam ze pouzivate fat32, protoze jakejkoliv jinej FS je vyrazne slozitejsi, a to zatezuje procesor...

Máš pravdu, že u RAID 0 a 1 to jsou jednotky procent (navíc dnešní disky už umí NCQ, což dále šetří výkon), proto se taky tolik prosazují ty fake RAIDy. U RAID 5 se to ale už začíná na výkonu dost projevovat a u RAID 6 je ta zátěž procesoru opravdu hodně velká (tak velká, že už to bývají disky, kdo čeká), i když tam mám zkušenosti jen se SW RAIDy, protože neznám fake RAID, který by uměl RAID 6.

Přesná čísla porovnávající FAT32 a NTFS ohledně zátěže CPU nemám k dispozici, ale s rostoucím zaplněním disku zátěž CPU u FAT32 dost rychle roste a odhaduji, že někde u jednotek gigabajtů už je NTFS méně náročné.

[Reklama]

[dustin]

A má dneska RAID5/6 ještě smysl?

[anonym]

Máš pravdu, že u RAID 0 a 1 to jsou jednotky procent (navíc dnešní disky už umí NCQ, což dále šetří výkon), proto se taky tolik prosazují ty fake RAIDy. U RAID 5 se to ale už začíná na výkonu dost projevovat a u RAID 6 je ta zátěž procesoru opravdu hodně velká (tak velká, že už to bývají disky, kdo čeká), i když tam mám zkušenosti jen se SW RAIDy, protože neznám fake RAID, který by uměl RAID 6.

bohuzel nemam zadny relativne moderni stroj s raid6 v jadre, takze budu jenom odhadovat - dnesni procesory by mely mit pomoci SSE alespon 10GB/s pro vypocet raid6 (jediny stroj kde mam raid6 ma 5GB/s, a to je >5 let stary), na jedno jadro. i pro celkem velky RAID (ted se bavime o 10 rotacnich discich) tedy padne asi 10% jednoho jadra na obsluhu. raid5 bude jeste o rad rychlejsi

uznavam ze to uz neni zanedbatelne, ale situace kdy mi to vadi moc realna neni (uz jen protoze vypocetni stroj typicky nebude mit raid6 na 10+ discich), mozna tak u velkych NASu s atomem, kde ale bottleneck bude v siti

jen dodam ze tohle se tyka zapisu, pri cteni snad zadny "klasicky" RAID nekontroluje paritu

Přesná čísla porovnávající FAT32 a NTFS ohledně zátěže CPU nemám k dispozici, ale s rostoucím zaplněním disku zátěž CPU u FAT32 dost rychle roste a odhaduji, že někde u jednotek gigabajtů už je NTFS méně náročné.

ano, FAT32 je hloupe, a pri vysokem procentu zaplneni bude zapis vyrazne zpomalovat (primarne protoze nema jak eektivne najit volne misto). nez dat pevny priklad sem chtel ukazat ze moderni FS maji casto vetsi spotrebu cpu nez softraid pod nimi. prikladem bud opevovane ZFS, ktere pouziva velke mnozstvi cyklu a pameti, aby nekdy nemuselo hybat diskem (a aby data byla bezpecne ulozena, vcetne kontroly checksumu)

[Sten]

A má dneska RAID5/6 ještě smysl?

To stále záleží na situaci. Doma mám šestidiskové pole RAID 6, protože je tam pro mě hlavní rychlost čtení, co největší prostor a velká odolnost proti výpadkům (zálohovat 8 TiB v domácích podmínkách není úplně reálné). Tam, kde bývá poměr zápis/čtení vyšší a data lze snáze rekonstruovat, může už být vhodnější RAID 10. Nebo RAID 50, pokud provozujete jistý freemail

bohuzel nemam zadny relativne moderni stroj s raid6 v jadre, takze budu jenom odhadovat - dnesni procesory by mely mit pomoci SSE alespon 10GB/s pro vypocet raid6 (jediny stroj kde mam raid6 ma 5GB/s, a to je >5 let stary), na jedno jadro. i pro celkem velky RAID (ted se bavime o 10 rotacnich discich) tedy padne asi 10% jednoho jadra na obsluhu. raid5 bude jeste o rad rychlejsi

Zkusil jsem si to teď změřit na mém poli (6 × WD Red, takže rychlost zápisu nic moc i v porovnání se 7k2 disky, plus tam mám zapnuté bitmapy, což ještě trochu zpomaluje) a počítání parity zabírá kolem 40 % na jednom jádře (AMD Athlon II X4 615e) při plném zatížení zápisu. Odhaduji, že mít tam 6 × 15k SAS, zabralo by to celé jedno jádro a u vícediskového pole už by se to muselo spoléhat na rozklad zátěže paralelizací, který ale nebude ideální. Samozřejmě to jsou extrémy, nicméně i těch 40 % jednoho jádra může být hodně.

jen dodam ze tohle se tyka zapisu, pri cteni snad zadny "klasicky" RAID nekontroluje paritu

Rovnou při čtení ne, nicméně jednou za týden běžně MD RAID kontroluje paritu, aby se vyhnul silent corruption (a detekoval disky se silent fault). Ale to si schválně omezuje zabraný výkon, aby se to pole dalo stále používat.