Kingston DC600M vůbec neřeš – kombinace nemocniční únavy, času a kapaček si vybírá svou daň, ale když už jsem to načal. Jde o úplně tupé disky, u kterých nečekáš nic více než cena/kapacita a skutečnost, že přepočet degradovaného pole na HS disk nezabere 3 a více dnů, jako u větší kapacity 4TB+ mechanických disk poté, co ho TLER vyrazí z pole. Zatím se nevysypal ani jeden, že jsou ve srovnání s dražšími disky méně konzistentní, pomalejší … mi u zálohování opravdu nevadí, hlavně že se to rychle přepočítá (plotny jdou samostatně).
Zmíněných 10ks Micron 7400 Pro si mezi sebou podělilo 7 fyzických serverů a moje pracovní stanice.
Už v návrhu jsem prostě počítal s R6 a protože mám mnohaleté zkušenosti s řadiči Areca, tak jsem automaticky zvolil 1886-16I v plné palbě 8654-8612 OCulink. Poradili, jak poradili už víš a asi to nemusím dále zmiňovat, protože jsem na to přišel až když jsem to zapojoval. Především jsem netušil, že Micron 7400 Pro U.3 funguje striktně 4 linky (paradoxně M.2 stačí 2) a tady nastal problém. Kdyby to mělo fungovat na ARC1886, tak na ten řadič nahodím pouze dva disky, cokoliv víc smůla, přestanou fungovat. Když už jsem proklel rádce a zkusili jsme Broadcom 9560-16i a co čert nechtěl, chovalo se to úplně stejně. Tak jsme začali pátrat, v čem může být problém a narazili jsme na hodně informací o Broadcom, problémech s kabely … a vrtošivou 7400 Pro.
Nakonec jsem to vyřešil tak, že jsem řadič po domluvě vrátil (postavili se k tomu rozumně) a použil 80 pin OCL – tj. 16x NVMe x4 = 64 linek (Tyan SX8026) a vydal se „moderní“ cestou. Není mi to úplně po chuti, ale budu se muset přizpůsobit a přenechat starosti (malá firma). Věc se má tak, že do konce roku musím odstavit 6 fyzických serverů (resp. 3+3 firma/Ktiš) – tzn HAF VM, kde mi bude běžet WS2022, Exchange, SLES … do plného produkčního stavu (už to pár měsíců běží) mu chybí sekundární zrcadlo (DC Ktiš), což chci vyřešit co nejdříve. Nejvíce mě pálí staré PE R220 a R230, které mají své nejlepší léta za sebou.
Už je to jasné, díky za vysvětlení. Hlavně ať ti je brzy líp.
Jj. s těmi SAS/SATA 2.5" SSD to může být pořád zajímavý kompromis přesně pro ty popsané situace. Pokud mají rozumnou kapacitu, výdrž a nejde o největší dosažitelný výkon, tak v kombinaci s HW RAID řadičem nebo externím enclosurem (SAS, FC) je to pořád takový vcelku spolehlivý a hlavně predikovatelný setup.
S těmi tri-mode řadiči mám jen jednu zkušenost, kdy kolega stavěl dvě prac. stanice, kde byly Micron 9300 NVMe disky v RAID6 (4+2). Přesně jsme se chtěli vyhnout tomu, aby to chodilo na míň než čtyři linky do disku a nebyl potřeba nějaký externí backplane s PCIe switchem, tak jsme chtěli původně MegaRAID 9670-24i. Ale ten byl tehdy šíleně dlouho k nedodání a mimo jakékoliv termíny, nakonec skončilo na podobném Adaptecu 3258p. Zatím ťukám, není s tím problém, chodí to jak z praku.
Akorát strašné trápení na začátku, protože na jedné stanici to chodilo cca poloviční rychlostí při sekvenčním I/O s velkými bloky. Muselo se vyměnit a proházet mezi stanicemi snad úplně všechno, aby kolega nakonec zjistil, že to bylo jedním vadným kabelem SFF-8654 na U.2. Žádné logované chyby v řadiči, žádné hinty, support nic, možná by něco teoreticky bylo v interních logách na discích, ale jsme zas zpátky u už zmíněného problému, za řadičem se do nich člověk nedostane. Takže kabely můžou být pěkně zrádné, při těchhle rychlostech se na zřejmě stačí jen křivě podívat
Ale je fakt, že tohle byl spíš specifický případ, Windows stanice, HW RAID karta jediná rozumná možnost (pokud neberu VROC, ale ten jsem bral spíš klasicky na jednoduchý mirror, nebo 1+0 a navíc je jen Intel specific).
U nějakého stavěného storage serveru bych taky dnes spíš volil tu variantu s nativními NVMe disky, přesně ten typ HW jako má Tyan nebo Supermicro. Stejně ty složitější souborové systémy jako ZFS, případně nějaký erasure coding na vyšších vrstvách (Ceph, MinIO) zpravidla chodí nejlíp a nejpredikovaněji, pokud má systém přímý přístup k disků, bez další cache, reorderingu IO a s možností přímo ovlivnit zápis do každého zařízení, flushovat atp.
A ať se vyvede stavění té druhé části HA setupu v datacentru
13 Odpovědí
3364 Zhlédnutí