Zkušenosti s disky Micron 7400/7450

Zkušenosti s disky Micron 7400/7450
« kdy: 09. 08. 2024, 13:30:16 »
Zdravím,
máte tu někdo zkušenosti s disky jako jsou Micron 7400 a 7450 PRO ? Nebo něčem v podobné cenové kategorii.
Jde mi především o chování při čtení a hlavně starších dat. Protože to je něco na co moderní (TLC) consumer disky docela trpí, jak to tak vypadá. A doporučené vymazání disku a nahrání dat zpět není zrovna ideální řešení  ::)
Třeba ta 7400 PRO v provedení U.3 nabízí velice zajímavé rychlosti za zajímavou cenu a i ta M.2 nevypadá nejhůř.
Ale samozřejmě chování po roce, nebo dvou se v recenzi nedozvím. Tak mě zajímá, jestli takovéto disky již obnovují stará data a nedegradují jako consumer disky, co jsou optimalizované na benchmark a fungují rychle jenom po vybalení/formátu.
Plánované využijí je jako workstation disk, ve velikosti 1.9TB nebo 3.8TB. Bude tam spousta nainstalovaného SW, co jen tak leží a je potřeba aby u něj neklesala rychlost čtení. A tak 1TB pracovních dat, co se obměňují a odlévají průběžně na NAS.


Re:Zkušenosti s disky Micron 7400/7450
« Odpověď #1 kdy: 09. 08. 2024, 17:40:57 »
michas jablka s mrkvi a provnavas to s kaprem

mas jasno, ,jak by si to U.3 pripojil? skrz jaky kabel na jaky konektor jakeho radice?
vymazavani disku a nahrani data zpet diskutovali kde?

Ja bych ti to zjednodusil doporucenim: vem prvni M.2 SSD disk, u ktereho ti obchodnik pisemne potvrdi, ze ti bude ve tvem motherboardu fungovat. protoze ne kazdy bude.





Re:Zkušenosti s disky Micron 7400/7450
« Odpověď #2 kdy: 09. 08. 2024, 19:40:42 »
Nemiesa.
Nevieme aku ma tu workstation. Ako aj sam pisal, tak existuje aj verzia do m2 slotu.

Len o tom spomalovani som uz dlho nepocul. Riesilo sa to v minulosti v zaciatkoch SSD. Checkol som narychlo web a vyzera, ze to uplne nevymizlo.

Micron 7400 je enteprise SSD a pri nom by som sa toho nebal. Tam si to vyrobca nemoze dovolit aby sa disk spomaloval. Cakam, ze to budu mat osetrene vo FW.

Predpokaldam, ze aj lepsie consumer SSD to budu mat osetrene.

Re:Zkušenosti s disky Micron 7400/7450
« Odpověď #3 kdy: 09. 08. 2024, 21:16:36 »
U.3 je jenom konektor, pořád je to normálních 4x PCIe, na to stačí pasivní redukce na OCuLink a pak běžný kabel, pokud nepotřebuju nějak rozdělovat linky.
Ta degradace se jak to tak vypadá týká právě i dražších disků jako třeba Samsung 990 PRO, nebo FireCuda 530
A třeba Solidigm P44 Pro na ní trpí dost. Viz příloha. Tak to sice není ještě kritické, ale klesá. A oproti novému je to o dost.
A třeba tu mám Kingston A400 a tam je začátek disku zoufalý a to tam data jenom leží. Je zapojený v počítači, takže napájení má.

CPU

  • *****
  • 907
    • Zobrazit profil
    • E-mail
Re:Zkušenosti s disky Micron 7400/7450
« Odpověď #4 kdy: 09. 08. 2024, 21:26:12 »
U.3 je jenom konektor

Jo, mám tu jak U.2 tak i U.3 a nikdy s kompatibilitou problém nebyl, přes pasivní redukci píchnuté přímo do slotu.
Jen bacha, nesmí se to přehodit.


Buldr

  • ***
  • 146
    • Zobrazit profil
Re:Zkušenosti s disky Micron 7400/7450
« Odpověď #5 kdy: 09. 08. 2024, 22:16:47 »
Provozuji 6x 7400 Pro U.3 (PCIe x4), konkrétně 3.84 TB (MTFDKCB3T8TDZ-1AZ1ZABYYR) a 10x 7400 Pro M.2 1.92 TB (MTFDKBA1T9TDZ-1AZ1ZABYYR) variantu. Nejde o zázračné disky, ale ekonomické, přesto s konstantním zápisem i čtením. Nečekej rozšířenou podporu SMART, kde bys viděl opotřebení jednotlivých bloků, predikci selhání, uzamknutí do režimu čtení při selhání apod.

Prvním problémem bylo připojení na řadič (Tri-Mode). Prvně jsem si myslel, že prostě nemám jen správné kabely a/nebo kompatibilní řadič Areca 1886 12Gbps PCIe 4.0 x8, případně jsem někde udělal chybu. Po dlouhém hledání jsem našel hodně stížností a problémů, protože disky odmítají fungovat x1/x2 a to platí i pro 24 Gbps PCIe x16 Broadcom (Megaraid) a jsou problémy s kabely (05-60005-00 ano, 05-60006-00 si člověk neškrtne). Potom je tu problém ovládání a kontrola (NVMe MI), které prostě povětšinou na HBA nefunguje. Napřímo a je klid (Tyan)

Že jsem si nechal poradit tak trochu „blbě“ už dávno vím, ale nakonec to nebyl takový problém a cíle jsem dosáhl s nulovou škodou. Kingston DC600M Areca 1883i – Raid60 a spokojenost FreeBSD + XFS)

Menší povídání o Broadcom Tri-Mode:
https://forums.servethehome.com/index.php?threads/broadcom-9500-8i-nvme-u-2-u-3-tri-mode.39426/

Carpe diem

Re:Zkušenosti s disky Micron 7400/7450
« Odpověď #6 kdy: 09. 08. 2024, 23:21:29 »
pasivni redukce na radic, co neni trimode, asi nepomuze.

U.3 je jenom konektor

Jo, mám tu jak U.2 tak i U.3 a nikdy s kompatibilitou problém nebyl, přes pasivní redukci píchnuté přímo do slotu.
Jen bacha, nesmí se to přehodit.

CPU

  • *****
  • 907
    • Zobrazit profil
    • E-mail
Re:Zkušenosti s disky Micron 7400/7450
« Odpověď #7 kdy: 09. 08. 2024, 23:47:23 »
pasivni redukce na radic, co neni trimode, asi nepomuze.

Ne na řadič, pokud to chceš připojit na řadič, musíš mít kabely, backplane a tri-mode řadič.

Máš to v SZ.

Re:Zkušenosti s disky Micron 7400/7450
« Odpověď #8 kdy: 10. 08. 2024, 01:48:18 »
Provozuji 6x 7400 Pro U.3 (PCIe x4), konkrétně 3.84 TB (MTFDKCB3T8TDZ-1AZ1ZABYYR) a 10x 7400 Pro M.2 1.92 TB (MTFDKBA1T9TDZ-1AZ1ZABYYR) variantu. Nejde o zázračné disky, ale ekonomické, přesto s konstantním zápisem i čtením. Nečekej rozšířenou podporu SMART, kde bys viděl opotřebení jednotlivých bloků, predikci selhání, uzamknutí do režimu čtení při selhání apod.

Prvním problémem bylo připojení na řadič (Tri-Mode). Prvně jsem si myslel, že prostě nemám jen správné kabely a/nebo kompatibilní řadič Areca 1886 12Gbps PCIe 4.0 x8, případně jsem někde udělal chybu. Po dlouhém hledání jsem našel hodně stížností a problémů, protože disky odmítají fungovat x1/x2 a to platí i pro 24 Gbps PCIe x16 Broadcom (Megaraid) a jsou problémy s kabely (05-60005-00 ano, 05-60006-00 si člověk neškrtne). Potom je tu problém ovládání a kontrola (NVMe MI), které prostě povětšinou na HBA nefunguje. Napřímo a je klid (Tyan)

Je to zajímavé, díky za zkušenosti, ale pardon trochu jsem se v tom ztratil.

Nejdřív jste to měl s HW RAIDem v tri-modové Arece resp. Broadcomu. Tam to nešlapalo, protože jste použil kabel SFF-8654 na 8x U3 (tzn. 1 PCIe linka do každého disku). Ale rozběhal jste to s kabelem SFF-8654 na 2x U2 (U3 disk je zpětně kompatibilní), tam už má každý disk čtyři linky.
Akorát do kontroléru potom nezapojíte všech 6 disku, ale jen 4, jestli jsem to dobře pochopil?

Takže jste nakonec vyrušil HW RAID a zapojil jako nativní NVMe zařízení na PCIe u Tyan desky. Jak jste tam případně připojil 6 U.3 disků, resp. 10 M.2 modulů? Několik PCIe NVMe adaptérů, nebo máte nějaký backplane s PCIe switchem? Nebo jste ten dal ten počet jen celkový, co jste měl, ale bylo to ve víc počítačích/serverech.

Citace
Že jsem si nechal poradit tak trochu „blbě“ už dávno vím, ale nakonec to nebyl takový problém a cíle jsem dosáhl s nulovou škodou. Kingston DC600M Areca 1883i – Raid60 a spokojenost FreeBSD + XFS)

Tady jsem zmatený dokonale. Nakonec jste se toho tedy všeho zbavil a používáte teď místo toho Kingstony DC s nestovaným SATA HW RAIDem. FreeBSD s XFS?

Jinak stran toho přístupu na NVMe zařízení za HW RAID řadičem, který to finální zařízení v systému ukazuje jako SCSI blokové zařízení, to bude asi ještě nějakou dobu praktický problém. Nedávno jsem zkoumal, jestli nejdou vytáhnout aspoň logy  třeba přes smartmontools, ale ne https://github.com/smartmontools/smartmontools/issues/274
Patch v megaraid_sas modulu pro NVMe passthrough je v kernelu už pár let https://github.com/torvalds/linux/commit/f870bcbe9a991264f424ad937916695b2f3de133
Na FreeBSD netuším, jak to je.
Ale ani neznám žádnou jinou aplikaci, která by to používala. Logicky, ty nejrozšířenější nvme-cli tooly na to nepůjde použít, protože to pracuje jen nativními NVMe zařízeními.
LSI-Broadcom firmware by ty relevantní příkazy měl umět, koneckonců jde primárně o to vytáhnout logy, kde bude třeba množství reálně zapsaných dat do NAND buněk.
https://techdocs.broadcom.com/content/dam/broadcom/techdocs/data-center-solutions/tools/generated-pdfs/MR8_Utility_UG.pdf
Stránky 20-21.
Samozřejmě by bylo ideální, kdyby Broadcom přímo poslal patch pro smartmontools.

Buldr

  • ***
  • 146
    • Zobrazit profil
Re:Zkušenosti s disky Micron 7400/7450
« Odpověď #9 kdy: 10. 08. 2024, 06:56:36 »
Kingston DC600M vůbec neřeš – kombinace nemocniční únavy, času a kapaček si vybírá svou daň, ale když už jsem to načal. Jde o úplně tupé disky, u kterých nečekáš nic více než cena/kapacita a skutečnost, že přepočet degradovaného pole na HS disk nezabere 3 a více dnů, jako u větší kapacity 4TB+ mechanických disk poté, co ho TLER vyrazí z pole. Zatím se nevysypal ani jeden, že jsou ve srovnání s dražšími disky méně konzistentní, pomalejší … mi u zálohování opravdu nevadí, hlavně že se to rychle přepočítá (plotny jdou samostatně).

Zmíněných 10ks Micron 7400 Pro si mezi sebou podělilo 7 fyzických serverů a moje pracovní stanice.

Už v návrhu jsem prostě počítal s R6 a protože mám mnohaleté zkušenosti s řadiči Areca, tak jsem automaticky zvolil 1886-16I v plné palbě 8654-8612 OCulink. Poradili, jak poradili už víš a asi to nemusím dále zmiňovat, protože jsem na to přišel až když jsem to zapojoval. Především jsem netušil, že Micron 7400 Pro U.3 funguje striktně 4 linky (paradoxně M.2 stačí 2) a tady nastal problém. Kdyby to mělo fungovat na ARC1886, tak na ten řadič nahodím pouze dva disky, cokoliv víc smůla, přestanou fungovat. Když už jsem proklel rádce a zkusili jsme Broadcom 9560-16i a co čert nechtěl, chovalo se to úplně stejně. Tak jsme začali pátrat, v čem může být problém a narazili jsme na hodně informací o Broadcom, problémech s kabely … a vrtošivou 7400 Pro. 

Nakonec jsem to vyřešil tak, že jsem řadič po domluvě vrátil (postavili se k tomu rozumně) a použil 80 pin OCL – tj. 16x NVMe x4 = 64 linek (Tyan SX8026) a vydal se „moderní“ cestou. Není mi to úplně po chuti, ale budu se muset přizpůsobit a přenechat starosti (malá firma). Věc se má tak, že do konce roku musím odstavit 6 fyzických serverů (resp. 3+3 firma/Ktiš) – tzn HAF VM, kde mi bude běžet WS2022, Exchange, SLES … do plného produkčního stavu (už to pár měsíců běží) mu chybí sekundární zrcadlo (DC Ktiš), což chci vyřešit co nejdříve. Nejvíce mě pálí staré PE R220 a R230, které mají své nejlepší léta za sebou.
« Poslední změna: 10. 08. 2024, 06:58:23 od Buldr »
Carpe diem

Re:Zkušenosti s disky Micron 7400/7450
« Odpověď #10 kdy: 10. 08. 2024, 12:40:03 »
Kingston DC600M vůbec neřeš – kombinace nemocniční únavy, času a kapaček si vybírá svou daň, ale když už jsem to načal. Jde o úplně tupé disky, u kterých nečekáš nic více než cena/kapacita a skutečnost, že přepočet degradovaného pole na HS disk nezabere 3 a více dnů, jako u větší kapacity 4TB+ mechanických disk poté, co ho TLER vyrazí z pole. Zatím se nevysypal ani jeden, že jsou ve srovnání s dražšími disky méně konzistentní, pomalejší … mi u zálohování opravdu nevadí, hlavně že se to rychle přepočítá (plotny jdou samostatně).

Zmíněných 10ks Micron 7400 Pro si mezi sebou podělilo 7 fyzických serverů a moje pracovní stanice.

Už v návrhu jsem prostě počítal s R6 a protože mám mnohaleté zkušenosti s řadiči Areca, tak jsem automaticky zvolil 1886-16I v plné palbě 8654-8612 OCulink. Poradili, jak poradili už víš a asi to nemusím dále zmiňovat, protože jsem na to přišel až když jsem to zapojoval. Především jsem netušil, že Micron 7400 Pro U.3 funguje striktně 4 linky (paradoxně M.2 stačí 2) a tady nastal problém. Kdyby to mělo fungovat na ARC1886, tak na ten řadič nahodím pouze dva disky, cokoliv víc smůla, přestanou fungovat. Když už jsem proklel rádce a zkusili jsme Broadcom 9560-16i a co čert nechtěl, chovalo se to úplně stejně. Tak jsme začali pátrat, v čem může být problém a narazili jsme na hodně informací o Broadcom, problémech s kabely … a vrtošivou 7400 Pro. 

Nakonec jsem to vyřešil tak, že jsem řadič po domluvě vrátil (postavili se k tomu rozumně) a použil 80 pin OCL – tj. 16x NVMe x4 = 64 linek (Tyan SX8026) a vydal se „moderní“ cestou. Není mi to úplně po chuti, ale budu se muset přizpůsobit a přenechat starosti (malá firma). Věc se má tak, že do konce roku musím odstavit 6 fyzických serverů (resp. 3+3 firma/Ktiš) – tzn HAF VM, kde mi bude běžet WS2022, Exchange, SLES … do plného produkčního stavu (už to pár měsíců běží) mu chybí sekundární zrcadlo (DC Ktiš), což chci vyřešit co nejdříve. Nejvíce mě pálí staré PE R220 a R230, které mají své nejlepší léta za sebou.

Už je to jasné, díky za vysvětlení. Hlavně ať ti je brzy líp.

Jj. s těmi SAS/SATA 2.5" SSD to může být pořád zajímavý kompromis přesně pro ty popsané situace. Pokud mají rozumnou kapacitu, výdrž a nejde o největší dosažitelný výkon, tak v kombinaci s HW RAID řadičem nebo externím enclosurem (SAS, FC) je to pořád takový vcelku spolehlivý a hlavně predikovatelný setup.

S těmi tri-mode řadiči mám jen jednu zkušenost, kdy kolega stavěl dvě prac. stanice, kde byly Micron 9300 NVMe disky v RAID6 (4+2). Přesně jsme se chtěli vyhnout tomu, aby to chodilo na míň než čtyři linky do disku a nebyl potřeba nějaký externí backplane s PCIe switchem, tak jsme chtěli původně MegaRAID 9670-24i. Ale ten byl tehdy šíleně dlouho k nedodání a mimo jakékoliv termíny, nakonec skončilo na podobném Adaptecu 3258p. Zatím ťukám, není s tím problém, chodí to jak z praku.
Akorát strašné trápení na začátku, protože na jedné stanici to chodilo cca poloviční rychlostí při sekvenčním I/O s velkými bloky. Muselo se vyměnit a proházet mezi stanicemi snad úplně všechno, aby kolega nakonec zjistil, že to bylo jedním vadným kabelem SFF-8654 na U.2. Žádné logované chyby v řadiči, žádné hinty, support nic, možná by něco teoreticky bylo v interních logách na discích, ale jsme zas zpátky u už zmíněného problému, za řadičem se do nich člověk nedostane. Takže kabely můžou být pěkně zrádné, při těchhle rychlostech se na zřejmě stačí jen křivě podívat :)

Ale je fakt, že tohle byl spíš specifický případ, Windows stanice, HW RAID karta jediná rozumná možnost (pokud neberu VROC, ale ten jsem bral spíš klasicky na jednoduchý mirror, nebo 1+0 a navíc je jen Intel specific).
U nějakého stavěného storage serveru bych taky dnes spíš volil tu variantu s nativními NVMe disky, přesně ten typ HW jako má Tyan nebo Supermicro. Stejně ty složitější souborové systémy jako ZFS, případně nějaký erasure coding na vyšších vrstvách (Ceph, MinIO) zpravidla chodí nejlíp a nejpredikovaněji, pokud má systém přímý přístup k disků, bez další cache, reorderingu IO a s možností přímo ovlivnit zápis do každého zařízení, flushovat atp.

A ať se vyvede stavění té druhé části HA setupu v datacentru ;)

PCnity

  • *****
  • 693
    • Zobrazit profil
    • E-mail
Re:Zkušenosti s disky Micron 7400/7450
« Odpověď #11 kdy: 12. 08. 2024, 10:32:54 »
Diskusia TL, cize DR, dam len svoje 2 cents:

Mame plnu pr-del Micronov 7450 PRO a Samsung 983a v 7680 GB verzii, pretoze to boli najlacnejsie disky na TB. Dovody mi nie su zname, ale tie "8 TB" samsungy mal Senetic za menej ako 400 eur (bez dph) a tie microny boli svojho casu pod 500 eur.

Standardne ich davam do SR645 kde sa nam koli tomu oplatila vymenit backplane z povodneho 10x SAS na 10x NVMe. Davat ich cez tri-mode na radic je IMO velka skoda. Jediny dovod by snad bola moznost kombinovat ich so SATA/SAS.
Tri-mode spristupnuje JEDNU pcie linku, sam o sebe si vypyta 20 W a aspon u mna to su vsetko EPYC servre a teda mame PCIe liniek viac nez dost.

Mno a kedze mam tych diskov dost, skoncili dva aj v mojom desktope v R1. Celkove naklady okolo 30 eur --> 1x adapter PCIe 16 na 4x SFF 8654 4i a 2 kable SFF 8654 4i na SFF-8639 + sata napajanie.

Celkovo s nimi mam vyborne skusenosti... Maju obrovske TBW, cize si nerobim starosti ani pri heavy write work loadoch a stalo nas to na tb kapacity menej ako obodobne SATA ci SAS SSD a to vratane ceny backplaneov.
« Poslední změna: 12. 08. 2024, 10:39:38 od PCnity »

Re:Zkušenosti s disky Micron 7400/7450
« Odpověď #12 kdy: 12. 08. 2024, 10:44:17 »
Len o tom spomalovani som uz dlho nepocul. Riesilo sa to v minulosti v zaciatkoch SSD. Checkol som narychlo web a vyzera, ze to uplne nevymizlo.

To tedy opravdu nevymizelo. Po upozornění jsem to ověřil na levnějších SSD, které mám a které rozhodně nejsou ze "začátků SSD" a starší data byla podle rychlosti čtení popár letech (v některých případech i doslova) výrazně degradovaná. Trochu mě to vyděsilo a zároveň jsem žasl. Jediné SSD v mém vlastnictví, které s tm nemělo problém byl NVMe Samsung EVO, nevím teď už přesně jaký.
« Poslední změna: 12. 08. 2024, 10:47:12 od Martin Poljak »

Re:Zkušenosti s disky Micron 7400/7450
« Odpověď #13 kdy: 12. 08. 2024, 11:56:45 »
Micron 7400PRO, Asus amd server, cez backplane pripojeny na dosku.
3x server , 4xdisky v kazdom, zatial prevadzka 3mesiace 24x7
je to podvozok s3 clustra, takze data su este zichrovane na dalsej vrstve.

jeden disk taha za sebou problem bez ohladu na to v ktorom servery, slote je disk vlozeny priebezne vyskakuje nejaka AER chyba.
nejavi sa tam ziaden problem ani spomalenie. smartctl, micron diagnostika nic nenasla.
zatial to len to znervoznuje, ale uz je adept na vymenu ale nie reklamaciu lebo nie je.