NVME adaptér do staršího serveru

[by_cx]

Mám dva HPE MicroServer 10gen+ s kartou QM2-2P-384. Tyhle karty na sobě mají PCIe switch, takže fungují i na deskách, které nepodporují bifurcation nebo ho mají ve špatném poměru. Oba servery fungují bez problémů i s bootem.

[Reklama]

[honzako]

Myslím si, že nepoznáš rozdíl mezi SATA SSD a NVME diskem.
Alespoň ne v tom testovacím prostředí které zmiňuješ a na starém hardware.
Je paradoxní, že zjišťuješ funkčnost redukcí za pár šupů, přitom serverové NVME disky se pohybují v desítkách tisíc.
NVME bych spíše použil jako nějakou cache RAID řadiče nebo StorageSpace a tiering.

[hodza]

Otestoval jsem nespočet různých redukcí pro SAS / SATA / mSATA / NVMe a došel jsem k závěru, že je lepší se na to vykašlat. Každá z testovaných karet měla své mouchy. Z některých nelze nabootovat, některé nelze použít ve VMware, některé mají mizerný výkon, některé rozbíjí připojený disk... Když do toho navíc dáte nějaké běžné SSD, je neštěstí na světě.

Pro představu - mám dva staré a identické testovací servery HP se stejným workloadem ale různými disky.

Takto vypadá S.M.A.R.T. na serveru, kde je zapojen 2x SSD Samsung 870 EVO v RAID1:

Kód: [Vybrat]

# smartctl -a /dev/sdc | grep -e "Power_On_Hours" -e "Wear_Leveling_Count"
  9 Power_On_Hours          0x0032   098   098   000    Old_age   Always       -       7757
177 Wear_Leveling_Count     0x0013   097   097   000    Pre-fail  Always       -       63
# smartctl -a /dev/sdd | grep -e "Power_On_Hours" -e "Wear_Leveling_Count"
  9 Power_On_Hours          0x0032   098   098   000    Old_age   Always       -       7758
177 Wear_Leveling_Count     0x0013   096   096   000    Pre-fail  Always       -       79

a takto to vypadá server, kde je 2x originální SSD HPE (disk je pouze kategorie RI a tuším, že výrobce je v tomto případě Micron):

Kód: [Vybrat]

./ssacli ctrl slot=0 pd all show detail |grep -e "Interface Type:" -e "Usage remaining" -e "Power On Hours"
         Interface Type: Solid State SATA
         Usage remaining: 99.84%
         Power On Hours: 7933
         Interface Type: Solid State SATA
         Usage remaining: 99.96%
         Power On Hours: 7205
         Interface Type: SAS
         Interface Type: SAS

Všimněte si prosím rozdílu opotřebení pří přibližně stejném počtu provozních hodin.

Jinak do starých serverů jako je HP DL380p Gen 8 nejraději používám datacentrový Intel DCP4600 ve variantě pro PCIe.
https://pevne-disky.heureka.cz/intel-dc-p4600-4tb-ssdpedke040t701/#prehled/

Pokud by měl někdo zájem, mám nejspíše skladem nějaké kusy o kapacitě 4TB. Opotřebení bude počítám do 5% a cena někde kolem 30 000Kč.

[CPU]

Do starého serveru je ideální NVMe disk přes PCIe 4x, protože žádný jiný disk nedá tolik IOPS. Se slušným diskem může být i starší server svižnější než o 4 generace novější server s polem připojenym přes řadič a míň pamětí.

Dell R740 s Xeony Gold se 128 GB RAM a DB na SSD má z hlediska DB 1/2 výkon oproti "starým" Ivy Bridge 2670 V2 a 384 GB RAM a dvojicí Samsung 980 PRO.
R740 stála cca >120 táců
HP G8 tu v téhle konfiguraci prodávám bez SSD za 10-15-20k podle typu.

[_Tomáš_]

Do starého serveru je ideální NVMe disk přes PCIe 4x, protože žádný jiný disk nedá tolik IOPS. Se slušným diskem může být i starší server svižnější než o 4 generace novější server s polem připojenym přes řadič a míň pamětí.

Dell R740 s Xeony Gold se 128 GB RAM a DB na SSD má z hlediska DB 1/2 výkon oproti "starým" Ivy Bridge 2670 V2 a 384 GB RAM a dvojicí Samsung 980 PRO.
R740 stála cca >120 táců
HP G8 tu v téhle konfiguraci prodávám bez SSD za 10-15-20k podle typu.

Pěkné, akorát, že to není pravda. pcie 4x ve verzi 2.0 má propustnost 2GB/s vč. dost vysoké režije, verze 3.0 má 4GB/s, to je pořád pod těmi nejrychlejšími ssd. Raději do starších serverů volit 8x, tam ale budeš bojovat s počtem pcie linek. Výkon na watt je pak úplně někde jinde, při ročník nákladech na spotřebu 20 - 30 tis se to prostě cenově převrátí. Samsung 980 PRO na DB serveru odpravíš za rok. Doporučovat tohle na DB server je prostě nesmysl, nevím, kde na tyhle rady chodíš.

Např. Intel Xeon Gold 5317 má na vlákno o 50 % vyšší výkon než ten Ivy Bridge 2670 v2, šifrování na něm nesnižuje rychlost zápisu u rychlý nvme disků. To nemluvím ani o propustnosti paměti, která je o 1/3 nižší. Srovnávat repas a nový je také divné, ten gold koupíš např ve vyjetým R450 za lehce nad 100 tis.

[Reklama]

[CPU]

Mluvím samozřejmě o vývojovém/labovém/test serveru, kde havárie nehrozí.
Kdo normální by provozoval ostrý server na consumer grade discích? Že by to vůbec někoho napadlo???
Kdo normální by provozoval ostrý server na vysloužilém hardware bez jakékoliv podpory?
Tyhle "domácí" SSD vůbec nejsou stavěné na vysokou zátěž - ale do laborky a na vývoj to je super.
Ježiš
Ale je to moje chyba, měl jsem to napsat jako pro hloupé, je to moje chyba, tak se omlouvám.

[_Tomáš_]

Mluvím samozřejmě o vývojovém/labovém/test serveru, kde havárie nehrozí.
Kdo normální by provozoval ostrý server na consumer grade discích? Že by to vůbec někoho napadlo???
Kdo normální by provozoval ostrý server na vysloužilém hardware bez jakékoliv podpory?
Tyhle "domácí" SSD vůbec nejsou stavěné na vysokou zátěž - ale do laborky a na vývoj to je super.
Ježiš
Ale je to moje chyba, měl jsem to napsat jako pro hloupé, je to moje chyba, tak se omlouvám.

díky! Lidi to bohužel napadá, dělají to, porovnají si ceny v Alze proti ceníkům HPE/Dell/Lenovo a pak člověk čte tyhle názory, nepochopil jsem, že to myslíš na hraní.

Dneska už se ani nehodí na CI servery, ty začínají být diskově náročnější než velké databáze.

[czechsys]

Kdo normální by provozoval ostrý server na vysloužilém hardware bez jakékoliv podpory?

By ses divil, tech "normalnich" najdes odhaduju nejmene u 20% firem.

[🇺🇦 GPU]

A k čemu tu podporu potřebujete? Paleta vysloužilých serverů vyjde levněji, než koupě jednoho serveru nového.

[Ymzk]

Samsung 980 PRO na DB serveru odpravíš za rok. Doporučovat tohle na DB server je prostě nesmysl, nevím, kde na tyhle rady chodíš.

Toto by bola pravda u ktorehokolvek disku okrem Samsungu. Za poslednych 10 rokov ich davame do serverov, aj databazovych a mame ich aj v desktopoch pre zamestnancov a podobne. Zo stovky kusov neodisiel po rokoch ani jeden jediny. Dokonca v DB serveroch ich pouzival aj Stackoverflow. Je to siroko daleko najspolahlivejsi disk co existuje a dokonca som videl aj niekde muciaci test kde 1 rok neustale ho ktosi prepisoval cely na plny read a write a furt bezal. Stovky nasobky po svojej zivotnosti. Sice bol pomalsi. Ale fungoval. Je to snad jediny consumer ssd ktory ma takmer urcite kvality enterprisoveho.

[Medo77]

Chlapi, nestretli ste sa s takouto haluzou ?
Ludia na W11+NVME+MSSQL drzkuju, a lamu to kadejako cez registre so striedavym uspechom ...
U mna W2022+Full MSSSQL 2017.
Zatial k najrozumnejsiemu, ako to asi zlomit bolo nieco v duchu nizsie:
----
I'm using Win11 and have a Samsung SSD 980 NVME hard drive. If I use the storage controller driver "Samsung NVME Controller" from Samsung, the Bytes Per Physical Sector on the Samsung 980 SSD is 512. If I change the storage controller driver to "Standard NVM Express Controller" from Microsoft, the Bytes Per Physical Sector on the Samsung 980 SSD become 4096.
----
Alternativa je pouzit  trace flag 1800, ale silne dumam, ci sa to neda nejak viac pomocou HW/Os, ako ohybat SQlko ..
Skusal som to formatovat kadejako, ale tu sa asi stale bavime len o velkosti clustera, nie o velkosti byte per sector.
Diky

[Medo77]

ok, toto hovori za vsetko :-)
Microsoft is currently investigating this problem.

https://docs.microsoft.com/en-us/troubleshoot/sql/admin/troubleshoot-os-4kb-disk-sector-size

Ideme vyskusat nejaky starsi OS, kolega trval na 2022 ..
Flag 1800 si necham v zalohe, zaujima ma, ci perfomance bude rovnaky s flagom aj bez neho.

[🇺🇦 GPU]

W11 je haluz, aktuálně snad nějaká beta, bez ohledu na to, jak to MS nazývá. To chcete nasazovat do produkce?

[_Tomáš_]

Samsung 980 PRO na DB serveru odpravíš za rok. Doporučovat tohle na DB server je prostě nesmysl, nevím, kde na tyhle rady chodíš.

Toto by bola pravda u ktorehokolvek disku okrem Samsungu. Za poslednych 10 rokov ich davame do serverov, aj databazovych a mame ich aj v desktopoch pre zamestnancov a podobne. Zo stovky kusov neodisiel po rokoch ani jeden jediny. Dokonca v DB serveroch ich pouzival aj Stackoverflow. Je to siroko daleko najspolahlivejsi disk co existuje a dokonca som videl aj niekde muciaci test kde 1 rok neustale ho ktosi prepisoval cely na plny read a write a furt bezal. Stovky nasobky po svojej zivotnosti. Sice bol pomalsi. Ale fungoval. Je to snad jediny consumer ssd ktory ma takmer urcite kvality enterprisoveho.

10 let a neodešel žádný? Jáký máte průměrný TBW u těch starších? To spíše ukazuje na špatné měření, když nic neumřelo. Jinak Samsung 980/970 Pro také máme u klientů běžně v noteboocích, tam si ten disk sedí velice dobře. To jsou desetitisíce kusů a nesmrtelné nejsou.

Při kontinuálním zápisu se ale příliš zahřívá (40 - 60 stupňů v chlazeném serveru), nejspíš má nějaké nepřesnosti v uložení heatsinku. To vede k nižší životnosti. Máme také zkušenosti s větším nasazením (stovky serverů), nasazuje je totiž do svých serverů Lenovo, tam ale je vidět jinak vyřešené chlazení, i tak mají odpadavost kolem 5 % do dvou let, což je lehce vyšší než máme u HPE/DELL, ale za tu cenu pořád zajímavé.

Stackoverflow používá ledacos. Je velký rozdíl něco doporučovat jako řešení v diskuzi a nezmiňovat riziko, které tam je, a projít si rizikovým nasazením s patřičnou mírou kontroly a záloh. Samozřejmě při troše snahy se dá nasadit cokoliv, stackoverflow cpe (co vím z jejich starých blogů) většinu náročného provozu na Redis servery, takže využití disků může mít trochu specifické schéma, která k diskům jde na ruku.

[Medo77]

W11 je haluz, aktuálně snad nějaká beta, bez ohledu na to, jak to MS nazývá. To chcete nasazovat do produkce?

nie, len som sa od toho snazil odrazit, kedze to na W2022 robi tie iste problemy ...