Storage server s AMD: Graid vs. HPE

[LA MA]

Ahojte,

chcem poprosit o nazor na serverik, na ktorom bude MS 2025 STD + MS SQL 2025 STD + ERP a vyrobny system, 55 device CAL.

RAM 6x32GB
SFP+ 2x10Gbps LACP

2x disky U2/3 NVMe 800GB (OS)
4x disky U2/3 NVMe 1,6TB (DB)
na zalohy pole este neriesim

diskove pole:
1. mirror1 pre OS
2. mirror2 pre DB
3. mirror3 pre transakcne logy a tempy
4. pre lokalne zalohy (toto nie je podstatne, zalohy pojdu aj inam),


Rozhodujem sa medzi (cena cca rovnaka):

Supermicro 1U serverikom s AMD 9135 s RAID radicom Graid 1000SW

alebo

HPE 1U serverikom s AMD 9175F s RAID radicom HPE MR932i-p



Co vybrat, ak software je narocny na SQL vybery a pripajat sa bude 55 zariadeni


Dakujem,

M.

[Reklama]

[Medo77]

55 userov nie je extra zataz, skor zalezi ako je napisany sw .. ak na prasaka, kludne zaplaces.
Budes hw vykonom suplovat neschopnych programatorov.
To chces mat pokope na jednom zeleze, alebo to ides oddelit a virtualizovat ? Cpu - no...nie vsetko vie vzdy ist viacerymi vlaknami, takze niekedy sa vyssia frekvencia na jednom vlakne hodi.

Co to znamena - software je narocny na SQL vybery ?

Pri ramke je odoorucanie,  aby ked uz do ram nevliezie db, vliezla aspon najvecsia tabulka, pripadne najvecsi index. Ale to zistis az casom,  ake to bude velke. Cca odhad by vedel uz teraz dodavatel sw, na zaklade analyzy, ktoru uz u vas asi spravil (pocet poloziek, dokladov, artiklov,..).

[5nik]

Nemám zkušenost přímo s HP ani sMicro. Nicméně, pokud budu vycházet z datasheetu, tak Graid 1000SW nemá deklarovanou podporu Windows a navíc má pouze 16 linek PCIe 3.0. HPE MR932i-p je na tom podstatně lépe.
Obecně můj názor: vykašlat se v případě nvme disků na RAID kartu, a jet čiště napřímo. AMD CPU má 128 linek PCIe 5, jakýkoliv HW řadič zbytečně dusí potenciální výkon. Ve windows můžeš použít Storage Spaces. Pro OS můžeš použít levnější (SATA) SSD, klidně na dedikovné PCIe kartě (DELL na to má BOSS, ostatní výrobci podobné řešení).
Zadruhé bych se zamyslel nad osazením všech 12 paměťových kanálů CPU pro maximalizaci propustnosti. Pokud máš finance, jdi do CPU s nejvyšším taktem, všude slýchávám, že vyšší jednojádrový výkon je pořád lepší.
Nevím, zda má smysl "dedikovat" fyzické disky / raidy jednotlivým typů úložišť. Myslím, že tato logika je už částečně přežitá v době nvme. Samozřejmě má smysl oddělovat jednotlivé typy úložišť pro SQL, ale buď na úrovni VM nebo v Storage Spaces.
Ještě poznámka k LACP - pokud uvažuješ o Hyper-V, pak bych spíše použil SET (Switch Embedded Teaming) v rámci VMSwitche (ten bohužel LACP neumí, pouze switch independent redundance, ale s výhodami RDMA apod technologií).

[RDa]

Zadruhé bych se zamyslel nad osazením všech 12 paměťových kanálů CPU pro maximalizaci propustnosti.

Toto radit pri velice zakladnich modelech procesoru s pouze 16 jadry je nesmysl.

12ch ~ 614 GB/s - na jadro tak pripada proud 38 GB/s, a kazda instrukce by musela pracovat s 8B novych dat pri 5GHz. Dalo by se toho dosahnout skrze SIMD pro velke davky, ale ne v obecnem kodu pro DB.

[5nik]

Toto radit pri velice zakladnich modelech procesoru s pouze 16 jadry je nesmysl.

12ch ~ 614 GB/s - na jadro tak pripada proud 38 GB/s, a kazda instrukce by musela pracovat s 8B novych dat pri 5GHz. Dalo by se toho dosahnout skrze SIMD pro velke davky, ale ne v obecnem kodu pro DB.

Nechci se hádat, AI to dokáže celkem pěkně vysvětlit. Těch argumentů proč je lepší využít všechny paměťové kanály je více. Samozřejmě reálný přínos je diskutabilní a značně individuální, navíc sebelepší výkon dokáže zabít neoptimalizovaný SW.

[Reklama]

[RDa]

Toto radit pri velice zakladnich modelech procesoru s pouze 16 jadry je nesmysl.

12ch ~ 614 GB/s - na jadro tak pripada proud 38 GB/s, a kazda instrukce by musela pracovat s 8B novych dat pri 5GHz. Dalo by se toho dosahnout skrze SIMD pro velke davky, ale ne v obecnem kodu pro DB.

Nechci se hádat, AI to dokáže celkem pěkně vysvětlit. Těch argumentů proč je lepší využít všechny paměťové kanály je více. Samozřejmě reálný přínos je diskutabilní a značně individuální, navíc sebelepší výkon dokáže zabít neoptimalizovaný SW.

Tak se nehadej :) jsou tam zrejme aktivni jen dve CCX, a GMI mezi cpu a io die je limitujici faktor. Dokonce ani ty lepe vybavene modely se neblizi nikterak k teoretickemu stropu.. bohuzel.

Z tech dvou CPU je rozhodne lepsi ten 9175F - ma vyssi boost (papirove), realne ale vyssi TDP limit mu to i dovoli, a pak je tam hodne cache navic.

[LA MA]

Dakujem za posty. Pokusim sa odpovedat na otvorene otazky:

1. ERP je podla mna nie dobre optimalizovane, takze to idem ciastocne prebit HW, keze dnes to bezi iba na obstaroznom 4 jadre
2. vsetko bude koli cene a licenciam bezat na jednom zeleze bez virtualizacie (nie je potrebna na beh ERP)
3. dnes mam 64GB ram a je zaplnena tak max na polovicu, pricom predpokladam, ze po dobu zivotnosti HW sa db nafukne 4x, doteraz bol taky trend
4. RAID karta vs Windows server 2025 Storage Spaces - obavam sa storage spaces, ako je to s vykonom MS SQL 2025 STD, ako so stabilitou, obnovou pri disaster, pri vymene disku,
co som cital, tak same hororove scenare okolo toho, pripadne ze treba specialne vytvarat pole koli optimalizacii vykonu, co ma viac odradza od tohto riesenia (mi to pride ako taky nedorobok MS) a preto som chcel radsej HW radic. GRAID asi opustim, najskor som si myslel, ze to bude fajn, presne koli tomu, ze disky su
priarmo pripojene na CPU, ale ma to asi zmysel len pri zlozitejsich poliach a tiez ma odradza ta podpora, pripadne ako to bude s drivrom pri disaster recovery,...
5. nebude ziadna virtualizacia ako som pisal a s LACP tym padom nebude problem

[RDa]

Jelikoz tam nemas zadny komplikovany RAID level ale pouhy mirror, tak bych to taky resil jako "sw-raid", cpu to nic stat nebude.

U supermicro H13 desek mas nvme raid v manualu popsany, viz RaidXpert2.
Vypada to asi ok ( https://apps.microsoft.com/detail/9nd45c02n872 ) ale chapu ze to neni pravy enterprise reseni jako drahy HW RAID, kde je dnes docela prezitek.

Kdybych resil tento ukol ja, tak tam jede linux+mdraid a virtualizace. Casto to ma vyssi vykon protoze ta pamet navic jde pouzit jako virtual disk cache.

[5nik]

Ad licence: Jestli se něco neměnilo, tak stejně budeš muset OS licencovat dle počtu fyzických jader. A v rámci licence byla možnost na daném železe legálně provozovat 1x Hyper-V + 2x VM v něm. Doporučoval bych oddělit DB server od zbytku. I kvůli bezpečnosti.

Ad úložiště: před několika lety jsem měl nový server s AMD a NVMe SSD a také jsem váhal nad realizací pole. Testoval jsem dohromady 3 řešení: SWraid na úrovni CPU/čipsetu, prosté zrcadlo ve správci disků a Storage Spaces. Na hrubou sílu to vyhrálo právě Storage Spaces, ostatní řešení výrazně degradovalo výkon SSD. Od té doby na podobných serverech SS používám. Co se týče spolehlivosti / disaster recovery, zatím jsem nemusel nic řešit. Pokud by něco nastalo, v nejhorším poskládám úložiště znova (OS Hyper-V běží odjinud) nebo nainstaluji celý server nanovo a obnovím celé VM. Pokud potřebuji, zálohuji transakční logy a mohu obnovit DB do jakéhokoliv okamžiku.

Kdybych resil tento ukol ja, tak tam jede linux+mdraid a virtualizace. Casto to ma vyssi vykon protoze ta pamet navic jde pouzit jako virtual disk cache.

V podstatě s tebou souhlasím, jen obdobně pro Windows: Storage Spaces + Hyper-V. A samozřejmě rozumné zálohování (nejlépe celých VM s možností granulárních obnov) a samozřejmě UPS s mgmt.

[jjrsk]

Co vybrat, ak software je narocny na SQL vybery a pripajat sa bude 55 zariadeni

Podle tvyho zadani nic, protoze se nic vybrat neda.

Co potrebujes vedet je jak je velka databaze, jak sou velky indexy, kolik IOps to generuje... pocet uzivatelu je celkem irelevantni pokud jich nejsou desitky tisic.

Aby ti databaze vubec fungovala, potrebujes nejakych +- 1500 IOps, coz na SSD das vpohode, ve skutecnosti to az na vyjimky nedava moc smysl resit, protoze ti to bezi primarne v ramce. Ramka se dimenzuje tak, abys mel alespon vsechny indexy v ni, cache hit ratio by nemelo klesat pod 98%. To samo souvisi i s licenci SQL, protoze ta te v rozletu taky limituje.

Dakujem za posty. Pokusim sa odpovedat na otvorene otazky:

Bezva, pokud ti to nekde bezi, tak mas udaje ktery potrebujes, to jsou ty podle kterych se ten HW konfiguruje tak, aby to davalo smysl funkcne ale i ekonomicky. Vsechny udaje zjistis i z management studia, nepotrebujes na to zadny ubertooly.

Jeste takovej hint, temer vzdy se ti vyplati mit mene vice taktovanych jader. Jednak to SQLko s tim bude rychlesi, druhak usetris tu vetsi cast nakladu = licence.

Nemám zkušenost ...

Je to videt, proto pises takovy nehorazny blaboly. Dotycny hleda/kupuje server a ne nejakej samorobo bastl. Mimochodem, kazdej jeden vyrobce ti ten server doda vyhradne v doporucenych konfiguracich ramek, coz samozrejme taky nevis.

Ad licence: Jestli se něco neměnilo, tak stejně budeš muset OS licencovat dle počtu fyzických jader. A v rámci licence byla možnost na daném železe legálně provozovat 1x Hyper-V + 2x VM v něm. Doporučoval bych oddělit DB server od zbytku. I kvůli bezpečnosti.

Bezva, takze nevis nic ani o HW ani o licencich ... na virtualni provoz SQL MUSIS mit od verze 2022 SA = 2x cena.

[LA MA]

Co potrebujes vedet je jak je velka databaze, jak sou velky indexy, kolik IOps to generuje... pocet uzivatelu je celkem irelevantni pokud jich nejsou desitky tisic.


velkost db 35GB
indexy cca 4GB
max 3400 iops (1600 w/s / 3400 r/s) za 6 mesiacov
latencia disku 8ms max (zapis 8 / citanie 6) (mirror 2x2TB NVMe)
disk utilization max 32%

[LA MA]

Co potrebujes vedet je jak je velka databaze, jak sou velky indexy, kolik IOps to generuje... pocet uzivatelu je celkem irelevantni pokud jich nejsou desitky tisic.

velkost db 35GB
indexy cca 4GB

zabbix, db pole (mirror 2x2TB NVMe) za obdobie 6 mesiacov, max udaj:
3400 iops (1600 w/s / 3400 r/s)
latencia disku 8ms max (zapis 8 / citanie 6)
disk utilization 32%

[jjrsk]

Bezva, takze vykon disku te vubec nezajima, resis nejakou rozumnou spolehlivost. Tzn neco na tema R6 (R10 nepotrebujes, ma to sice lepsi vykon zato horsi spolehlivost).

Pocitam ze ty IO spicky budou primarne na zalohovani pripadne na nejaky nocni prepocty.

Tudiz bych rek ze v ty tvy konfiguraci bys moh usetrit za 2 disky. System jako takovej ti prakticky nic generovat nebude.

Co se tyce velikosti ... ta se ti nebude nasobit, podstatny je prirustek = kolik GB rocne. Typicky to bude vicemene konstatni.

Souvisi to s ramkou, pokud mas aktualne 40GB komplet, tak se ti to do ramky vejde cely, ale ten pomer je rekneme ... ne uplne blahy = mas malo indexu, mozna proto mas potize s vykonem. Ten pomer je samo zavislej na aplikaci, ale bezne byva 2:1 az 1:1. (data vs indexy).

Kazdopadne aktuelne tam budes mit v ty svy konfiguraci 128GB zbytecny ramky. Coz pri stavajicich cenach neni uplne malickost.

[TechniX]

Zo zvedavosti;
čo je to za nešťastný soft že potrebuje Windows Server? Nejaký custom firemný?

[LA MA]

Bezva, takze vykon disku te vubec nezajima, resis nejakou rozumnou spolehlivost. Tzn neco na tema R6 (R10 nepotrebujes, ma to sice lepsi vykon zato horsi spolehlivost).

Pocitam ze ty IO spicky budou primarne na zalohovani pripadne na nejaky nocni prepocty.

Tudiz bych rek ze v ty tvy konfiguraci bys moh usetrit za 2 disky. System jako takovej ti prakticky nic generovat nebude.

Co se tyce velikosti ... ta se ti nebude nasobit, podstatny je prirustek = kolik GB rocne. Typicky to bude vicemene konstatni.

Souvisi to s ramkou, pokud mas aktualne 40GB komplet, tak se ti to do ramky vejde cely, ale ten pomer je rekneme ... ne uplne blahy = mas malo indexu, mozna proto mas potize s vykonem. Ten pomer je samo zavislej na aplikaci, ale bezne byva 2:1 az 1:1. (data vs indexy).

Kazdopadne aktuelne tam budes mit v ty svy konfiguraci 128GB zbytecny ramky. Coz pri stavajicich cenach neni uplne malickost.

Doplnim, rocny prirastok DB mi vychadza 3GB, no mame tu elektronickych postarov, po novom, tak predpokladam, ze to zrychli, ak sa zacnu ukladat kompletne tlacove zostavy do DB (nie len XML).

Checem sa este spytat na CPU a teda na platformu a koncovu cenu. Dnes tam mam Xeon E3-1280v6 co je 4GHz 4c/8t 8M. Chcel som tam dat nieco s vyhladom na 8 rokov, a zacal som na tom najvykonnejsom 16jadre (koli licenciam)  AMD EPYC9175F. Ale po tejto debate to vyzera tak, ze je to nerozumne a postacovala by mozno aj ovela nizsia platforma, napriklad AMD EPYC 4244P alebo nieco podobne s vysokym taktom na jadro.

Z toho co som zatial pochopil, kludne by mi stacili aj 4 moduly RAM, co som tak trochu tusil, ale 6 modulov som tam chcel koli NUMA, kde je to asi prirodzenejsie pre ten 12 kanalovy radic. Mensie moduly ako 32GB tam nebudu.

Diskove pole teda urcite s HPE radicom a nie Graidom alebo MS Storage Spaces, zalohovany bateriou s 8M cache, kde DB+LOG+TEMP bude na samostatnom raid6, pripadne koli vykonu, raid10 a system na samostanom raid1.

Zostava uz len teda vybrat CPU a platformu, kedze ceny su dnes akosi vysoke.