Hardware pro MinIO cluster s osmi NVMe disky

[pakozdy]

zdravim

nema niekto tip na overeny HW pre 3-4 uzlovy storage cluster - S3 minio ? pojde o cca 15TB dat, pozadovany vykon nie je definovany, takze co to da a pre istotu co najviac.
ide o prostredie pre vyvojarov bez nejake velkej poziadavky na dostupnost, ale prevadzka bude 24x7. predpokladame odolnost na urovni clustrovania.

Doraz sa kladie na cenu, ale zase by to malo mat nejaku vykon a stabilitu, nebranim sa beznym komponentam. predbezne Hw poziadavky na uzol su:
CPU: 1socket
disky:  OS: min. 1SATA   , Data - 4ks 4x nvme 4TB , rozsiritelne o dalsie 2 ks 4x nvme 4TB , diskovy system nemusi byt hotplug.
RAM:  32GB RAM , rozsiritelne na 64, nemusi by DDR5
Net - min. 10/25gb SFP 2porty 
skrina - najlepsie rack 1U ale kompaktnejsi desktop zvladnem tiez, dual zdroj je plus , ale netrvam na nom.

cenu za znackovy DELL server uz mam, preto hladam nieco priechodnejsie.
existuje nejaka cenovo rozumna alternativa k znackovym serverom - napr. nejaky ASUS, gigabyte, smicro ?

ak mate pripadne skusenosti z prevadzky minio clutstra, ktore by mi pomohli s rozhodnutim ci uvazovat o beznom desktop HW rad si ich precitam.

vdaka

[Reklama]

[RDa]

Do bezneho desktopu tuhle konfiguraci sitovek a poctu nvme nedas bez toho, aniz bys tam nemel uzky krk (tj. disky budou sdilet uzsi pripojeni, ale vadit to uplne nemusi - jen to bude vice zrat kvul extra hw radici nebo rozbocovaci). Ale jelikoz ta kapacita je jaka je, tak ty naroky muzes zredukovat na 2+1 8TB disku, a to uz je celkem pruchozi v desktop hw.

K profi reseni - nejblize mi prijde NVMe varianta CL3100 Gen10 serveru od HPE (vejde se tam tedy 20 NVMe disku.. coz je ponekud overkill - a taky to huci jako raketa, protoze 1U ... mam SATA verzi na 12 disku). Da se to sehnat ve vyprodeji a nenarocne cpu/ram a sitovku si tam das treba svoje (tj. sel bych cestou "srot" hw, kdyz smyslem clusteru ma byt prave HA/zastupitelnost).

Co nad tim budes mit postaveno?

[alex6bbc]

15 tb to ma dneska kazdy ferda :-)

vsadim se, ze na tohle staci jakykoliv bezny hw.
co jsem cetl i openstack umoznuje s3 api.

[czechsys]

U supermicra by to splnovalo treba https://smicro.cz/supermicro-as-1114s-wn10rt - 10x NVMe. Pokud novy, lepsi si nechat udelat nabidku, ale rozhodne to bude pod cenou Dellu a HP.

[pakozdy]

15 tb to ma dneska kazdy ferda :-)
vsadim se, ze na tohle staci jakykoliv bezny hw.
co jsem cetl i openstack umoznuje s3 api.

pokial by som mal najskor postavit openstack aby som mohol ziskat S3, tak sa obavam ze uz bezny hw  bude trocha mimo :-)

[Reklama]

[pakozdy]

nakopli ste ma smerom na pouzity server HW.
na www.czech-server.cz je celkom zaujimava ponuka HW - funkcne aj cenovo .

mate niekto skusonosti s kvalitou HW od tohto predajcu ?
da sa ratat s tym, ze to podobne drziaky ako bezne zakupene servre (hlavne komponenty) ? disky neriesim.

[czechsys]

nakopli ste ma smerom na pouzity server HW.
na www.czech-server.cz je celkom zaujimava ponuka HW - funkcne aj cenovo .

mate niekto skusonosti s kvalitou HW od tohto predajcu ?
da sa ratat s tym, ze to podobne drziaky ako bezne zakupene servre (hlavne komponenty) ? disky neriesim.

Nejake soucastky, asi i 1 server jsme od nich brali. Normalni preprodejce pouziteho HW, jako v zahranici. Jinak vetsinou kupujeme v zahranici, zatim jsme to tam sehnali levneji.

[pakozdy]

nakopli ste ma smerom na pouzity server HW.
na www.czech-server.cz je celkom zaujimava ponuka HW - funkcne aj cenovo .

mate niekto skusonosti s kvalitou HW od tohto predajcu ?
da sa ratat s tym, ze to podobne drziaky ako bezne zakupene servre (hlavne komponenty) ? disky neriesim.

Nejake soucastky, asi i 1 server jsme od nich brali. Normalni preprodejce pouziteho HW, jako v zahranici. Jinak vetsinou kupujeme v zahranici, zatim jsme to tam sehnali levneji.

a odkial ste brali HW - ak mozes prezradit ?

[redustin]

Už jsem to tu psal vícekrát, tak snad nebude vadit - mám dobré zkušenosti s workstation FS Celsius M740, 7 PCIe slotů, Xeon, velice pěkně uvnitř udělané, postavené na provoz 24/7. 8 slotů DDR4 ECC umožňuje spoustu paměti. Z ebaye za pár tisíc. Provoz zcela tichý, v kanceláři pod stolem. Spotřeba kolem 60W v běžném provozu (Xeon E5-1650 v4 @ 3.60GHz, 96GB DDR4 ECC, 2 x 3.5" SATA, 2x NVMe, obojí ZFS mirror).

Sloty:
1 x PCI-Express 3.0 x4 (mech. x16)
1 x PCI-Express 3.0 x4 (mech. x8)
2 x PCI-Express 3.0 x16
1 x PCI-Express 2.0 x4 (mech. x16)

což vychází 1 GPU + 5 NVMe + 1 dual SFP sitovka. Bohužel to není na 6 NVMe.

[RDa]

Už jsem to tu psal vícekrát, tak snad nebude vadit - mám dobré zkušenosti s workstation FS Celsius M740, 7 PCIe slotů, Xeon, velice pěkně uvnitř udělané, postavené na provoz 24/7. 8 slotů DDR4 ECC umožňuje spoustu paměti. Z ebaye za pár tisíc. Provoz zcela tichý, v kanceláři pod stolem. Spotřeba kolem 60W v běžném provozu (Xeon E5-1650 v4 @ 3.60GHz, 96GB DDR4 ECC, 2 x 3.5" SATA, 2x NVMe, obojí ZFS mirror).

Sloty:
1 x PCI-Express 3.0 x4 (mech. x16)
1 x PCI-Express 3.0 x4 (mech. x8)
2 x PCI-Express 3.0 x16
1 x PCI-Express 2.0 x4 (mech. x16)

což vychází 1 GPU + 5 NVMe + 1 dual SFP sitovka. Bohužel to není na 6 NVMe.

Ty sloty jsou neskutecne orezane na to ze je to LGA-2011-3 ... to radeji vzit nejakou Supermicro X10 desku, kde to nesidi na PCIe a je k dispozici vsech 40 pcie linek.

EDIT: vzdyt tam 40 linek mas ( 16+16+4+4 ), tak by stacilo zapnout PCIe bifurcation na 4x4 v nekterem slotu, na 4 NVME, dve dalsi NVME v x4 slotech a zustava x16 pro sitovku.

[redustin]

2x x16 + 2x x4 mi vychází taky 40 linek :-) Samozřejmě je to dělané na 2 GPU. Kde konkrétně je to ořezané?

Edit po editu :-)

[redustin]

BIOS bifurcation umí http://www.sp-it.net/index.php?option=com_content&view=article&id=1513&Itemid=140&jsmallfib=1&dir=JSROOT/drivers/fujitsu/Products/Mainboards/Industrial-und-ExtendedLifetime/D3348-B/BIOS_D3348-B/BIOS_D3348-B2/Previous_Released_Versions&download_file=JSROOT/drivers/fujitsu/Products/Mainboards/Industrial-und-ExtendedLifetime/D3348-B/BIOS_D3348-B/BIOS_D3348-B2/Previous_Released_Versions/BIOS-Info_D3348-B2_R1.14.0.pdf

Feature: PCIe Slot 3 Slot Mode (Bifurcation) can be activated (for usage of PCIe riser cards) in BIOS setup [Advanced > PCI Subsystem Settings]

Takže s něčím jako https://allegro.cz/nabidka/adapter-m-2-nvme-ssd-do-pcie-x16-4x32gbps-13463408854 by to mělo chodit OK.