Výběr hardware pro domácí NAS s šesti disky

[waldauf]

Ahoj,

tak trochu jsem se popálil při výběru původního řešení (postaveného na Odroid H3+) a teď už jdu raději pro radu za zkušenějšíma.

Můj cíl: Domácí NAS, kde bych provozoval TrueNAS (SCALE nebo CORE, možná spíš to první). Serverřík bude dedikovaný jen pro NAS s 16 GB RAM. Mám na to nakoupené 6 disků Seagate IronWolf Pro, 3,5" - 4TB (ST4000NT001) v zapojení RAIDZ-2 (bez deduplikace).

Po delší rešerši jsem našel MB - Supermicro MBD-A2SDI-4C-HLN4F-O (URL). Už jsem si ověřil, že podporuje ECC paměti, které bych chtěl použít. Disky bych zapojil pomocí Mini-SAS to SATA kabelu a dvou SATA kabelů.

Mé dotazy:

• Je tato deska vhodná na můj záměr?
• Jě nějaký zásadní rozdíl u cen Mini-SAS to SATA kabelů v kvalitě? Potřebuji, aby kabely byly dlouhé alespoň 75 cm, lepší 90 cm.
• Zdroj mám  Eurocase TFX-200W. Zatím jsem nenašel, že by to neměl zvládat.
• V práci jsem už párkrát s BMC/IPMI pracoval, ale nic zásadního (pracuji od Linuxu výš). Je něco na co bych měl myslet u této desky?
• Je možné použít tyto paměti Synology RAM 4GB DDR4 ECC unbuffered SO-DIMM, které už mám koupené z předešlého pokusu? Je možné dokoupit ještě dalších 2x 4 GB RAM jiného výrobce (levnější než moje původní volba)?

Pokud jsem opomomněl něco, co bych měl mít na zřeteli, budu rád za napsání.

[Reklama]

[RDa]

• Je tato deska vhodná na můj záměr?
• Jě nějaký zásadní rozdíl u cen Mini-SAS to SATA kabelů v kvalitě? Potřebuji, aby kabely byly dlouhé alespoň 75 cm, lepší 90 cm.
• Zdroj mám  Eurocase TFX-200W. Zatím jsem nenašel, že by to neměl zvládat.
• V práci jsem už párkrát s BMC/IPMI pracoval, ale nic zásadního (pracuji od Linuxu výš). Je něco na co bych měl myslet u této desky?
• Je možné použít tyto paměti Synology RAM 4GB DDR4 ECC unbuffered SO-DIMM, které už mám koupené z předešlého pokusu? Je možné dokoupit ještě dalších 2x 4 GB RAM jiného výrobce (levnější než moje původní volba)?

1. teoreticky ano, operacni system das bud na M2 NVMe, ale nebude zalohovan, anebo pouzijes zbyvajici 2 sata porty pro mirror dvou ssd pro OS, prakticky me to prijde overkill - jako cenove, vuci dnes jiz pidi 4TB diskum

2. imho nepoznas rozdil, muzes vzit klidne z eBaye ten MiniSASHD to 4xSATA, pozor abys mel spravne vybranej host-device konec, protoze se dela i opacnej kabel, kterym pripojis 4 sata ze zakladovky na minisashd backplane

3. 200W je mozna OK, ale proc tenhle neznackovej.. Eurocase ve me nebudi duveru z historickych duvodu. Treba SM dela krasny ucinny zdroj pro 1U reseni (PWS-203-1H)

4. ipmi se hodi, pokud mas tu NAS nekde ve sklepe a jsi linej dojit k tomu serveru a pouzivat fyzicky monitor-klavesnici, resp. kdyz nedisponujes zobrazovadlem s VGA vstupem (bohuzel ani v 2023/24 se nezbavime te podelane VGA na BMC). Vetsinou lze nastavit IPMI pristup sdileny z LAN1 portu, takze nemusis pouzivat dva patch kabely abys pripojil tuhle desku do sve LAN. Taky se pres IPMI dost pohodlne updatuje Bios.

5. fakt nejde. To jsou SO-DIMM pameti ("notebookove"), takze je tam fyzicky ani nedas, leda pres redukci ale to je na tenhle projekt fakt bleh (mam takove redukce ale ECC jsem na nich nezkousel). Pro ZFS pak tech 2x4G bude nejspis malo? Nebo jich mas 4x4G? to bude porad dost s odrenyma usima. Pouzil bych bazarove REG ECC DIMM, 16 ci 32GB, klidne 2400 MT/s, pac deska, resp. procesor - vice nez 2133MT/s neda (osobne bych tam dal 2x32G rdimm, ale 2x/4x 16G sezenes za hubicku).

PS/1:
- pokud vyresis OS treba tim M2 (a budes to zalohovat treba na USB dongle, jelikoz tam je interni USB3 port), tak pri pouziti 4x SATA bys do MiniSAS-HD mohl pripojit i kabel ktery ma DELL a rozvadi jen dva porty. Je mozne ze ho sezenes levneji - viz pn T3F4V, 0T3F4V, nebo 018XYD.

PS/2:
- nezminujes co mas za case.. za sebe muzu doporucit Fractal Design Node 304 pro sest disku. Pro ty 4TB ti staci i starsi verze, pro He disky musis koukat po novejsi verzi ktera ma jinak vyresny uchyty disku (He disky nemaj prostredni sroubek), ale vyrobce je ochoten ty drzaky disku zaslat. Tenhle case mam a byl v nem 300 ci 350W zdroj, a ITX deska.. bud to prodam nebo postavim pres svatky prave neco podobneho jako ty - desky mam MBD-X10SDV-8C+-LN2F, se sesti SATA a NVMe pro OS.

[jjrsk]

Kombinace HW zda se mi byti ponekud podivnou ...

Jednak zdroj, tahle znacka je historicky povestna tim, ze to je nejlepsi zpusob jak odpalit celou sestavu.

Dalsi vec kterou bych videl s otaznikama je vykon CPU vuci zvolenemu FS a vyuziti.

Co se tyce kabelu 90cm je fakt hodne ...

Registrovany ECC se sezenou mnohem snaz a za mnohem lepsi cenu, protoze se do serverovyho HW davaj, narozdil od Ucek.

[waldauf]

Zpráva se mi celá smazala při kliknutí na tlačítko "odeslat", protože mě portal odhlásil. Což je pěkně stupidní, když si to neuloží zprávu. Tak znova a lépe.

[waldauf]

Je možné použít tyto paměti Synology RAM 4GB DDR4 ECC unbuffered SO-DIMM, které už mám koupené z předešlého pokusu? Je možné dokoupit ještě dalších 2x 4 GB RAM jiného výrobce (levnější než moje původní volba)?

5. fakt nejde. To jsou SO-DIMM pameti ("notebookove"), takze je tam fyzicky ani nedas, leda pres redukci ale to je na tenhle projekt fakt bleh (mam takove redukce ale ECC jsem na nich nezkousel). Pro ZFS pak tech 2x4G bude nejspis malo? Nebo jich mas 4x4G? to bude porad dost s odrenyma usima. Pouzil bych bazarove REG ECC DIMM, 16 ci 32GB, klidne 2400 MT/s, pac deska, resp. procesor - vice nez 2133MT/s neda (osobne bych tam dal 2x32G rdimm, ale 2x/4x 16G sezenes za hubicku).

TrueNAS píše jako minimum 8 GB, optimum 16 GB. Tady mě jen napadlo, zda by šlo využít to co už mám - což vidím, že nejde. Kouknu na cenu 16 GB vs 32 GB.
RAM je pro mě obecně velké téma, kde už se nechci znova spálit. Když to vyhledávám na portálu, tak píšou HP compatible, DELL compatible, ... Teď se snažím zjistit rozdíl mezi buffered/unbuffered.
U tý desky je specifikace:
Memory Capacity: Up to 256GB Registered ECC RDIMM and DDR4-2133MHz
Up to 64GB Unbuffered ECC/non-ECC UDIMM, DDR4-2133MHz, in 4 DIMM slots
Memory Type: 2400/2133/1866/1600MHz, (Operating speed up to 2133MHz)

Jaký bazar doporučuješ? "Páč deska" znamená, že má i chladič?

PS/1:
- pokud vyresis OS treba tim M2 (a budes to zalohovat treba na USB dongle, jelikoz tam je interni USB3 port), tak pri pouziti 4x SATA bys do MiniSAS-HD mohl pripojit i kabel ktery ma DELL a rozvadi jen dva porty. Je mozne ze ho sezenes levneji - viz pn T3F4V, 0T3F4V, nebo 018XYD.

Podívám se. Musím se v tom zorientovat.

PS/2:
- nezminujes co mas za case.. za sebe muzu doporucit Fractal Design Node 304 pro sest disku. Pro ty 4TB ti staci i starsi verze, pro He disky musis koukat po novejsi verzi ktera ma jinak vyresny uchyty disku (He disky nemaj prostredni sroubek), ale vyrobce je ochoten ty drzaky disku zaslat. Tenhle case mam a byl v nem 300 ci 350W zdroj, a ITX deska.. bud to prodam nebo postavim pres svatky prave neco podobneho jako ty - desky mam MBD-X10SDV-8C+-LN2F, se sesti SATA a NVMe pro OS.

Mám malý domací rack. Takže koupím case z Aliny jen pro tu desku. Pro disky jsem si vyrobil samonosnou konstrukci s větráčkem (defacto plasty z boku, ke kterým jsou přišroubený a ze zadu větrák).

[Reklama]

[waldauf]

• Je tato deska vhodná na můj záměr?
• Jě nějaký zásadní rozdíl u cen Mini-SAS to SATA kabelů v kvalitě? Potřebuji, aby kabely byly dlouhé alespoň 75 cm, lepší 90 cm.
• Zdroj mám  Eurocase TFX-200W. Zatím jsem nenašel, že by to neměl zvládat.
• V práci jsem už párkrát s BMC/IPMI pracoval, ale nic zásadního (pracuji od Linuxu výš). Je něco na co bych měl myslet u této desky?
• Je možné použít tyto paměti Synology RAM 4GB DDR4 ECC unbuffered SO-DIMM, které už mám koupené z předešlého pokusu? Je možné dokoupit ještě dalších 2x 4 GB RAM jiného výrobce (levnější než moje původní volba)?

1. teoreticky ano, operacni system das bud na M2 NVMe, ale nebude zalohovan, anebo pouzijes zbyvajici 2 sata porty pro mirror dvou ssd pro OS, prakticky me to prijde overkill - jako cenove, vuci dnes jiz pidi 4TB diskum

2. imho nepoznas rozdil, muzes vzit klidne z eBaye ten MiniSASHD to 4xSATA, pozor abys mel spravne vybranej host-device konec, protoze se dela i opacnej kabel, kterym pripojis 4 sata ze zakladovky na minisashd backplane

3. 200W je mozna OK, ale proc tenhle neznackovej.. Eurocase ve me nebudi duveru z historickych duvodu. Treba SM dela krasny ucinny zdroj pro 1U reseni (PWS-203-1H)

4. ipmi se hodi, pokud mas tu NAS nekde ve sklepe a jsi linej dojit k tomu serveru a pouzivat fyzicky monitor-klavesnici, resp. kdyz nedisponujes zobrazovadlem s VGA vstupem (bohuzel ani v 2023/24 se nezbavime te podelane VGA na BMC). Vetsinou lze nastavit IPMI pristup sdileny z LAN1 portu, takze nemusis pouzivat dva patch kabely abys pripojil tuhle desku do sve LAN. Taky se pres IPMI dost pohodlne updatuje Bios.

Ad 1.
A prakticky?

Ad 2.
Mám vybraný tento kabel.

Ad 3.
Njn, koupil jsem, co mi přišlo jako rozumná volba v ceně a výkonu. Kouknu na doporučený zdroj.

Ad 4.
Takto podáno vidím IPMI jako výhodu, protože VGA zobrazovadlo už nevlastním.

[waldauf]

Kombinace HW zda se mi byti ponekud podivnou ...

Můžeš to víc rozepsat? Takto nevím na co se zaměřit.

Jednak zdroj, tahle znacka je historicky povestna tim, ze to je nejlepsi zpusob jak odpalit celou sestavu.

Již zmínil RDa. Kouknu na jiný.

Dalsi vec kterou bych videl s otaznikama je vykon CPU vuci zvolenemu FS a vyuziti.

Zatím co jsem zjistil dle fóra TrueNAS je Intel Atom v poho. Zvolil jsem i 4 jádrový místo 2 jádrového. Pokud máš na mysli konkrétní, budu rád za napsání.

Co se tyce kabelu 90cm je fakt hodne ...

Můžuš napsat, co to ovlivňuje a jakou délku doporučuješ?

Registrovany ECC se sezenou mnohem snaz a za mnohem lepsi cenu, protoze se do serverovyho HW davaj, narozdil od Ucek.

Do RAM pronikám. Rozumím že Registred ECC jsou levnější a pro mé potřeby dostačující než Unbuffered?

[Karmelos]

proč nepoužiješ něco normálního, vyzkoušeného  - třeba nějaký jetý HP microserver - třeba https://pc.bazos.cz/inzerat/177533139/server-hpe-proliant-ml10-gen9.php Anebo nějaký jiný, prodává se toho tam mraky.... A máš hotový profesionální řešení...

[jjrsk]

...

Zeby treba proto, ze do toho 6 disku neda?

...

Jde o to, ze se snazis kombinovat takovy rekneme semipro reseni vs soho komponenty. Co se tyce CPU, tam jde o to, ze jednak zvoleny FS, pak predpokladam smb 2+ coz obnasi pripadne nejaky to sifrovani komunikace ... a i jen tyhle dva aspekty dokazou CPU dat slusne zabrat. Takze osobne bych volil bud spis desktopovy CPUcko na urovni i3+ nebo nejakou variantu lowpower xeona (pripadne tomu nejak odpovidajici AMDcko).

Co se tyce kabelu, tak pokud si pamatuju, tak se vrele doporucuje do 30cm. Mam tu zhruba 1/2m sas propojky a jsou "tlusty jak noha" (realne to bude vic nez 1cm v prumeru) a prakticky se to neda nijak zvlast ohnout. To neznamena ze ti delsi nebudou fungovat, jen jaksi si hrajes s ECC a pak tam das metrovej kabel ... (normalne se to dela tak, ze tam nemas zadnych 6 kabelu, ale mas tam 1x nebo 2x sas a backplane).

Co se tyce ramek, tak reg = ramka ma buffer, a CPU si nepovida primo s ramkama = neni tam elektricka zatez, a tudiz tam ty ramky muze byt vic (predevsim vic chipu). Na serverech se jiny ramky snad ani nepouzivaji, a proto jsou typicky levnejsi, protoze se vali proste vsude.

[waldauf]

Zeby treba proto, ze do toho 6 disku neda?

Disky mám vyřešené. Kvůli omezenému prostoru v malém racku co mám je musím mít bokem.

Jde o to, ze se snazis kombinovat takovy rekneme semipro reseni vs soho komponenty. Co se tyce CPU, tam jde o to, ze jednak zvoleny FS, pak predpokladam smb 2+ coz obnasi pripadne nejaky to sifrovani komunikace ... a i jen tyhle dva aspekty dokazou CPU dat slusne zabrat. Takze osobne bych volil bud spis desktopovy CPUcko na urovni i3+ nebo nejakou variantu lowpower xeona (pripadne tomu nejak odpovidajici AMDcko).

To mi dává smysl. Kouknu po něčem silnější. Nemám na to vyloženě žádný finanční limit, ale třeba ta deska, kterou zmínil RDa je už na mé potřeby hodně drahá.

Co se tyce kabelu, tak pokud si pamatuju, tak se vrele doporucuje do 30cm. Mam tu zhruba 1/2m sas propojky a jsou "tlusty jak noha" (realne to bude vic nez 1cm v prumeru) a prakticky se to neda nijak zvlast ohnout. To neznamena ze ti delsi nebudou fungovat, jen jaksi si hrajes s ECC a pak tam das metrovej kabel ... (normalne se to dela tak, ze tam nemas zadnych 6 kabelu, ale mas tam 1x nebo 2x sas a backplane).

Našel jsem si jak to vypadá. S tím backplanem už tečuju hodně profi řešení... aspoň mi to tak příjde. Ale dobré vědět, že delší kabel znamená silnější a horší manipulace.

Co se tyce ramek, tak reg = ramka ma buffer, a CPU si nepovida primo s ramkama = neni tam elektricka zatez, a tudiz tam ty ramky muze byt vic (predevsim vic chipu). Na serverech se jiny ramky snad ani nepouzivaji, a proto jsou typicky levnejsi, protoze se vali proste vsude.

Chápu, díky za ozřejmění.

[waldauf]

proč nepoužiješ něco normálního, vyzkoušeného  - třeba nějaký jetý HP microserver - třeba https://pc.bazos.cz/inzerat/177533139/server-hpe-proliant-ml10-gen9.php Anebo nějaký jiný, prodává se toho tam mraky.... A máš hotový profesionální řešení...

Do teď jsem se snažil jet ještě trochu na úsporu energie. Ale čím víc to řeším, tím víc mi přijde, že to není ta správná cesta. Jak ale vyfiltrovat sestavy, které podporují 6 SATA? Nebo kde?

[Karmelos]

Podíváš se co to je za typ a vygůglíš odkaz na stránkách výrobce.
Třeba ten konkrétní tady:
https://www.hpe.com/psnow/doc/c04922941.pdf?jumpid=in_lit-psnow-getpdf

[František Ryšánek]

...netuším, zda máte pro disky nějaký kastlík / enclosure / backplane. Stačí poměrně hloupý (jenom SATA + napájení) protože z holého motherboardu stejně nevytáhnete failure LEDky. Nějaké kastlíky pro 3-4 disky má Chieftec (na jejich webu hledejte v příslušenství, říkají tomu "backplane").

Co se týče motherboardu, trochu mě mate chabý popis SATA kanálů na produktovém webu. Možná by o tom bylo víc v návodu (jsem líný ho tahat a študovat). Pokud správně vidím, má to 4x diskrétní SATA, 1x x4 multilane (použitelný na SATA i PCI-e?) a ještě 2x M.2, přičemž na produktové stránce je poznámka, že si v konfiguraci (BIOS?) můžete vybrat, které kanály budou v režimu SATA a které PCI-e, a dohromady jich máte 8, na těch 10 fyzických portů... ? Škoda, že to není přehlednější.
Jinak SuperMicro má široký sortiment kabelového příslušenství, včetně multilane SATA/SAS kabelů. Určitě budou mít nějaký originál.

Bacha na to, že disky při roztáčení žerou asi třikrát tolik, co za normálního provozu. Konkrétně Ironwolf 4TB má v datasheetu 2A @ 12V. A protože v samohrajce nebudete mít staggered spin-up, vychází to na 6x 24 = 144W při startu jenom pro disky. Pár sekund, ale na prověření zdroje to stačí.

Registered paměti tradičně braly serverové procesory = plnotučný Xeon "pětkové" řady pro sestavy se dvěma a více paticemi. Unbuffered byly pro desktop, notebooky a embedded segment - plnotučné "Core i" a ATOM.

Paritní/ECC varianta modulů se vyskytuje jak v "registered" podobě pro echt servery, tak v "unbuffered" variantě většinou v "embedded" segmentu - zde je nejčastěji je k vidění v HW RAID řadičích a snad i v síťových prvcích (routery apod.) Některé x86 ATOMy a jiné procesory, marketingem určené pro "embedded" segment, umí ECC dle CPU datasheetu - pak je vždycky ještě otázka, zda ECC paměť přijme taky motherboard.
V případě toho postaršího exotického motherboardu, který jste si vybral, je kupodivu zmiňována kompatibilita jak s ECC REG, tak s ECC unbuffered (a taky non-ECC unbuf) - vzácná to kombinace.

Obecně nové "registered" paměti jsou dražší než "unbuffered" (stejné generace) - ale pokud srovnáváte funglové zastaralé DDR3 ECC unbuffered (vzácnost) s bazarovými serverovými ECC Registered (kterých teď bude všude plno, protože vyšly z módy) tak vycházejí paradoxně levněji ty serverové :-) Doporučuji před nasazením prohnat v těch RAMkách MEMTEST86+ , minimálně přes noc.

[RDa]

...netuším, zda máte pro disky nějaký kastlík / enclosure / backplane. Stačí poměrně hloupý (jenom SATA + napájení) protože z holého motherboardu stejně nevytáhnete failure LEDky. Nějaké kastlíky pro 3-4 disky má Chieftec (na jejich webu hledejte v příslušenství, říkají tomu "backplane").

Supermicro zakladni desky maji SGPIO header, coz je seriove rozhrani. Intel chipset tam posila disk activity, a skrze nejaky registr se daji nastavit pak i error ledky... ale aby to fungovalo jak by clovek ocekaval, no to by muselo existovat jednak nejake rozsireni do mdadm / zfs, aby dokazal oznacit disk za "attention required", a pak by taky muselo existovat nejake rozhrani/mechanismus v linuxu ktere dokaze provazat dany signal/bit ze SGPIO a konkretni disk - block device. (bohuzel v linuxu se disky objevuji tak nejak random - po pazdem bootu je mam jinak, a nejsem treba schopen z konzole zjistit ktery disk je na kterem portu sas expanderu).

Takze.. HW na to existuje, ale SW na to chybi. Funguje to vlastne jenom na HW radici, ktery ma ponekud lepsi prehled, ze ktery port a ktery led signal k sobe patri.

* krome SGPIO ktere je SPI-like, existuje alternativni I2C based protokol pro blikani ledkama a statusama. Vetsina backplanes podporuje oba vstupy, jen nekdy to vyzaduje spravne na-jumperovani.

[František Ryšánek]

Backplany SuperMicro TQ blahé paměti uměly tuším oboje: SGPIO (což je tuším SCSI standard) i Areca-compatible I2C.
Chieftec toto neumí - jenom tuším některé historické modely šuplíkových kastlíků měly diskrétní vstupy pro jednotlivé červené LEDky.

Ohledně kabelů SuperMicro: slibně vypadají objednací kódy CBL-SAST-0556, CBL-SAST-0616, CBL-SAST-0699. Levné to není a dokumentované taky moc ne, ale zdá se, že všechny jsou "MiniSAS HD" na 4x diskrétní SATA a snad jsou všechny přímé (nikoli křížené).