Optimální hardware pro TrueNAS

Optimální hardware pro TrueNAS
« kdy: 02. 09. 2024, 16:56:11 »
Ahojte,

Umrel mi QNAP TS-431X a zostali mi po nom styri 6TB disky WD RED, ktore boli v konf. RAID5.
Idem do stavby vlastneho NAS serveru na platforme TrueNAS a chcem tam pouzit nasledovne komponenty:

1. MB GIGABYTE B550-I AORUS PRO AX
2. CPU AMD Ryzen 5 5600X
3. memory KINGSTON 32GB DDR4 3200MT/s ECC Unbuffered DIMM CL22 2RX8
4. zdroj SEASONIC FOCUS SGX-650
5. case Jonsbo N2 Mini-ITX
6. data storage (4x6TB HDD v RAID-Z1 pozostale z QNAP-u)
7. Intel Optane Memory 16GB do M.2 slotu (ako L2ARC cache)
8. WD Blue 250GB SSD 2.5" (bootovaci disk pre OS)
9. M2 to SATA Adapter 5-port do M.2 slotu (rozsirenie o dalsich 5x SATA6 portov)
10. sietovka Intel Server Adapter X520-1 (s 10 GbE SFP+ modulom) do PCI-e x16 slotu

Plan do buducna je upgrade data storage na 5x SATA SSD a 40 GbE sietovka.
Bude dany HW postacujuci pri saturacii 10 GbE resp. 40 GbE sietovky ?

Skusal som hladat, co je bottleneck, ale nikde ziadne relevantne info:
Nieco v zmysle 10G sietovka => min. CPU atd.

Dakujem vopred za radu.


CPU

  • *****
  • 870
    • Zobrazit profil
    • E-mail
Re:Aky optimalny HW pre TrueNAS?
« Odpověď #1 kdy: 02. 09. 2024, 17:01:32 »
Sprav ten QNAP, teď je drahá elektřina, sežere tě to.
Jinak u QNAPů/Synology obvykle chcípne jen zdroj, vyměníš zdroj a jedeš dál.
Pokud ne, bývá to kondík na vstupu, vyměníš a jedeš dál.

Co v se do pájky nedává olovo, tak desktopové desky dneska vydrží 2 roky nonstop provozu než začnou kravit.
Bohužel.

CPU

  • *****
  • 870
    • Zobrazit profil
    • E-mail
Re:Aky optimalny HW pre TrueNAS?
« Odpověď #2 kdy: 02. 09. 2024, 17:09:48 »
Pokud bys trval na samodomo buildu, třeba abys mohl virtualizovat, uvaž desku pro provoz 24/7:

https://www.smicro.cz/supermicro-x10sri-f-b-1
https://www.smicro.cz/supermicro-mbd-h11ssl-i-o


r223

Re:Aky optimalny HW pre TrueNAS?
« Odpověď #3 kdy: 02. 09. 2024, 17:31:57 »
A co HP microserver?
HW Je to skvely, umi BMC, a mechanicky je to na NAS idealni.

CPU

  • *****
  • 870
    • Zobrazit profil
    • E-mail
Re:Aky optimalny HW pre TrueNAS?
« Odpověď #4 kdy: 02. 09. 2024, 17:54:37 »
.

Jednu dobu ustoupili od pořádného hardware, zrusili remote management a celkově z toho udělali shito-laciné PCčko.
Jaký je stav teď ... kdo ví.


ja.

  • ****
  • 346
    • Zobrazit profil
    • E-mail
Re:Optimální hardware pro TrueNAS
« Odpověď #5 kdy: 02. 09. 2024, 18:39:10 »
Co sa tyka dosky, nerozmyslal si nad niecim serioznejsim, co ma aj IPMI, ako je Asrock Rack X470D4U?

Je to sice X470 a nie B550, ale ides z toho robit NAS, nie gaming stoj.

Re:Aky optimalny HW pre TrueNAS?
« Odpověď #6 kdy: 02. 09. 2024, 22:35:29 »
Sprav ten QNAP, teď je drahá elektřina, sežere tě to.
Jinak u QNAPů/Synology obvykle chcípne jen zdroj, vyměníš zdroj a jedeš dál.
Pokud ne, bývá to kondík na vstupu, vyměníš a jedeš dál.

Co v se do pájky nedává olovo, tak desktopové desky dneska vydrží 2 roky nonstop provozu než začnou kravit.
Bohužel.

...pokus o opravu bol: zdroj je OK, na vstupe bol prdly nejaky DC regulator, dali sme ho do "svietiveho chodu", ale cykloval ako keby bola vadna flesh-ka, na serial konzolovom intf. bolo ticho a uz som nemal na to nervy ist hlbsie, co vsetko odislo.

CPU

  • *****
  • 870
    • Zobrazit profil
    • E-mail
Re:Aky optimalny HW pre TrueNAS?
« Odpověď #7 kdy: 02. 09. 2024, 23:46:04 »

Tak to mě mrzí.
Zrovna teď se to nehodí, je drahá elektřina.

Tak tedy zpět k tématu:
Zdroj pro provoz 24/7 seženeš, bude dražší (2k), ale seženeš a protože bude Platinový, bude ti šetřit proud a vydělá na sebe.  Deska je prostě problém, ROHS snížila olovo v PC, ale životnost prostě utrpěla.

Procesoru to je fňuk, paměti můžeš dát ECC bez registru. Disky RED natočí 50-70 tisíc hodin, než žačnou odcházet. Ale board tě bude prudit pri provozu 24/7.

ASUS/Gigabyte/ASROCK vydrží při provozu 8-12 hodin denně 4 roky, klidně pět. Ale při provozu 24/7 se dostaneš na 2-3 roky a ty desky jsou docela drahé :-(

A bude to zrát, počítej 100-150w při té konfiguraci s hodně disky a SSD. A elektřina dnes stojí i 10kč za kW/h :-( Počítej 10-12-14 tisíc ročně za proud :-(
« Poslední změna: 02. 09. 2024, 23:49:19 od CPU »

Re:Optimální hardware pro TrueNAS
« Odpověď #8 kdy: 03. 09. 2024, 16:04:56 »
Ahojte,

asi sa budem opakovat, ale skusim spisat nejake svoje skusenosti.

1) TrueNAS Core konci, asi treba premyslat nad Scale (aj ked toto autor nespomina)
https://www.root.cz/clanky/truenas-konci-s-freebsd-svet-podle-vyvojaru-soustredi-pozornost-na-linux/

2) TrueNAS Core je citlivejsi na HW
napr. mam p420 v HBA v HP DL380e Gen8 ... nasiel som nejake warningy, realne som nemal problem, ale ...
https://www.truenas.com/community/threads/problems-with-p420-hba-mode.91902/

3) ako uviedlo viacero konzultantov, ta cena elektrickej energie je vyznamny parameter
vykuchal som spominany HP DL380 Gen8 (2xE5-2450L) (dal som prec jedno CPU s chladicom, jeden ventilator, jednu sietovku), zostalo 96GB RAM
iLo o spotrebe trosku zavadza, nezapocitava svoj odber co je cca 10W v pripade DL380e Gen8
podarilo sa mi to stlacit pri 4 SSD a dvoch platnovych diskoch na cca 70W (uvedene v iLo), predtym som mal okolo 150W ... isiel dole aj hluk (robil som aj jedno porovnanie este pri 2 CPU - windows stlacil otacky ventilatorov nizsie, TrueNAS Core to nedokazal, hlavne chipset vykazuje vysoku teplotu, co nuti tie ventilatory tocit rychlo) a ani pri tych 70W to nie je ticho

paralelne som sa hral s HP Microserver Gen8 E3-1220Lv2, 16GB RAM, ten stroj za dverami nepocujem, pri 3xSDD a 2xplatnovy disk - nedostal som spotrebu nad 44W (iba pri boote nejako podskocilo), pridal som dalsie dva platnove disky, idem bez krytu, su pripojene na LSI SAS2008, tichucke, usporne, vie saturovat 1Gbps bez sifrovania (napr. ftp, rsync)

dal som na ten HP DL380e Gen8 TrueNAS Scale, hlucnost a spotreba sa vyrazne oproti TrueNAS Core nezmenila

4) L2ARC cache som nikdy nevyuzil ... popripajal som SSD disky, ale ani wizard mi to neponukol, mozno ma vacsie vyuzitie pri vacsom pocte userov, to poradi niekto iny

Vo vseobecnosti sa mi ta zostava paci, ale chce to inicialny budget, zvazit hlucnost, zvazit budget na prevadzku. Ten Microserver Gen8 sa na bazos.sk pohybuje okolo 150euro, na ebay najdes tiez. To CPU robi dost, teda zvazit aj cenu toho, plus radica, ak chces viac diskov
https://n40l.fandom.com/wiki/Cpu_gen8

Sprav si nejake vahovanie jednotlivych kategorii (nakupna cena, hluk, energie, vykon) a podla toho si vyber. Videl som aj viacero realizacii, kde isiel admin do proxmoxu, diskovy radic posunul VM, kde si nainstaloval TrueNAS, ak by si chcel oddelit vykon/virtualizaciu od dat.

m

Re:Aky optimalny HW pre TrueNAS?
« Odpověď #9 kdy: 03. 09. 2024, 16:32:04 »
nejak se tady neresi ten bod, kde chce hw, co saturuje 10-40 Gbit
treba u Truenasu virtualizavaneho v Proxmox to je pro mne nedosaziterlne, bez ohledu na hw pod proxmoxem.

Pokud bys trval na samodomo buildu, třeba abys mohl virtualizovat, uvaž desku pro provoz 24/7:

https://www.smicro.cz/supermicro-x10sri-f-b-1
https://www.smicro.cz/supermicro-mbd-h11ssl-i-o

Re:Optimální hardware pro TrueNAS
« Odpověď #10 kdy: 03. 09. 2024, 17:05:45 »
my 2 cents:

- spotřeba nebude tak zlá. Můj 3x18GB (serverové Toshiby) + 2xSSD bere na UPS 25W. Možná něco naskočí z té síťovky (někdy tu byla diskuze, že lidi raději používají 5Gb, protože 10Gb daleko víc žerou/topí).
- když vlastní skříň, tak rozhodně nešetřit na chlazení. Stačí vzduchové, ale mám 4x120mm a běží to tak víc než 10 let (původně s 5x3GB)
- CPU je IMHO předimenzovaný (pokud se neplánuje třeba provoz nějakých virtuálnů apod.).
- a ještě k síťovce, nevím, jestli je reálné z tak malého počtu rotačních disků saturovat 10Gb (o 40 Gb ani nemluvě).

CPU

  • *****
  • 870
    • Zobrazit profil
    • E-mail
Re:Aky optimalny HW pre TrueNAS?
« Odpověď #11 kdy: 03. 09. 2024, 18:39:54 »
treba u Truenasu virtualizavaneho v Proxmox

Pokud bys trval na samodomo buildu, třeba abys mohl virtualizovat, uvaž desku pro provoz 24/7:

Myšleno jako že kdyby chtěl TrueNAS použít jako virtualizační platformu.
https://www.truenas.com/docs/core/coretutorials/jailspluginsvms/virtualmachines/

Byť teď koukám, že podporu zase nějak ořezávají či co...

krpet

Re:Optimální hardware pro TrueNAS
« Odpověď #12 kdy: 03. 09. 2024, 20:55:00 »
Vzdyt uz to tady bylo v diskuzich nekolikrat zmineno. TrueNAS Core postaveny na FreeBSD definitivne skoncil.
Pokracovatelem je TrueNAS SCALE, postaveny na linuxu.

CPU

  • *****
  • 870
    • Zobrazit profil
    • E-mail
Re:Optimální hardware pro TrueNAS
« Odpověď #13 kdy: 03. 09. 2024, 21:48:10 »
TrueNAS Core postaveny na FreeBSD definitivne skoncil.
Pokracovatelem je TrueNAS SCALE, postaveny na linuxu.

Nojo, ono se říka, ze BSD odumírá a je čím dál tím těžší to udržet, protože mladí makají na Linuxu. Měl jsem si to spojit. Je horko a nemám vodníka, přehřívàm se....
« Poslední změna: 03. 09. 2024, 21:53:05 od CPU »

alex6bbc

  • *****
  • 1 667
    • Zobrazit profil
    • E-mail
Re:Optimální hardware pro TrueNAS
« Odpověď #14 kdy: 03. 09. 2024, 22:36:18 »
TrueNAS Core postaveny na FreeBSD definitivne skoncil.
Pokracovatelem je TrueNAS SCALE, postaveny na linuxu.

Nojo, ono se říka, ze BSD odumírá a je čím dál tím těžší to udržet, protože mladí makají na Linuxu. Měl jsem si to spojit. Je horko a nemám vodníka, přehřívàm se....

my pivari jedeme na kapalinove chlazeni cely rok.