Optimální hardware pro TrueNAS

[Honza1324]

- CPU je IMHO předimenzovaný (pokud se neplánuje třeba provoz nějakých virtuálnů apod.).

Netvrdil bych že CPU je předimenzovaný. On Truenas umí CPU docela dost vytížit, jakmile začne číst a zapisovat více uživatelů najednou na 10+Gbps lince. (na 100Gbps lince vytíží klidně přes 75% 128jádrového epycu)

- a ještě k síťovce, nevím, jestli je reálné z tak malého počtu rotačních disků saturovat 10Gb (o 40 Gb ani nemluvě).

V příspěvku píše že plánuje HDD vyměnit časem za SSD. To by už mohlo dát víc i když pokud to stále bude SATA, tak asi bude potřeba ještě přidat i na počtu.

4) L2ARC cache som nikdy nevyuzil ... popripajal som SSD disky, ale ani wizard mi to neponukol, mozno ma vacsie vyuzitie pri vacsom pocte userov, to poradi niekto iny

Používám L2ARC na mém proxmox serveru. U často používaných dat dokáže hodně slušně zrychlit čtení (Mám 4x12TB HDD[2xVdev s 2x12TB disky], doplněno o 1TB L2ARC NVME, 2x1TB slog pro zápis) a u často čtených souborů to zrychlilo čtení o hodně. (cache pro čtení i zápis jsem dával kvůli DB co nad tím úložištěm taky funguje)

3. memory KINGSTON 32GB DDR4 3200MT/s ECC Unbuffered DIMM CL22 2RX8

Podle očekáváného vytížení bych zvažoval i více RAM kvůli ARC cache co ji hojně využívá. Aktuálně sám lituju že mám v serveru desku co umí jen 64GB a ne 128GB RAM. ARC cache je nejlepší ZFS cache co se týče výkonu pro často používaná data a čím více se toho do ní vejde tím lépe.

[Reklama]

[Zeggjk]

Zkusil bych ještě ten QNAP. Nám taky v práci odešli postupně během 2 měsíců 4 NASy a je to díky chybě procesoru u Celeronů, Atomů a Pentií z let 2013-2017.
Více článek na pctunningu https://pctuning.cz/article/nekolik-generaci-intel-atomu-predcasne-umira-ktere-a-proc
Oprava je jednoduchá, buď nová deska nebo:
1 kus rezistoru 100 ohm 0,6W á 8Kč
1 kus kabílku s konektory na PINy á 3Kč
Stahovací bužírka nebo elektropáska
Kabílek roztřihnout, připájet k rezistor na každou stranu kus kabílku s konektorem pro PIN a propojit PIN1 a PIN8 na základní desce QNAPu - jedná se o PINy, které jsou u slotů pro RAM, na opačné straně desky jsou PINy také.

Všechny 4 QNAPy se nám takto podařilo opět rozběhnout.

[Zeggjk]

A pokud se to s tím rezistorem nepovede, tak bych doporučoval tento kus HW

https://www.hardkernel.com/shop/odroid-h4-plus/

Sám mám Odroid-H2 kde je podpora jen 2 SATA disků (mám 2x6TB v RAID1) a výhoda je i v tom, že jsem tuto desku zabudoval do velmi starého NASU od Asusu, který snad uměl jen SBM ver.1. Takže Asus deska ven - Odroid  dovnitř.

[CPU]

Odroid-H2 kde je podpora jen 2 SATA disků

Bacha, občas se objevují "vylepšení" ve smyslu, že se disky připojí přes USB - SATA převodníky.
Tj. na desce jsou sice SATA, ale ty jsou interně přes USB... :-(
Fuj...

[Zeggjk]

Tak toto snad u Odroidu není:

jirka@JK-ODROID-H2:~$ lspci
00:00.0 Host bridge: Intel Corporation Gemini Lake Host Bridge (rev 03)
00:02.0 VGA compatible controller: Intel Corporation UHD Graphics 605 (rev 03)
00:0e.0 Audio device: Intel Corporation Device 3198 (rev 03)
00:0f.0 Communication controller: Intel Corporation Celeron/Pentium Silver Processor Trusted Execution Engine Interface (rev 03)
00:12.0 SATA controller: Intel Corporation Device 31e3 (rev 03)
00:13.0 PCI bridge: Intel Corporation Gemini Lake PCI Express Root Port (rev f3)
00:14.0 PCI bridge: Intel Corporation Gemini Lake PCI Express Root Port (rev f3)
00:14.1 PCI bridge: Intel Corporation Gemini Lake PCI Express Root Port (rev f3)
00:15.0 USB controller: Intel Corporation Device 31a8 (rev 03)
00:17.0 Signal processing controller: Intel Corporation Device 31b4 (rev 03)
00:17.1 Signal processing controller: Intel Corporation Device 31b6 (rev 03)
00:17.2 Signal processing controller: Intel Corporation Device 31b8 (rev 03)
00:17.3 Signal processing controller: Intel Corporation Device 31ba (rev 03)
00:1c.0 SD Host controller: Intel Corporation Celeron/Pentium Silver Processor SDA Standard Compliant SD Host Controller (rev 03)
00:1f.0 ISA bridge: Intel Corporation Device 31e8 (rev 03)
00:1f.1 SMBus: Intel Corporation Celeron/Pentium Silver Processor Gaussian Mixture Model (rev 03)
01:00.0 Non-Volatile memory controller: Phison Electronics Corporation Device 5013 (rev 01)
02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 0c)
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 0c)
jirka@JK-ODROID-H2:~$ lsusb
Bus 002 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
jirka@JK-ODROID-H2:~$

[Reklama]

[CPU]

Tak toto snad u Odroidu není:

No já právě nevím, ale dohledal jsem to:

Ještě na jednu věc pozor, Odroid HC2 má JMicron JMS578 USB 3.0 to SATA Bridge, a model Odroid HC4 má ASM 1061 PCIE to SATA. Dnes bych osobně raději si koupil HC4.

A něco podobného jsem viděl už vícekrát a asi i pro jiné boardy než jen Odroid 
Můžeš zkusit hledat lepší zdroje, já ty Odroidy moc nejedu, takže jsem jen zvedl obočí a dál to přešel.
Takže jako bych nic neřekl, ale člověk se asi musí pro jistotu ujistit, jak to tam mají lulani fyzicky zadrátované. 
Myslet ≠ vědět ...

FYI: A je z toho vylepČení...
https://rpishop.cz/odroid-hc4/3535-odroid-hc4-bez-displeje.html

U Odroidu-HC4 jsme se rozhodli upustit od použití rozhraní USB3.0 na SATA bridge (další IO vrstva atd.). Proto používáme nativnější a spolehlivější řešení přímého přemostění (direct bridge solutions) PCIe na SATA. I přitom deska HC4 poskytuje dva úložné SATA doky.

[Zeggjk]

Tak já to takto nedokážu identifikovat. Každopádně  k tomu Odroidu-H2 mám přes SATA zapojeny klasické 6TB disky 5400RPM, takže asi nejsem limitován rychlostí rozhraní ( SATA přes USB3) ale spíše rychlostí točivého disku.

Toto mi vrátí Odroid-H2:

jirka@JK-ODROID-H2:~$ sync; dd if=/dev/zero of=tempfile bs=1M count=4096; sync
4096+0 záznamů přečteno
4096+0 záznamů zapsáno
4294967296 bajtů (4,3 GB, 4,0 GiB) zkopírováno, 26,005 s, 165 MB/s


...a toto Raspberry4, kde mám SATA SSD připojeno do USB3 portu:

jirka@HifiAmp2:~ $ sync; dd if=/dev/zero of=tempfile bs=1M count=4096; sync
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 15.564 s, 276 MB/s


Myslím, že rychlost 165MB/s je normální rychlost u těchto pomaluotáčkových disků :-)
Tak jasně, dnes bych šel do modelu H4, tenkrát byl Odroid-H2 novinka .... zatím server s přehledem vše stíhá, snad jen kdyby koukali 2 lidé na film z Plex serveru a chtěli by to oba přepočítat ze 4K  na rozlišení, které proleze přes pomalejší internet, tak to by asi nedal (1 uživatel s přepočtem ze 4K na 720p to vytíží na 99%). Ale kouká vždy max 1 a na rychlím internetu tak přepočet není nutný

[Zeggjk]

No já právě nevím, ale dohledal jsem to:

Ještě na jednu věc pozor, Odroid HC2 má JMicron JMS578 USB 3.0 to SATA Bridge, a model Odroid HC4 má ASM 1061 PCIE to SATA. Dnes bych osobně raději si koupil HC4.

A něco podobného jsem viděl už vícekrát a asi i pro jiné boardy než jen Odroid 
Můžeš zkusit hledat lepší zdroje, já ty Odroidy moc nejedu, takže jsem jen zvedl obočí a dál to přešel.
Takže jako bych nic neřekl, ale člověk se asi musí pro jistotu ujistit, jak to tam mají lulani fyzicky zadrátované. 
Myslet ≠ vědět ...

FYI: A je z toho vylepČení...
https://rpishop.cz/odroid-hc4/3535-odroid-hc4-bez-displeje.html

U Odroidu-HC4 jsme se rozhodli upustit od použití rozhraní USB3.0 na SATA bridge (další IO vrstva atd.). Proto používáme nativnější a spolehlivější řešení přímého přemostění (direct bridge solutions) PCIe na SATA. I přitom deska HC4 poskytuje dva úložné SATA doky.

Teď jsem si všimnul, že píšete o HC2 a HC4.
Pozor Odroid-HC2 a HC4 je úplně něco jiného než Odroid-H2 a H4 ..... HC jsou s ARM procesorem Cortex-A55 a H2 až H4 jsou desky s Intelem .... https://rpishop.cz/516778/odroid-h4-ultra/

Koukal jsem na block diagram Odroidu-H2 (Intel procesor J4015) a rozhodně nemá SATA přes USB

[CPU]

Já jen říkal, že i u Odroidu musí člověk dávat pozor, což obecně platí pro všechny.
Na redukcích USB->SATA prostě občas straší.
Někdo říkal, že se dají oflashovat a když se tam vychytá firmware, že to je ok.
Ale pořád nativní SATA je nativní SATA.

[jjrsk]

.

Jednu dobu ustoupili od pořádného hardware, zrusili remote management a celkově z toho udělali shito-laciné PCčko.
Jaký je stav teď ... kdo ví.

Spis je z toho shito-predrazene PC. Plati od Gen10. Gen8 byly jeste OK. (zasadni rozdill je nejen chybejici ilo, ale taky nevymenitelny CPU). A Zacli to taky nabizet za ceny za ktery si obdobny stroje postavis dva (G7/8 se bezne oficielne prodavaly za 150Ecek). Jedina zbyla vyhoda je uhledny baleni.

Jinak se tu opet resi naprosty nesmysl(spotreba) kdyz tazatel chce 40Gbit. S cimz lze na podobny microservery zcela zapomenout, protoze na nich ani ve snu ne.

Plan do buducna je upgrade data storage na 5x SATA SSD a 40 GbE sietovka.

Nj, nasobeni, to je veda ze? Sata III == MAX 6Gbit 5x6 je kolik? A i to je bohapusta teorie. Jednak na bezny desce nemas Nkrat 6Gbit, protoze se to sdili, pak je to taky typicky pichnuty na jednu nekdy dve pcie linky (tohle se typicky v beznych manualech vubec nedovis). Dalsi vec je rezie FS, rezie nejakyho sitovani ... mozna  se ti povede saturovat 10Gbit. Ale o moc vic urcite ne. Na to si priprav sumicku o sesti nulach.

[CPU]

Spis je z toho shito-predrazene PC.

Tak jsem to myslel ehm ;-)

mozna  se ti povede saturovat 10Gbit. Ale o moc vic urcite ne. Na to si priprav sumicku o sesti nulach.

Chtel tam nejake SSD, moc jsem to neresil, ale na NVMe těch 40Gbps s PCkem dostane. Ale nedava to moc smysl.

[jjrsk]

Chtel tam nejake SSD, moc jsem to neresil, ale na NVMe těch 40Gbps s PCkem dostane. Ale nedava to moc smysl.

Jenze i na to budes potrebovat ne jen tak ledajakou bizuterii kolem. Protoze i kdyz budes mit 4kovy nvme, tak to jeste neznamena, ze ty linky nebudou sdileny s necim dalsim. A pokud zacnes badat a zkoumat, tak u bezne dostupnyho hw pro koncaky soudruzi ty linky toho M.2 klidne sdileji s tim jednim 16tkovym pcie do kteryho si das grafarnu. Pokud mas kliku, je to sdileny s nekterym z dalsich slotu. Velmi casto se pak o stejny linky deli M.2 a sata.

Dokud to pouzivas v BFU rezimu = mas v tom prave jeden disk, neni to nijak zasadni, ale jakmile tam tech disku budes mit vic ...

[CPU]

linky nebudou sdileny s necim dalsim

Na Intelu máš pravdu, ale oni jsou ve stavu těžké nemoci, tak Intel nemá smysl řešit.

Tazatel to chtěl stavět na AMD a na AMD je situace diametrálně odlišná:


Jak vidíš, do NVMe slotu by měly lézt 4xPCIe 3.0 nebo 4.0, pokud bude smůla, tak to bude jen 2xPCIe 3.0 nebo 4.0
SSD připojené přes 2 linky PCIe 4.0 ti nabízí a 3.9 GB/s, což není plných 40 Gbps, ale pořád to je slušné.
Pokud budeš mít štěstí, bude NVMe disk připojený fakt přes 4 linky PCIe 4.0.
Ale možná je lepší mít 2 sloty pro NVMe a každý s 2 linkama PCIe 4.0 nebo i 5.0

Vývody jsou přímo z procesoru a kvůli vzájemné kompatibilitě to je stejné pro všechny procesory.
Deska do toho nemá zrovna možnost kecat, z procesoru vedou fousy přímo k NVMe slotu u PCIe slotu.
Byť druhé M.2 SSD bývá připojené přes chipset a tam už by to mohlo kuckat.
(Byť tedy laciné procíky vyvedou do Grafiky jen PCIe 8x.)

Takže jak vidíš, u AMD i počítač pro koncáka má dedikované PCIe pro SSD a dedikované PCIe pro GPU.
Takže když do slotu pro GPU dáš 40 Gbit síťovou kartu (třeba Mellanox ConnnectX 3/ConnectX-4), tak to dáš, což mám i ozkoušené na Ryzenech.

Ohledně bižuterie, dokud to máš pro přímé propojení, i 40Gbps vyřeší jeden DAC kabel za 5kil .
Samozřejmě rozvádět cokoliv přes 10 Gbit stojí majlant.
Ale 10 Gbit je v pohodě.