Datové disky pro malý server

Datové disky pro malý server
« kdy: 03. 12. 2020, 20:39:05 »
Mam maly serverik, ktory ma len 2 sata porty. Je tam nainstalovany proxmox na  RAID 1 ZFS (takze obidva porty su zabrate). Okrem ineho tam chcem do VM/LXC nainstalovat nejaky nextcloud, prip. nejaky freenas na zdielanie dat v domacej LAN (neviem vsak ci je dobre riesenie postavit freenas nad KVM) atd ...

Na doske su este 2x USB 3.0 porty. Takze na data mozem vyuzit bohuzial len USB 3.0 porty.
Nemam nejake specialne data a ani nemam vela dat (za tych 20 rokov od kedy som si kupil  prvy pc, tak mam snad 100 max 200 GB dat (z toho su polovica zastarale veci este z cias ked som pouzival MS win (cize snad 10-15 rokov stare))). Ked tie stare veci vymazem, tak budem mat max do 100GB dat.

Uvazoval som 2x 2.5" HDD 2TB nad RAID1, ale neviem ci sa mi oplati RAID1 davat.
Teraz ma nutka na 1x 1TB SSD pripominam ze port je USB (takze z toho vytazim max rychlost USB 3.0).

Tento disk chcem potom prerozdelovat jednotlivym VM a LXC (napr. nextclou 200 GB ... ak bude aj freenas, tak tam 500GB a pod ...). Zatial nemam prestudovane ako, ale asi budem musiet hladat info o LVM.

Do ktoreho riesenia by som mal skor ist. Dat to na RAID1, bez ohladu na typ disku, alebo bude stacit len jeden SSD ?
Do teraz som mal 3TB 3.5 HDD (ale mal som inu MB, bolo tam viac sata portov.
« Poslední změna: 03. 12. 2020, 20:45:33 od Petr Krčmář »


Re:Datové disky pro malý server
« Odpověď #1 kdy: 03. 12. 2020, 21:02:30 »
Myslím si že SATA je vždy SATA, USB3 je fajn ale nič trvalého by som na tom nestaval. Zobral by som  2 poriadne disky (3-8TB každý podľa potreby, samozrejme s rovnakou kapacitou a určite nie SMR) a dal ich do RAID1, do USB3 nejaké SSD ako L2arc, prípadne aj Zil a nainštaloval Proxmox znova.
Dáta a systém môžu byť v pohode na jednom poole, virtuálne parície všetko riešia veľmi dobre.

AM

Re:Datové disky pro malý server
« Odpověď #2 kdy: 03. 12. 2020, 21:42:46 »
Disky připojené přes USB se do serveru nehodí. Já bych spíš koupil PCI kartu se SATA porty. Ceny jsou od několika stovek za pár portů do mnoha tisíc za HW RAID.

Re:Datové disky pro malý server
« Odpověď #3 kdy: 03. 12. 2020, 23:18:19 »
Před půl rokem jsem kupoval do serveru tuhle kartu a nemůžu si stěžovat:
https://www.amazon.com/gp/product/B082D6XSZN

6x2TB, proxmox, ZFS RAIDZ2

Na kartě jsou diody, které ukazují aktivní disky.
Pokud je v serveru volný pcie slot, tak bych to doporučil.

Bez té karty jsem musel mít systémový ssd disk přes USB redukci, což je taková nouzovka, ale rok to fungovalo v pohodě i s čínským noname ssd (než se na měsíc server vypl a ssd zapomnělo data).
https://www.alza.cz/axagon-adsa-fp2-fastport2-d4256878.htm

Zkoušel jsem dávat OS i na flashky, ale to není spolehlivé.

RDa

  • *****
  • 1 252
    • Zobrazit profil
    • E-mail
Re:Datové disky pro malý server
« Odpověď #4 kdy: 04. 12. 2020, 01:11:24 »
Pokud ti to finance dovoli, tak upgraduj ty dva interni disky na vetsi kapacitu.

A pak jestli mas slot tak kartu - do PCIe strcis klasicky radic, a v pripade ze mas miniPCIe pro wifi, muzes tam dat alespon malicky radic s 2 sata portama.

Kdyz nemas sloty, tak muzes uvazovat o SATA PORT EXPANDER-u, ktery ti udela z 1 portu 2 (sata3) nebo 1->5 (sata2), ale vykonnostne vice nez 3 disky tam nema smysl davat, pak uz je prepinaci rezie znat na propadu rychlosti.

Bohuzel jsem po USB3 musel nedavno sahnout z nedostatku portu (mam zabrano vsech 6+24), ale neni to ono - ty redukce delaj vecnou potiz a nevidim ani SMART ani teploty za tim USB prevodnikem. Takze na staly provoz to fakt neni.. pro obcasne pripojeni, nebo migraci dat jakz takz.


Jose D

  • *****
  • 640
    • Zobrazit profil
Re:Datové disky pro malý server
« Odpověď #5 kdy: 04. 12. 2020, 13:01:54 »
..a nevidim ani SMART ani teploty za tim USB prevodnikem..

..
Kód: [Vybrat]
smartctl -d sat -x /dev/sdX device type sat aka SCSI to ATA Translation ti to nezobrazi?

RDa

  • *****
  • 1 252
    • Zobrazit profil
    • E-mail
Re:Datové disky pro malý server
« Odpověď #6 kdy: 04. 12. 2020, 13:41:27 »
..a nevidim ani SMART ani teploty za tim USB prevodnikem..

..
Kód: [Vybrat]
smartctl -d sat -x /dev/sdX device type sat aka SCSI to ATA Translation ti to nezobrazi?

Nejede cece, o -d sat jsem vedel:
Kód: [Vybrat]
# smartctl -d sat -A /dev/sdz
smartctl 7.1 2019-12-30 r5022 [x86_64-linux-5.9.0-gentoo-x86_64] (local build)
Copyright (C) 2002-19, Bruce Allen, Christian Franke, www.smartmontools.org

Read Device Identity failed: scsi error unsupported field in scsi command

A mandatory SMART command failed: exiting. To continue, add one or more '-T permissive' options.

Kód: [Vybrat]
# smartctl -d test /dev/sdz
smartctl 7.1 2019-12-30 r5022 [x86_64-linux-5.9.0-gentoo-x86_64] (local build)
Copyright (C) 2002-19, Bruce Allen, Christian Franke, www.smartmontools.org

/dev/sdz [SAT]: Device of type 'sat' [ATA] detected
/dev/sdz [SAT]: Device of type 'sat' [ATA] opened

Premyslim zda na to ma vliv mass-storage vs UASP pripojeni:

Kód: [Vybrat]
# lsusb -t
/:  Bus 02.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/6p, 5000M
    |__ Port 1: Dev 2, If 0, Class=Mass Storage, Driver=uas, 5000M
/:  Bus 01.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/12p, 480M

# lsusb
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 002 Device 002: ID 0bc2:ab28 Seagate RSS LLC BACKUP+
Bus 002 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub

Jose D

  • *****
  • 640
    • Zobrazit profil
Re:Datové disky pro malý server
« Odpověď #7 kdy: 04. 12. 2020, 14:44:34 »
Premyslim zda na to ma vliv mass-storage vs UASP pripojeni:

muze byt. Hodil jsem USB/sata adapter (o kterem vím, ze hodnoty smart dava) do ntb a vidim to jako

Kód: [Vybrat]
/:  Bus 03.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/4p, 10000M
    |__ Port 3: Dev 3, If 0, Class=Mass Storage, Driver=usb-storage, 5000M

soucasne jsem si hodil do google klicova slova a zda se, ze to je existujici problem:

https://www.smartmontools.org/wiki/SAT-with-UAS-Linux :

Citace
The problem is that certain USB-SATA-bridge chipsets do not properly pass SAT commands on to the SATA device when running in UAS mode, and to work around this problem Linux automatically enables the NO_ATA_1X flag for those chipsets. This turns off SAT passthrough... which in turn means that smartmontools is prevented from communicating with the device.

Re:Datové disky pro malý server
« Odpověď #8 kdy: 04. 12. 2020, 15:23:12 »
Tie 2 spominane SSD co mam v internych SATA portoch RAID1 a bezi tam proxmox, tak su 250 GB. Ako som uz napisal, mam k dispozicii dalsie 2x USB 3.0 a este je tam 1x M.2 NVMe slot (PCIe 2.0 x 4, supports NGFF-2280 cards). Ten ale nemam vyuzity vobec, ale pri tom porte je uvedene M.2 SATA SSD is not supported. Takze do uvahy pripadaju len 2x USB 3.0.
eMMC ani nespominam, lebo to asi nevyuzijem

RDa

  • *****
  • 1 252
    • Zobrazit profil
    • E-mail
Re:Datové disky pro malý server
« Odpověď #9 kdy: 04. 12. 2020, 17:10:10 »
Tie 2 spominane SSD co mam v internych SATA portoch RAID1 a bezi tam proxmox, tak su 250 GB. Ako som uz napisal, mam k dispozicii dalsie 2x USB 3.0 a este je tam 1x M.2 NVMe slot (PCIe 2.0 x 4, supports NGFF-2280 cards). Ten ale nemam vyuzity vobec, ale pri tom porte je uvedene M.2 SATA SSD is not supported. Takze do uvahy pripadaju len 2x USB 3.0.
eMMC ani nespominam, lebo to asi nevyuzijem

Pak existuje jeste kompromis - pouzit 1 SATA + 1 USB pro kazdy RAID-1, a to tak, ze na externi USB nastavite write-mostly, viz https://raid.wiki.kernel.org/index.php/Write-mostly

Zapisy tedy pojedou na oba, a pro cteni bude preferovana kopie ktera je pripojena interne skrze SATA.
Bude to imho mit maly vliv na vykon - propad zpusoben pouzitim jen jednoho media, protoze bezne se u mirroru pod mdraid pri vice-vlaknovem cteni vyuzivaji obe media, takze zrcadlene pole dava vyssi READ IOPS, nez jeden disk.

Pro vas je to asi jedno, pokud dobre chapu tak je to nejaka lowcost/lowpower a celkove nevykonna plaforma pro nenarocne chroustani. Vyhoda bude, ze muzete odpojit obe externi zarizeni v pripade napr. uklidu a system pojede (a nezapomente zapnout bitmapu, at se to resyncuje jen ve zmenenych castech).

PS:
Kdyby jste chtel ciste reseni a doinstalovat interni SATA, tak petiportovej radic pro M2 type M (x4 PCIe) existuje:
https://www.ybotonair.com/index.php?main_page=product_info&products_id=251172
Ten cip je pripojen ale jenom skrze dve Gen3 linky, u vas by jel v Gen2x2, tj. cca 800 MB/s pro pet disku.
« Poslední změna: 04. 12. 2020, 17:14:30 od RDa »

Re:Datové disky pro malý server
« Odpověď #10 kdy: 04. 12. 2020, 19:56:06 »
Jedna sa o maly domaci server. V takomto pripade nic neni dolezite. Aj keby vsetko zhorelo, nic sa nedeje (akurat by bola skoda hardware).
Ide mi o par 10-tok GB dat. Mozno tam bude par videosuborov, ktore by som chcel v ramci LAN streamovat, tak snad to USB 3.0 zvladne.

Predtym som mal proxmox nainstalovany bez raid. Teraz je instalacia proxmox na par klikov a mam RAID 1. Teoreticky by my mozno stacili aj tie 2 SSD (250GB) na ktorych bezi proxmox + KVM/LXC, ale rad by som sa zacal hrat aj z LVM, preto tam chcem dat dalsi disk (prip. 2 disky). Mozno v tomto pripade uplne postaci USB 3.0. Kedze je to server a bude to 24/7/365, tak ci nebude vhodnejsi SSD ako HDD. Server je fanless, takze zbytocne by  ho prznil hdd.

OT skor by ma potom zaujmalo ako to poriesit, ked VM a LXC mam na RAID 1 a datovy disk by som dal len jeden a chcel by som kus disku priradit LXC (ako by sa to chovalo a co by to vobec slo).

k3dAR

  • *****
  • 1 914
  • porad nemam telo, ale uz mam hlavu... nobody
    • Zobrazit profil
    • E-mail
Re:Datové disky pro malý server
« Odpověď #11 kdy: 04. 12. 2020, 20:09:32 »
[...] Mozno tam bude par videosuborov, ktore by som chcel v ramci LAN streamovat, tak snad to USB 3.0 zvladne. [...]
pokud nepouzijes nejakej smeckej USB prevodnik, ale kvalitni s UASP, tak rychlost pres USB3 bude vicemene totozna jako pres SATA, a to i s SSD, pokud pouzijes HDD tak se pres USB3 bude tahat plnou rychlosti disku, coz bude tak 1/3 - 1/4 rychlosti co ten prevodnik zvlada ;-) u USB pripojeni je dulezite jeste jedna vec, mit to zapojene tak, aby se nehejbal (nebo ty s tim nedopatrenim nehnul) kabel

EDIT: a NEZAPOMENOUT na to zminene "hlavne NE SMR" ;-)
« Poslední změna: 04. 12. 2020, 20:11:13 od k3dAR »

Re:Datové disky pro malý server
« Odpověď #12 kdy: 05. 12. 2020, 08:57:20 »
Na SATA karty, natoz USB prevodniky se vyprdni, neziskas tim nic krome potencialnich problemu. ZFS je skvele prave v tom, ze si muzes vytvaret libovolne mnozstvi oddelenych filesystemu, ktere sdili jednu dostupnou fyzickou kapacitu - nemusis porad resit nejake nafukovani/smrstovani jako u LVM. Pouzivej to, co mas dobre k dispozici, nevymyslej komplikace.

PVE standardne na data virtualu a kontejneru pouziva FS rpool/data, takze kdyz si vytvoris rpool/data2, muzes si tam ukladat data a vytvaret dalsi filesystemy dle libosti a nic neriskujes, naopak - lip vyuzijes dostupne prostredky. A pokud bys nekdy v budoucnu chtel data nekam prelit, udelas to jednim prikazem "zfs send -R rpool/data2 | zfs receive -F -d ...".

Dalsi vyhoda, kterou ziskas, je, ze si do toho usetreneho NVMe portu muzes dat male rychle SSD na ZIL/L2ARC a budes z nej tezit pro system, virtualy i ty svoje pokusny data.

neviem vsak ci je dobre riesenie postavit freenas nad KVM
Na domaci chroustani je to asi celkem jedno, ale obecne plati, ze je vzdycky lepsi mit vsechno v kontejneru, pokud neni vazny duvod mit VM.

Do virtualu si jako disk predas ZVOL, nad kterym si FreeNAS vytvori dalsi vlastni zpool a prida ti tam timpadem dalsi zbytecnou vrstvu indirekce, bude zrat RAMku na cachovani atd.

Co je horsi, ZFS je CoW a PVE jeste nedavno[1] neumelo z virtualu predavat spravne do hostujiciho zpoolu TRIM, takze v tomhle setupu by ti misto zabrane na hostujicim poolu utesene rostlo dokud nezaplni celou kvotu. Smazani dat ve virtualu nepomuze, musis rucne do volneho mista zapsat nuly, coz je opruz.

[1] Jak je to uplne aktualne ted presne nevim, ale myslim, ze se na tom zatim nic nezmenilo.
« Poslední změna: 05. 12. 2020, 08:59:18 od Mirek Prýmek »

David

Re:Datové disky pro malý server
« Odpověď #13 kdy: 05. 12. 2020, 20:58:05 »
TRIM mi se ZFS (na Proxmoxu) fungoval a místo se krásně uvolnilo; nicméně dnes mi Windowsy psaly, že "optimalizace není podporovaná filesystémem" (při pokusu o spuštění přes PowerShell), tak to musí někdo vyzkoušet.

ja.

Re:Datové disky pro malý server
« Odpověď #14 kdy: 05. 12. 2020, 21:25:18 »
TRIM mi se ZFS (na Proxmoxu) fungoval a místo se krásně uvolnilo; nicméně dnes mi Windowsy psaly, že "optimalizace není podporovaná filesystémem" (při pokusu o spuštění přes PowerShell), tak to musí někdo vyzkoušet.

TRIM vo Windows guestovi na Proxmoxe funguje korektne, len sa mu musí dať vedieť, že je to podporované. Takže Windows musí byť nainštalovaný na disku, ktorý je obsluhovaný buď cez virtio-scsi, alebo aspoň cez virtio-block, plus vo vlastnostiach disku povoliť discard, neublíži ani povoliť ssd emulation. Virtio-scsi funguje úplne bezproblémovo, bol pôvodne vytvorený na to, aby bolo možné robiť diery v sparse image hostovaných na NAS/SAN, takže je to dlhé roky odladené. Pri použití virtio-block treba použiť virtio drivery pre Windows z poslednej doby, bol tam relatívne nedávno opravený bug, ktorý zabraňoval použitie TRIM.

Potom v guestovi pôjde spustiť Optimize-Volume a korektne otrimuje voľné miesto.