Zháňam tower server na 8×3,5" SATA 22TB diskov

Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #15 kdy: 23. 05. 2024, 10:54:06 »
...U velkých disků je potřeba se smířit s tím, že budou šindelové. ...
Nebudou, velke disky se sindelove nedelaji. Nastesti.

Tohle mě zajímá. Můžete uvést příklad disku kolem 20 TB, který v dokumentaci hrdě prohlašuje, že není šindelový? (Jsem líný to hledat.)
Moje zkušenost je, že už u kapacity 1 TB  (= dnešní minimum) musím pečlivě vybírat, abych nekoupil šindelový, pokud nechci. U kapacity 4 TB jsem měl pocit, že už není vůbec na výběr.

Docela mě překvapil 1TB Seagate Skyhawk (určen pro NVR), že má 256 MB cache a údajně není šindelový... přitom údajně má nějaké optimalizace pro zápis více simultánních streamů. Aniž by se někde psalo, s jakým filesystémem se počítá. To mi hlava nebere :-)

Citace
A uspavat disky je to nejhorsi co se jim muze dit. Je to zdaleka nejrychlejsi zpusob jak je zlikvidovat.

Když se ten disk jednou denně probudí, uloží zálohy a zase usne?
Na jednom takyserveru toto provozuji asi 10 let a nějak jsem si nevšiml zvýšené úmrtnosti.
Vaši poznámku nechápu nijak špatně, v technické i osobní rovině vítám Vaše varování.


Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #16 kdy: 23. 05. 2024, 11:06:09 »
Ajo... koukám na ST20000NM007D = Exos 20TB 7200k SATA, a v jeho datasheetu se tvrdí, že celá rodina je CMR.

To nechápu. K čemu nám tolik tlačí šindele už při 1-2 TB...

Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #17 kdy: 23. 05. 2024, 12:01:40 »
Např. ZFS 4 x mirror + LZ4 komprese bych se v tomto počtu a kapacitě disků nebál. A zálohovat přes pravidelný zfs send na další čtveřici (bez redundance) v jiném stroji, nebo ještě lépe ve stejném stroji třeba v nějaké bazarové externí cage a levnou LSI kartou s externím 4xSAS kabelem, příp. 4x USB3, aby byl přenos maximální rychlostí. Když holt jeden ze záložních disků odejde - za 2 dny je to tam nakopírované zpět (plné pole), pokud budou data rozložená pravidelně.

Bez inkrementálních záloh typu zfs/btrfs send se to hodně špatně zálohuje.

Navíc komprese ZFS je velice šikovná, možná by ve finále stačilo i méně disků.
« Poslední změna: 23. 05. 2024, 12:03:14 od redustin »

RDa

  • *****
  • 2 550
    • Zobrazit profil
    • E-mail
Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #18 kdy: 23. 05. 2024, 12:35:58 »
Ajo... koukám na ST20000NM007D = Exos 20TB 7200k SATA, a v jeho datasheetu se tvrdí, že celá rodina je CMR.

To nechápu. K čemu nám tolik tlačí šindele už při 1-2 TB...

SMR jsou vetsinou stare vzduchove disky s velkou kapacitou - kapacita se tam nabira vice stopama, ktere se prekryvaji. V soucasne dobe vim jen o 2.5" modelech, v 3.5" to nedava uz smysl, kdyz technologie pokrocili.

CMR jsou pak novejsi Heliove disky, kde se kapacita nabira vice tensima plotnama.

Tim, jak jde vyvoj dale, tak z DM-SMR se stali HM-SMR (HSMR) a vlastne se preslo na ZNS api (write je jenom append), ktere je imho pouzito u 30T disku s HAMR, ktere jsou zas "SMR like".

RDa

  • *****
  • 2 550
    • Zobrazit profil
    • E-mail
Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #19 kdy: 23. 05. 2024, 12:44:28 »
Docela mě překvapil 1TB Seagate Skyhawk (určen pro NVR), že má 256 MB cache a údajně není šindelový... přitom údajně má nějaké optimalizace pro zápis více simultánních streamů. Aniž by se někde psalo, s jakým filesystémem se počítá. To mi hlava nebere :-)

zápis více simultánních streamů = viz ATA Streaming command set, od revize ATA-7

Podle me to bude pouzivat pouze specificky NVR software, protoze jde o extra prikazy - takze na disk se nepristupuje pres klasicky read/write a vfs/fs vrstvu z bezneho kernelu.


ja.

  • ****
  • 322
    • Zobrazit profil
    • E-mail
Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #20 kdy: 23. 05. 2024, 13:14:05 »
SMR jsou vetsinou stare vzduchove disky s velkou kapacitou - kapacita se tam nabira vice stopama, ktere se prekryvaji. V soucasne dobe vim jen o 2.5" modelech, v 3.5" to nedava uz smysl, kdyz technologie pokrocili.

CMR jsou pak novejsi Heliove disky, kde se kapacita nabira vice tensima plotnama.

Pri 3.5" diskoch ide o nechvalne zname WD Red zo serie EFAX. Najhorsie na tom bolo, ze WD potichu nahradil seriu EFRX, ktora bola CMR, prave EFAX-om a zakaznici to zistili, az ked bolo neskoro.

Tim, jak jde vyvoj dale, tak z DM-SMR se stali HM-SMR (HSMR) a vlastne se preslo na ZNS api (write je jenom append), ktere je imho pouzito u 30T disku s HAMR, ktere jsou zas "SMR like".

DM a HM boli vzdy paralelne dostupne; Disk-Managed islo beznym zakaznikom, Host-Managed tym zakaznikom, ktori dobre vedeli preco to chcu, mali storage systemy, ktore s tym pracuju (cena za TB bola nizsia ako pri CMR, co pri danych objemoch bol pekny faktor). ZNS je potom vysledkom standardizacie, aby software vyuzivajuci HM pouzival standardne api, ktore sa da recyklovat aj pri spominanom HAMR.

Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #21 kdy: 23. 05. 2024, 15:17:03 »
Takže pôjde tam na 90 percent Truenas + Zraid2 (čiže 8 x 22TB, reálne miesto bude 6 x 22TB ~ 120TB) momentálne pozerám viacero second hand enterprise tower serverov a server ktorý by to mohol zvládať vyberám. Určite už ale viem že 32GB RAM bude na 120TB ZFS málo.

RDa

  • *****
  • 2 550
    • Zobrazit profil
    • E-mail
Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #22 kdy: 23. 05. 2024, 23:08:08 »
jako mam dve tyhle starsi bedny:

Fractal Design Define R5
https://www.fractal-design.com/products/cases/define/define-r5/black/

... prave kvuli moznosti mit 8 disku se slusnym chlazenim - deska pak jakakoliv starsi se socketem 2011-3, tam mas 10 sata portu, alternativne modernejsi high modely - napr. mam tuhle (taky kvuli 8 sata):

Supermicro X11SCA-F
https://www.supermicro.com/en/products/motherboard/x11sca-f

Nicmene realne mam vsechny disky v rackmount ulozistich co jedou 24/7, a ty obyc tower bedny obsahuji paradoxne bezdiskove stroje :D Jak si clovek zvykne na pohodlny front-accessible hotswap, tak bezna bedna je uz meh.

Kdybys to prehodnotil, tak doporucuji treba 12 LFF rackmount reseni a prostredni radu nechat volnou - pak muzes vetraky predelat na akcepovatelny hluk.

Pokud koupis nejaky HPe/DELL/IBM tower, tak to bude porad stejne hlucny jako rackova verze.

Kdyz pujdes do neceho co ma 6x5.25, tak muzes nainstalovat hotswap blok pro 4x3.5" do 3x5.25 pozice, ale typicky maji chlazeni taky hlucne a fyzikalne neoptimalni (jeden 80-90mm vetrak).. plati pro Chieftec i Icydock bloky.

Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #23 kdy: 24. 05. 2024, 17:46:40 »
Jinak... pokud by požadavek zněl tak, že chcete v zásadě střídmě vybavenou skříň, která trochu vypadá, ale uvnitř má jenom minimum standardních montážních "přírub" a neotravuje ptákovinama a nesnaží se o vendor lock-in, jako že si do toho naskládáte sám, co budete chtít včetně zdroje... tak docela zajímavé kousky takové "holé klempířiny" jsem viděl u německého Inter-Techu. Jedno konkrétní šasi mě překvapilo, jak bylo hezky průvzdušné, a přitom osazené ventilátory běžely dost potichu.