Zháňam tower server na 8×3,5" SATA 22TB diskov

Zháňam tower server na 8×3,5" SATA 22TB diskov
« kdy: 22. 05. 2024, 07:16:10 »
Zdravím, zháňam lacný second hand tower server na 8 x 3.5" 22TB SATA diskov (tower, nie SAS, nie 2.5"). CPU stačí úsporné, RAM do 32GB. Máte niekto s tym skusenost? Viete nieco odporucat? Server musi podporovat 22TB disky a TrueNAS a/alebo Debian. Dakujem


alex6bbc

  • *****
  • 1 651
    • Zobrazit profil
    • E-mail
Re:Tower server na 8 x 3.5" SATA 22TB diskov
« Odpověď #1 kdy: 22. 05. 2024, 07:18:39 »
a je dneska neco co by to nepodporovalo? :-)
akorat musi mit deska dost sata portu nebo pridat kartu.
na netu je milion nabidek v bazaru.

ja bych sel osobne do amd :-)

jjrsk

  • *****
  • 518
    • Zobrazit profil
Re:Tower server na 8 x 3.5" SATA 22TB diskov
« Odpověď #2 kdy: 22. 05. 2024, 07:58:03 »
Asi bys mel specifikovat co povazujes za lacny a jestli ty disky chces pripojovat samorobo kabelobastlem, nebo jestli chces vazne serverovej HW, ktere bude ze 100% sas, coz nicemu nevadi, protoze sata disky tam das.

Tady mas https://www.servershop24.de frcovej HW vcetne nejaky ty zaruky.

Jenom bych rek, ze 22TB disk v oficielne podporovanych nebude mit nic, a to ani noveho. Coz nijak nepredjima, ze to nebude fungovat. Ale nepodporovany to je proto, ze v techto koncinach se pouziva raid, a raid na discich nad nejaky 4TB ti nikdo nedoda. Jednoduse proto, ze prepocitavat se bude dny, coz je provozne neakceptovatelny. Dalsi disk totiz chcipne driv, nez se ten raid prepocita.


BTW: Kdyz sem jukal naposled, tak disky tehle kapacit v SASu byly o nejakoyu tu tisicku levnejsi nez sata.


Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #3 kdy: 22. 05. 2024, 09:00:16 »
Budem trochu konkretnejsi ako jjrsk
Tu mas tower servre od Dellu s cenou zacinajucou na 280 eurach
https://www.servershop24.de/en/server/dell/poweredge-t-series/?sorting=sorting.price.avg_asc

Je tam H730 RAID radic. Dell uvadza max kpacitu  disku >2TB a co som narychlo nasiel, tak 18TB disk bol max, co bol potvrdeny, ze funguje. Predpokladam, ze ani s vecsimi nebude problem, len to este nikto nepouzil.
https://www.dell.com/community/en/conversations/poweredge-hddscsiraid/perc-h730-mini-max-drive-size/647f8131f4ccf8a8defe7d71

To,co pise jjrsk nieje pravda. Normalne sa v tom pouzivaju aj vecsie disky ako 4TB. Nie kazdy pouziva taky RAID, kde je potrebne prepocitavat pri zlyhani disku.

Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #4 kdy: 22. 05. 2024, 10:48:19 »
mozna asi nechce raid, jen velike ulozne misto.



jjrsk

  • *****
  • 518
    • Zobrazit profil
Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #6 kdy: 22. 05. 2024, 18:09:37 »
...
To,co pise jjrsk nieje pravda. Normalne sa v tom pouzivaju aj vecsie disky ako 4TB. Nie kazdy pouziva taky RAID, kde je potrebne prepocitavat pri zlyhani disku.
To co pise jjrsk je 100% pravda, ani dell ani hp ani nikdo dalsi ti do toho vetsi disky jednoduse nedoda. A kdyz si je tam das sam, tak ses bez supportu. 8 disku bez raidu muze provozovat leda blazen, a to i doma, ze to chcipne je 100% jisty.

Doma mozna nemusi vadit, ze se to bude tyden prepocitavat. Protoze ten disk i kdyz bude fungovat v linearnim rezimu da +- 8TB za 24 hodin. Takze minimalni cas na prepocet jsou 3 dny. Pod minimalni provozni zatezi dvojnasobek. Pricemz i to je spis scifi.

Mensi komercny spam. :-)
https://pc.bazos.sk/inzerat/165124675/atx-skrinka-8x35-sachta.php
Vis, kdyz uz, tak se to dela tak, ze si do tech 5'1/4 pozic koupis 3,5' sachtu na disky, vcetne nejakyho toho expanderu, takze jednim kabelem na desku pripojis bezne tak 3-4 disky. Coz ty disky ani nic dalsiho v pripade mechanickych neomezuje, protoze 600MB/s nedaj ani dohromady.

Jen muzes narazit na to, ze lowendovy desky to nerozdejchaj, ackoli by mely, protoze to je sata standard.

mozna asi nechce raid, jen velike ulozne misto.
Tak to ty data muzes smazat rovnou, a nepotrebujes nejdriv utratit 100k za disky.

CPU

  • *****
  • 863
    • Zobrazit profil
    • E-mail
Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #7 kdy: 22. 05. 2024, 18:47:19 »
Mám tu nějaké SAN, které by to mohly zvládnout, ale musíš přesně napsat, co to má dělat.
To je na chia ploty? Nebo ukládání nějakých dat? Má to být v RAID? Jaký RAID?

Buldr

  • ***
  • 143
    • Zobrazit profil
Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #8 kdy: 22. 05. 2024, 19:04:02 »
Píchnu do vosího hnízda, avšak serverové disky (funkce) patří na řadiče s vlastním procesorem a zálohovanou cache. Potom se nestane, že zasáhne např. TLER, CCTL a disk poletí z kola ven.

Mezi primárním a sekundárním (FreeBSD HAFO - 10 GHz uzel) je jediný rozdíl v tom, že primární (firma) se pořizoval ve formátu 2U (Supermicro), kdežto sekundární (domov) používá klasický Fractal Define XL. AMD Epyc 3101 (M11SDC-4CT-LN4F), 32 GB Reg. ECC DDR4 s Adaptec 3102E-8i s 8ks WD Gold 8TB (hot swap + spare) + 2ks Micron 5100 480 GB.

Kdyby to náhodou žuchlo definitivně (požár, nevítaná návštěva), pořád je tu druhý a samozřejmě zálohy. Spolehlivě, leč po staru a resilvering zabere nějaký ten čas (hodně času), ovšem provozně se spíš flinká, ovšem skladuje velké objemy dat (nejvíce zabere fotodokumentace – fotky instalace, rozvodných skříní apod.)

Carpe diem

Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #9 kdy: 22. 05. 2024, 19:30:37 »

To co pise jjrsk je 100% pravda, ani dell ani hp ani nikdo dalsi ti do toho vetsi disky jednoduse nedoda. A kdyz si je tam das sam, tak ses bez supportu. 8 disku bez raidu muze provozovat leda blazen, a to i doma, ze to chcipne je 100% jisty.

Doma mozna nemusi vadit, ze se to bude tyden prepocitavat. Protoze ten disk i kdyz bude fungovat v linearnim rezimu da +- 8TB za 24 hodin. Takze minimalni cas na prepocet jsou 3 dny. Pod minimalni provozni zatezi dvojnasobek. Pricemz i to je spis scifi.

Bez problemov si viem nakonfigurovat server Dell alebo HP s diskami az do velkosti 22T(Dell, HP aktualne len 18TB) a dostanem na to aj suppport.
Skusil som narychlo Dell konfigruator a dovolil mi nakonfigurovat RAID5 s tromi 22TB diskami.
Plus kludne si vie nastavit v tom RAID controlleri Pass-through a s tymi diskami si vie robit co chce a ako chce. Dnes su ine moznosti ochrany pred zlyhanim disku/strate dat ako kedysi.

Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #10 kdy: 22. 05. 2024, 20:07:57 »
Zdravím, zháňam lacný second hand tower server na 8 x 3.5" 22TB SATA diskov (tower, nie SAS, nie 2.5"). CPU stačí úsporné, RAM do 32GB. Máte niekto s tym skusenost? Viete nieco odporucat? Server musi podporovat 22TB disky a TrueNAS a/alebo Debian. Dakujem

Ak nevadi cina a poskladat si to, tak na vyber moze byt nieco z tohto :
https://zhenloong.aliexpress.com/store/1102132370
https://www.aliexpress.com/store/900249004
https://www.aliexpress.com/item/1005005073087968.html

alex6bbc

  • *****
  • 1 651
    • Zobrazit profil
    • E-mail
Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #11 kdy: 22. 05. 2024, 21:01:07 »
na raid bych se vykaslal a mel rucni kopii na vsech nebo na polovine disku.

mam data na ruznych discich doma, na chate atd.
je v tom bordel, ale je to zalohovane.

Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #12 kdy: 23. 05. 2024, 07:59:05 »
Správně zkombinovaný HW RAID + fajnové kastlíky na disky dají možnost blikat failure LEDkou, snáz se potom vyměňuje vadný disk. Tohle bývalo možné na bázi Areca + backplane alespoň TQ, nebo některé vzácné modely šuplíkových kastlí měly diskrétní failure vstupy pro LEDky.
Podobnou službu ale odvedou úplně jednoduché šuplíky, na které si zepředu nalepíte sériová čísla disků. Pokud nevíte, ve kterém šuplíku je který disk, musíte je měnit za studena. Každopádně bez šuplíků je velká pakárna měnit disk.
Taky není špatné, mít aspoň jeden volný šuplík (a kanál řadiče) navíc, na podání hot spare při selhání disku.

Zda je či není duševně zdravé, mít v RAIDu 22TB disky, to je otázka okolností a požadavků. Hranice nevkusu je relativní. Na nějakou skoro-studenou zálohu, která se tam bude odsypávat jednou za noc, tzn. režim "skoro páska", fakt úplně stačí jakákoli plechová krabice, ve které budou aspoň trochu slušné šuplíky (aby spolehlivě fungovala fyzická vrstva SATA na zvolené rychlosti a chlazení) a slušný napájecí zdroj = spolehlivý a s dobrou účinností.

Ano rekombinace nového disku po výměně bude dlouho trvat. Stejně tak pravidelná plánovaná automatická kontrola povrchu na pozadí. Tady se hranice "normálního" v průběhu let posouvá, protože rychlost přenosu roste zhruba s odmocninou z plošné hustoty záznamu na plotně, a počet ploten v poslední dekádě opět roste. Takže doba přečtení/zápisu celého disku se prodlužuje rychleji, než s odmocninou kapacity (tzn. téměř lineárně).

Pokud zvolený RAID bude 1 = mirror, nebo nějaká kombinace s nulou, nebo třeba hrst MD mirrorů předaných btrfs, a ten box bude víceméně přijímat zálohy přes něco jako gigabit, tak jako CPU stačí moderní ATOM (BayTrail+) a není tam ani potřeba moc RAMky. Jako že s 512MB by to běželo taky. A diskům se dá říct, aby po nějaké době nečinnosti zastavily rotaci (minimum bývala asi minuta). Tady bych ještě zmínil možnost, použít na systém flašku (nebo dvě v mirroru) a na rotující disky dávat fakt jenom data. Tím umožníte rotující rzi vydatně spát, pokud je to fakt jenom "náhrada pásky". Ušetříte za elektřtinu. Jenom pokud vezmete nějaký fakt desktopový boardík s ATOMem, tak bude mít nula až jeden slot PCI-e, a tato bude patrně x1. Existuje možnost, ten slot opatrně páječkou "otevřít" (protavit štěrbinu), nebo jsou redukce z MiniPCI-e (nevím jak M.2) na factory-proříznutou PCI-e apod. (Akorát skrz takovou redukci nejspíš budete muset PCI-e provozovat na rychlosti 1.1, takže úhrnná průchodnost na disky bude nějakých 250 MBps.) Tzn. tahle radikální punková integrace má svá úskalí :-D

Pokud ta věc má za jízdy počítat nějaká CRCčka nabo šifru nebo paritní RAID (5,6) tak je dobré se zamyslet, jakou sekvenční průchodnost má ten XOR/RS engine mít. Výkonnější procesor bude obecně rychlejší. Je ale možné, že nakonec by ten ATOM stačil taky. Chcete-li benchmark, tak "linuxové jádro" ho vypisuje při bootu, najdete ho v dmesg - v případě, že stroj při startu natahuje drivery z rodiny MD právě pro paritní RAIDy. Takové výpisy dmesg se válí různě v internetech.

Samozřejmě pokud ta věc má něco z dlouhé chvíle chroupat, nebo na tom chcete provozovat virtuály na takové to domácí žvýkání, tak si vyberte procesor podle svého gusta. Nakonec... ona nějaká microATX deska s úspornou variantou desktopového procesoru bude mít slot PCI-e x16 a alespoň 4 SATA porty onboard. Prostě větší svoboda, a spotřeba v idle nebude o moc horší, než ATOM. Ještě se nabízí otázka, zda zakazovat hluboké C-stavy (povolit max C1/C1e) nebo povolit i hlubší. Rozdíl v idlu můžou být jednociferné watty. U BayTrailu to byla navíc otázka stability. Taky se dá CPU podtaktovat, buď v BIOSu, nebo asi i volbou performance profilu v OS...

U velkých disků je potřeba se smířit s tím, že budou šindelové. Pokud je to "náhrada pásky", tak asi OK. Pokud RAID bude mirror a jeho deriváty, tak OK. Pokud RAID bude nějaký paritní, tak bych volil pokud možno dlouhou stripe size (stride size), abych zápisy zbytečně nekrájel ještě víc nadrobno. Šindele jsou svinstvo. Taky mám dojem, možná nepodložený, že MD RAID bude tolerantnější (než nějaký HW RAID) ke sklonu šindelových disků, "na chvíli se zamyslet".

Pokud nad tím má běžet virtualizace, tak opět: nečekejte, že šindelovým diskům naložíte nějaké zázračné IOps.
Taky jim tím znemožníte zastavovat rotaci, protože běžící neořezaný OS si neustále na systémový svazek něco málo "ublinkává". Loguje a tak. Mimochodem - mountuju poslední dobou převážně s "-o noatime".

Pokud nainstalujete Debian a balík mdadm a k tomu nějakého emailového démona (stačí exim, pokud ho umíte zkonfigurovat) a uděláte alias v /etc/aliases z lokálního roota na nějaký živý dohled, bude mdadm pravidelně (z cronu?) provádět preventivní čtení celého povrchu polí a případné nalezené problémy bude hlásit emailem. Akorát to kompletní přečtení může trvat déle než den, takže bych se kdyžtak mrknul, jak často ta kontrola běží, aby stíhala doběhnout :-) Taky se tím opět omezuje diskům procento času, kdy mohou spokojeně spinkat.

Linuxu a holým HBA je kapacita disků obecně wurscht. Rozsah LBA adresace v ATA a SCSI protokolech je mnohem větší než dnešních 22 TB. U hardwarových RAIDů jsem historicky zaznamenal, že starý firmware s novými velkými disky nefungoval správně (nečekal tak velkou kapacitu). Často pomůže update firmwaru - tento je dostupný, pokud řadič není druhohorní model (vintage hardware).
« Poslední změna: 23. 05. 2024, 08:02:28 od František Ryšánek »

jjrsk

  • *****
  • 518
    • Zobrazit profil
Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #13 kdy: 23. 05. 2024, 08:08:38 »
...U velkých disků je potřeba se smířit s tím, že budou šindelové. ...
Nebudou, velke disky se sindelove nedelaji. Nastesti.

A uspavat disky je to nejhorsi co se jim muze dit. Je to zdaleka nejrychlejsi zpusob jak je zlikvidovat.

em.ve

Re:Zháňam tower server na 8×3,5" SATA 22TB diskov
« Odpověď #14 kdy: 23. 05. 2024, 09:25:23 »
Citace
A uspavat disky je to nejhorsi co se jim muze dit. Je to zdaleka nejrychlejsi zpusob jak je zlikvidovat.

Proč?