Fórum Root.cz

Hlavní témata => Hardware => Téma založeno: Jigdo 01. 01. 2021, 15:49:38

Název: NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: Jigdo 01. 01. 2021, 15:49:38
Zdravim,

Chtel jsem se zeptat "jaky hardware" tady ucastnici pouzivaji pro NAS s TrueNAS OS nebo alternativnim open source OS.

Dival jsem se na TrueNAS Mini E, coz vypada zajimave, ale vubec nemam prehled za kolik by se neco podobneho dalo postavit....
nebo na cem to by to mohlo/bezi a kolik by to stalo.

Predem diky.


Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: drobek1 01. 01. 2021, 16:25:44
Já používám několik ks HP Microserver - 2x GEN8 + 2 x GEN7 N54L. Mám je rozšířené na 16 GB ECC RAM (víc paměti bohužel neumí). OS mám FreeNAS. Filesysytem ZFS. Diskové pole vždy dva disky v mirroru. Vše kupované Aukro/Bazos/eBay.
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: martinjk 01. 01. 2021, 17:00:40
Používám, Dell Poweredge T110 V2, 16 GB ecc ram, koupě na ebay.
Systém je Proxmox a vm Ubuntu server vše ext4. Pole nepoužívám, na 2. disk dělám týdenní rsync inkrementální zálohy.

Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: IDontCare 01. 01. 2021, 18:40:46
Jses schopny si to postavit, nebo radeji koupit? Oboje ma svoje vyhody a take nevyhody..
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: RDa 01. 01. 2021, 18:47:14
Po letech upgradu mi hlavni uloziste dokonvergovalo na vlastni skladacku:

Asus P10S-M, E3-1220 v6, 32GB ECC DDR4
DELL PERC H830 sas jako HBA + Adaptec/Microsemi 82885T expander + 24-bay 4U rack case
10GbE (intel X520) + 40GbE (ConnectX-3)

Vsechno z druhe ruky (bazos/aukro/ebay/kamaradi) az na aktualne nasazene Noctua vetraky a zdroj.
SW jedu mdraid/lvm/ext4/nfs v Gentoo, a mimo NAS to slouzi i pro dve virtualky.

Otazku si ale klades spatne - nejde o to, za kolik to jde postavit, ale mela by byt - mam X penez, co za to postavim?
Pripadne - potrebuji aby to delalo to a to - jaky vypadek / cas obnovy si muzes dovolit, jaky vykon ocekavas.

U me je nizka cena dosazena tim, ze ty dily jsou za zlomek ceny - koupeny kdyz byla nabidka velice vyhodna, napr. treba pameti jeli rok v desktopu bez vyuziti ECC (je to unbuffered), nez jsem upgradnul i desku/cpu z ddr3 na ddr4.
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: AoK 01. 01. 2021, 22:55:44
doma na svoje věci používám 4 x hpe microserver gen8, spojené je mám přes 20Gbe infiniband, běhá to velice slušně, hlavně to nezabare moc místa a ani proudu.

U sebe v DC mám naopak hpe dl380 s 20 x 2.4TB plotnovými disky, pořizovací cena asi 40tis přes ebay. Pro klienty většinou nasazujeme nové 2U servery (ať už hpe dl380, hpe apollo 4000, dell x20).

Pokud chceš nízkou cenu, klidně bych se nebál vzít něco jako repasovaný Dell PowerEdge R510/610 (pro 8 LLF disků), s 32GB ram a dvěmi ssd disky pro OS ho koupíš kolem 10tis, k tomu někde eshopu vezmeš něco jako 8 x Seagate IronWolf 6TB (celkem za cca asi 25 tis) a máš storage do 35 tis, což není špatné.

U FreeNAS dá trochu práce ho vyladit, někdy to chce trochu experimentování, ale i ve výchozím stavu poskytuje dobré služby.
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: martinjk 02. 01. 2021, 23:35:16
Ještě se zamysli kam ten NAS doma das, pokud to chceš domu, rack servery jsou velmi hlučné a to opravdu velmi hlučné a dost topí. Servery v provedení Tower nebo ty Microserver jsou docela tiché a moc netopí, většinou mají jeden celkem úsporný CPU.
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: AoK 03. 01. 2021, 12:52:10
s hlučností to je dobrá poznámky, rackové servery jsou opravdu hlučné a dá chvilku práce ty větráky vyladit (oddělat, vyměnit atd.). Stejně tak doporučuji tyhle NAS věci s hodně disky mít v nějaké rackové skříni, protože riziko požárů je nemalé (zkrat a prach se umí snadno vznítit, větráky u serverů rádi oheň rozeženou po okolí a je na problém na světě).
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: by_cx 03. 01. 2021, 14:31:01
Riziko pozaru je nemale? Za me je riziko pozaru uplne minimalni.
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: AoK 03. 01. 2021, 18:58:48
Riziko pozaru je nemale? Za me je riziko pozaru uplne minimalni.

minimální? Naopak, právě vznícení počítačů či související elektroniky je poměrně časté. Ve firmách z bezpečnostních důvodů nám třeba hasiči nepovolují, aby servery byly umístěny mimo skříně (racky), které brání rozšíření požárů do okolí, stejně tak máme povinnost mít poblíž hasící přístroje.

Požárů od stolních počítačů doma, kdy se elelektrickým výbojem vznítí prach uvnitř nejsou zrovna ojedinělé (nemám ale statistiky).
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: ondrah 03. 01. 2021, 20:21:59
Riziko pozaru je nemale? Za me je riziko pozaru uplne minimalni.

minimální? Naopak, právě vznícení počítačů či související elektroniky je poměrně časté. Ve firmách z bezpečnostních důvodů nám třeba hasiči nepovolují, aby servery byly umístěny mimo skříně (racky), které brání rozšíření požárů do okolí, stejně tak máme povinnost mít poblíž hasící přístroje.

Požárů od stolních počítačů doma, kdy se elelektrickým výbojem vznítí prach uvnitř nejsou zrovna ojedinělé (nemám ale statistiky).

Takže jinak řečeno sis to tvrzení jen vycucal z prstu.

Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: AoK 03. 01. 2021, 20:56:56
Riziko pozaru je nemale? Za me je riziko pozaru uplne minimalni.

minimální? Naopak, právě vznícení počítačů či související elektroniky je poměrně časté. Ve firmách z bezpečnostních důvodů nám třeba hasiči nepovolují, aby servery byly umístěny mimo skříně (racky), které brání rozšíření požárů do okolí, stejně tak máme povinnost mít poblíž hasící přístroje.

Požárů od stolních počítačů doma, kdy se elelektrickým výbojem vznítí prach uvnitř nejsou zrovna ojedinělé (nemám ale statistiky).

Takže jinak řečeno sis to tvrzení jen vycucal z prstu.

Hasiši takovouhle statistiku nevedou.

Jakékoliv elektrické zařízení, které běží nonstop bez dozoru a může se v něm kumulovat prach je nebezpečné a nesmí kolem být žádné hořlavé materiály. To nás učili na škole.

Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: czAtlantis 03. 01. 2021, 21:27:38
Když se podíváš kolik věcí je v běžném domě pořád pod napětím (začíná to rychlovarnou konvicí, pokračuje přes všemožné napájecí zdroje a nabíječky pro router, repráky, TV, monitor, holicí strojek, mobil, notebook, chytré zařízení všeho druhu.....a končí to třeba robotickým vysavačem ve kterém jsou i žůžo hořlavé baterky), tak je nějakej server v plechové krabici naprosto nulové riziko co se týče požáru....
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: M_D 03. 01. 2021, 21:42:34
Tak ono to přání hasičů na to, že mají být servery a vše s nimi zavřené v racku také plyne z obvyklého napájení přes UPS. Protože při požáru dochází k vypínání přívodu elektriky do baráku (nebo jen u zasažených částí, při větším požáru se vypíná i vše v okolí) a výstupy UPS zůstanou pod napětím dále, což není úplně ono pro zdraví při hašení vodou. Takže to chtějí mít schováno a zavřeno odděleně od okolí. Sice i běžní hasiči si s tím umí poradit a hasit vodou za určitých podmínek v případě nouze pod napětím (do 400 V, speciálové do 150 kV), ale snaží se tomu vyhýbat.
Pokud budu mít barák padající do kategorie se zvýšeným požárním rizikem, tak budu muset mít zpracované postupy a systémy pro dálkové vypnutí UPS systémů uvnitř.
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: by_cx 03. 01. 2021, 22:29:19
Citace
Naopak, právě vznícení počítačů či související elektroniky je poměrně časté

Není, jinak by bylo celé lidstvo v plamenech :-)
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: Miroslav Šilhavý 04. 01. 2021, 09:55:13
Pro 56 TB už to není moc legrace. Nevím, jestli zamýšlíte používat deduplikaci. Pokud ano, tak ZFS vyžaduje (aspoň zatím) 1 GB RAM per 1 TB HDD (ve skutečnosti o něco víc). Dále, aby ZFS dávalo při takovém objemu dobrý výkon, jsou potřeba aspoň 2 SSD disky (ZIL, L2ARC) a samotný NAS potřebuje jeden disk sám pro sebe (neumí se rozumně podělit např. s ZIL či L2ARC). Počítáte s tím vším?

Obvykle se takové storage nabízejí ven jako iSCSI target, to samo o sobě představuje dost ladění parametrů.
U takového objemu (56 TB) je určitě šikovný multitiering, který TrueNAS (ZFS) neumí. Nezapomínejte na to, že data není potřeba dostat jen dovnitř, ale se i o ně starat, v budoucnu je umět převést na nový HW apod. - to taky nejsou operace, které by šly jen tak udělat na lusknutí prstu, pokud to technologie sama neumí.
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: RDa 04. 01. 2021, 10:34:26
Dále, aby ZFS dávalo při takovém objemu dobrý výkon, jsou potřeba aspoň 2 SSD disky (ZIL, L2ARC) a samotný NAS potřebuje jeden disk sám pro sebe (neumí se rozumně podělit např. s ZIL či L2ARC).

To jako vyzaduje skutecny disk device, nestaci mu partisna?
Na teto urovni se ty block device tedy lisi zcela minimalne, tak to nechapu takove omezeni.. jsem rad, ze s tim ZFS kramem nemusim delat :-)

(kdyz uz si to vynucuje ssd v mirroru, tak bych videl pocatek tech disku na boot+OS, taky v mirroru)
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: Miroslav Šilhavý 04. 01. 2021, 10:37:06
Dále, aby ZFS dávalo při takovém objemu dobrý výkon, jsou potřeba aspoň 2 SSD disky (ZIL, L2ARC) a samotný NAS potřebuje jeden disk sám pro sebe (neumí se rozumně podělit např. s ZIL či L2ARC).

To jako vyzaduje skutecny disk device, nestaci mu partisna?
Na teto urovni se ty block device tedy lisi zcela minimalne, tak to nechapu takove omezeni.. jsem rad, ze s tim ZFS kramem nemusim delat :-)

(kdyz uz si to vynucuje ssd v mirroru, tak bych videl pocatek tech disku na boot+OS, taky v mirroru)

ZFS to stačí a umí. Klikátko ve formě TrueNAS to neumí.
Nemá smysl to lámat přes koleno, buďto to vzít, jak to je, nebo si to celkem stejně úspěšně postavit na čistém FreeBSD.
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: uhlobaron 04. 01. 2021, 11:06:21
Na podobnou kapacitu se chystám rozšířit domácí úložiště.
HW je:
- Ryzen 2400G
- MSI X470 Gaming plus
- 24GB RAM
- Case Fractal Design Define 7 XL

Disky jsou aktuálně:
- WD Black 500GB 2.5" (systém Ubuntu 18.04)
- 4x HGST HTS721010A9E630 1TB 2.5" - přes mdadm jsou v RAID5, kapacita je přibližně 2,7TB

Spotřeba v idle je přibližně 50W.

Mám v plánu koupit nové disky 8TB nebo 10TB a dát je přes mdadm do RAID6. Celkovou kapacitu mám v plánu 30 - 50TB, disky dám na nějaký SAS HBA řadič.

Za sebe doporučím udělat NAS na aktuálním Ubuntu LTS, při uvažované kapacitě disky dát do RAID6 (toleruje výpadek dvou disků). K tomu Samba, NFS, případně další SW dle chuti.
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: by_cx 04. 01. 2021, 11:08:18
Citace
Nezapomínejte na to, že data není potřeba dostat jen dovnitř, ale se i o ně starat, v budoucnu je umět převést na nový HW apod. - to taky nejsou operace, které by šly jen tak udělat na lusknutí prstu, pokud to technologie sama neumí.

Nechci být hnidopich, ale možnost kopírování dat z NASu je úplně ta nejzákladnější funkce, kterou umí i FreeNAS.
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: Miroslav Šilhavý 04. 01. 2021, 11:10:51
Nechci být hnidopich, ale možnost kopírování dat z NASu je úplně ta nejzákladnější funkce, kterou umí i FreeNAS.

Kopírovat ano, ale to ta data jsou dostupná buďto na původním NASU, nebo na novém. Pokud jsou to živá data a na nich závisí třeba několik desítek zaměstnanců, tak jim připravíte několik dní, kdy jejich práce a mzdy padnou z části vniveč.
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: by_cx 04. 01. 2021, 11:48:06
Pokud na tom mám navěšeno desítky zaměstnanců, tak k tomu asi budu přistupovat jinak, než když to mám hozené doma někde pod stolem. V tom prvním případě se finančně nemůže vyplatit dělat cokoli nad "živými" daty a prostě koupím nové pole a nakopíruju tam data z toho starého.
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: Miroslav Šilhavý 04. 01. 2021, 13:12:34
Pokud na tom mám navěšeno desítky zaměstnanců, tak k tomu asi budu přistupovat jinak, než když to mám hozené doma někde pod stolem. V tom prvním případě se finančně nemůže vyplatit dělat cokoli nad "živými" daty a prostě koupím nové pole a nakopíruju tam data z toho starého.

Nikde jsem nevyčetl, že je to pro to, mít 56 TB doma pod stolem - ale samozřejmě tím se požadavky hodně mění.
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: by_cx 04. 01. 2021, 13:54:20
Citace
Nikde jsem nevyčetl, že je to pro to

Mrkněte se na původní dotaz a na vaši první odpověď. Nedává totiž vůbec smysl. Tazatel se ptá, co za hardware používáme a vy mu radíte jak zvládnout deduplikaci, pak nadhodíte pár termínů a zakončíte to tím, že 56 TB je hodně a v budoucnu bude potřeba nahradit to jiným hardwarem. Občas mě tohle fórum hodí do jiného vlákna po přihlášení, nestalo se vám to během psaní té odpovědi taky?
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: Miroslav Šilhavý 04. 01. 2021, 13:59:05
Mrkněte se na původní dotaz a na vaši první odpověď. Nedává totiž vůbec smysl. Tazatel se ptá, co za hardware používáme a vy mu radíte jak zvládnout deduplikaci, pak nadhodíte pár termínů a zakončíte to tím, že 56 TB je hodně a v budoucnu bude potřeba nahradit to jiným hardwarem. Občas mě tohle fórum hodí do jiného vlákna po přihlášení, nestalo se vám to během psaní té odpovědi taky?

Očekávám, že při řešení HW pro 56 TB na TrueNAS si už nějaké takové otázky tazatel klade, nebo by si je zodpovědět měl. Třeba i tím, že řekne, že to potřebuje jen na filmy a další balast, a nic dalšího z toho neočekává. Každopádně 56 TB je už pěkná kláda, a i když máte doma čas přetahovat data týden, obvykle se to zkomplikuje tím, že se to dělá v době, kdy už něco začne zlobit (zkušenost).

Ano, forum mě taky hází do jiného vlákna - ne při odpovědi, ale ve chvíli, kdy se přihlašuji. Je to otravné. Stejně jako je otravné, že na webu zůstávám na zařízení přihlášený, ale forum mě odhlašuje, když se přihlásím jinde.
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: jeyare 04. 01. 2021, 22:12:41
kazdy tu pise, co ma doma a v praci. Nikoho tu nenapadne dat zakladnu otazku:
Aky je ucel stavby toho NASu?

56TB pre zberatela vsetkych moznych kopii torrentiveho videa
asi tazko porovnate s 56TB virtualok, ktore niekto bude poskytovat na pokrocily MChl s Pyton a Julia.

tolko k shoot into dark. Clovek bud nema sajnu v odbore a preto to zadanie tak vyzera, alebo si z Vas “dela” zadek a ste mu skocili na lep.

takze copy a paste zadania:

NAS hardware pro cca 56TB (TrueNAS)
Zdravim,
Chtel jsem se zeptat "jaky hardware" tady ucastnici pouzivaji pro NAS s TrueNAS OS nebo alternativnim open source OS.
Dival jsem se na TrueNAS Mini E, coz vypada zajimave, ale vubec nemam prehled za kolik by se neco podobneho dalo postavit....
nebo na cem to by to mohlo/bezi a kolik by to stalo.
Predem diky.
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: AoK 05. 01. 2021, 14:07:14
kazdy tu pise, co ma doma a v praci. Nikoho tu nenapadne dat zakladnu otazku: Aky je ucel stavby toho NASu?

Zdravim,
Chtel jsem se zeptat "jaky hardware" tady ucastnici pouzivaji pro NAS s TrueNAS OS nebo alternativnim open source OS.

Vždyť se tazatel právě ptal na to, co používají ostatní. Otázka k účelu tady přímo či nepřímo padla několikrát.
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: jeyare 05. 01. 2021, 23:59:32
Citace
Vždyť se tazatel právě ptal na to, co používají ostatní. Otázka k účelu tady přímo či nepřímo padla několikrát.

... tak potom je asi jedno, ci niekto pouziva FreeNAS na store videobalastu z torentov alebo na tazku pracu s datami? Je min. desat dalsich moznosti, ktore zasadne definuju poziadavky na zelezo. A to som skromny.

56TB v RAW alebo v jednom Volume, alebo multi-volume, alebo jeden/multi iSCSI, ....?

 Fakt je tuto debatu treba tocit okolo hlucnosti rackmount vetraku a toho ci pride/nepride k samovznieteniu prachu?

to je ako zacat debatu k zadaniu:
chcem si kupit auto, ktore by malo mat nosnost 3,2tony, mate tu niekto skusenosti s dieselom?
... a ty k tomu napises, ze casto jazdis s Toyota Yaris, z ktorej si vykuchal vzduchove filtre. A este doplnis, aby si dal bacha na to, pretoze auta obcas zhoria. Nemas statistiky, ale niekde si to,pocul.

... kedze sa tazatel uz neozval, tak asi plati predikcia c.2
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: AoK 06. 01. 2021, 10:05:49
podle dotazu mi to evokuje domácí uložiště a nikoliv do firmy, proto věci jako multi-tentant/tier/volume, iSCSI nepovažuji za potřebné. Těch možností opravdu celá spousta, když není znám cíl a potřebné vlastnosti, těžko něco doporučovat, můžeme jen hádat. Ve firmách málokdy dostávám poptávku po "NAS", spíše chtějí nějaké uložiště pro něco nebo chtějí něco s vysokou dostupností, termín "NAS" subjektivně slyším více u spotřebitelů.

Hlučnost je na domácí použití podstatná vlastnost, do firmy irelevantní. Riziko požáru jsem jen zmínil bokem, nechtěl jsem ho rozmazávat. Ne ke všem bezpečnostním doporučením máš nějakou statistiku k dispozici, odvolávat se na ní je absurdní.

Vycházím z toho, že se autor ptal jaké auto používáte a za jakou cenu se tak dá sehnat. Zmiňovat u takového dotazu enterprise grade funkce, které cenu posunout o řád výš asi není nejvhodnější.
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: Jigdo 19. 01. 2021, 12:27:40
Vidim ze jsem se spatne vyjadril. Momentalne na dulezite veci pouzivam LinkStation Mini 1TB (2 x 500GB)

Mnelo by se jednat o 4 x 14TB, ale jak jsem se dival tak as bude nutno 6x14TB (Raid 6) pro jistotu ze by odesly 2 disky najednou ...

Hardwerove vypada pekne: HP ProLiant MicroServer Gen10 nebo starsi generace :)

Potrebuji tedy 2 NAS (jdou 2 na jenom hardware, nebo je nutno je rozdelit?):
1. pro rodinne video/fotky
2. pro multimedia (mam TVHeadEnd a k nemu pripojeno 4 x 4TB) a premyslim o funkci  "7 Day catch up"  | "7-day catchup" programu z
HD multiplexu (coz u nas jsou momentalne jen 2 a idealne jen BBC One, BBC Two, BBC Four, Channel 4 a RT programy)
Název: Re:NAS hardware pro cca 56TB (TrueNAS)
Přispěvatel: jeyare 19. 01. 2021, 18:02:44
na tento zadefinovany ucel ti staci lowend HW so 100Mbps NIC a malym Celeron/Atom CPU, kludne i RPi
v pohode si kup low cost HDDs, pretoze ti staci 12MB/s

ale podla sposobu, ako formulujes zadanie ti doporucujem najst Single Button Solution a kup si krabicu s diskami a "peknym" systemom. Inak to bude pre teba trapenie a zastavis sa na nastaveni disk groups.

No a potom uz len sa pochvalit, ze na dolezite veci pouzivas Buffalo = Single Button Solution.