Fórum Root.cz
Hlavní témata => Server => Téma založeno: kkt1 25. 06. 2018, 11:48:04
-
V minulosti jsem si udelal ve svych lokalitach par storage serveru, kapacitne 200-250TB. Doba vyzaduje vetsi storage, rad bych se dostal k 1PB. Ma nekdo napad/zkusenost na nejaky aktualni HW? Chci xeony, 1TB ram, disky 3,5” sasy idealne - maximalne 1 standardni rack. Nad tim freebsd a zfs.
-
Vždy to chce znát provoz.
Pokud přichází požadavek na soubor X 1x za 100 dní, potřebuješ něco úplně jiného, než pokud tento požadavek přichází 10x za den.
Taky je rozdíl, jestli máš nějaká "velmi živá data", kam se zapisuje 1000x za vteřinu nebo jestli je přístup ke všem souborům cca stejný.
Klidně bych ti mohl odpovědět, tak si pořiď páskovou LTO 8 knihovnu a máš vymalováno ::)
Pokud neznáš typ zátěže, je to stejně validní odpověď, jako kdybych ti řekl, všechno musí být na Enterprise SSD Write Intensive discích.
Docela by mě zajímal ten šmoula, co ti dává výplatu, protože od kapacit PB už se to řeší komplet, včetně zálohování atd.
Neurčitý výkřik do fóra je takový kkt1-ní :-\
-
Bych očekával, že člověk, který rozhoduje o vynaložení takové částky za HW, v tom má naprosto jasno a nechodí se ptát na fórum.
-
Také by mě zajímalo, jak se plánuje zálohování...
-
Třeba to má na domácí zálohování fotek...
-
Obří porno server :o
-
Bych očekával, že člověk, který rozhoduje o vynaložení takové částky za HW, v tom má naprosto jasno a nechodí se ptát na fórum.
+1 8)
-
Obří porno server :o
Vše bude v 8k, HDR, 240FPS a VR
-
https://www.aberdeeninc.com/petarack/ 1PB ~ 300.000$ expandable up to 8.6PB
-
Což se inspirovat hardwarem od iXsystems? U FreeNAS 4U mají v datasheetu kapacitu 1.73PB. Je v něm Xeon E5-2600v4 a 256 GB RAM.
-
Kapacita v řádech PB se dá složit z desktopových disků, vždy 16x datových + 2x parové + 1x spare.
Vyjde to VELMI levně, levněji než skládat řešení obsahující drahé diskové řadiče.
V zásadě stačí spočítat cenu disků do požadované kapacity * 1.2(par+spare) + 60 000,- Kč na železo.
Řádově PB dnes už nejsou jakkoliv ohromující kapacity.
JENŽE jde o typ zátěže, výše uvedené pole se náramně hodí pro ukládání dat, daleko méně se hodí pro čtení.
Takové pole je možné plnit, plnit, plnit a občas sáhnout na starší data. Disky se uspávají po 20-ti minutách, proto se pole má plnit postupně.
A to nás rovnou přivádí k další otázce, kolik těch dat do toho při špičce poteče?
A kolik dat z toho ve špice poteče ven? Je hezké si postavit pole, ale to pole by taky mělo splnit nějaké předpoklady ne?
Třeba uspokojit požadavky zákazníků, co když pole postupně plním a plním, pěkně pomalu v klidu, ale pak okamžitě potřebuji celý jeho obsah projet? Třeba kvůli finanční analýze? Pak se bez velmi specializovaných řadičů neobejdu.
Podobně jako se bez nich neobejdu, pokud jsou požadavky na schopnost vyrovnat se s rázy, kdy mi třeba přijde přiteče 50TB dat a já o ně nesmím přijít.
-
https://www.45drives.com/products/
Alebo
Backbkaze storage pod
-
Zkusím se trochu zasnít:
Jestli správně počítám, 42 U = 14 šasi po 3U, do 3U se vejde standardně 16 disků normálně v šuplíku na čelní stěně. To je 224 disků. Takže pokud je požadavek na 1 PB, vycházelo by to na 4.5 PB na disk v RAIDu 0. Tzn. pokud by to byl RAID 10 nebo nějaká podobná míra redundance (+100%), vychází to na cca 9-10 TB disky. Případně jsou k vidění šasi pro 24x 3.5" disků v 4U. To by se do stojanu vešlo 240 disků + by zbyly 2U na nějaký ten server. Asi trochu nesmysl to takhle našlapat, ale takové jsou teoretické počty. A jsou i nějaká šasi, kde se disky zřejmě strkají *dovnitř* = nejsou jednotlivě dostupné pro hot-swap z čelní strany. Což pak podle mého znamená, že je třeba celé šasi odstavit kvůli výměně jednoho disku...
Od koho šasi? No pokud ne HP / IBM / EMC=DELL tak třeba Infortrend nebo tihle němci (https://www.starline.de/) - vedle Infortrendu vedou i nějaké "svoje" značky s Arecou apod. uvnitř. Svého času tuším prodávali i Fujitsu nebo NEC, už nevím. Jsou na trhu už hrozně dlouho a výrobci přicházejí a odcházejí. Jo a abych nezapomněl, něco by se dalo vybrat taky u Supermicra (u nás Abacus / Compos).
Chápu správně, že to bude jediný veliký JBOD, nad kterým poběží ZFS?
Čím to připojit k serveru: no teoreticky asi přes SAS. Nakolik to bude provozně spolehlivé, bůh suď - celý ten strom JBODů bude samý single point of failure. Taky bacha jestli ty JBODy budou umět "větvit" / daisy-chainovat. Už si nepamatuju, jestli 240 disků nedojede na počet SCSI IDček na jedné sběrnici...
SAS dává teoreticky možnost, vydrátovat šasi "dvojmo" kvůli redundanci. A teoreticky jsou i nějaké disky, co mají dvojitý SAS uplink - jenom si nejsem jistej, nakolik je dvojitý SAS uplink na discích běžná věc. A jestli třeba takové ty "entry-level SAS Barracudy" nejsou naschvál single. A taky by to znamenalo, pořešit v serveru multipath. Další zajímavé téma je enclosure management a hot-swap jednotlivých disků. Matně si vybavuju z doby před 10-15 lety, že FreeBSD mělo už tehdy jakousi podporu pro enclosure manager šváby a normy...
Hrozně dlouho jsem neslyšel o discích s nativním FC, takže pokud by to mělo mít vnější interconnect přes FC, tak leda by to šasi obsahovalo bridge. Ještě mě napadá, jakpak je to s možností bridgovat SAS na InfiniBand (http://www.mellanox.com/related-docs/whitepapers/WP_Scalable_Storage_InfiniBand_Final.pdf).
A další možnost, jako alternativa ke kaskádě SAS expandérů nebo IB fabricu: vyvést ze serveru co nejtlustší PCI-e do externího expanzního šasi (nebo do dvou), do těch šasi naložit větší počet SAS HBA. A každý HBA kanál by pak měl na sobě třeba jediný expandér v jediném diskovém šasi. Tzn. žádný vícepatrový daisy-stromeček ze SAS expandérů. Ale zase by narostl potřebný prostor pro servery a expanzní PCI-e boxy. Hm popravdě kdyby ty JBODy měly každý jediný uplink, tak by se 5-7 SAS HBA (každý 2x multilane external) vešly teoreticky do jednoho 3U šasi. Které by navíc eventuelně mohlo mít svých 16 disků. Jde jenom o to najít serverový board se 7x PCI-e.
Asi netřeba zdůrazňovat, že celá tahle DAS pornografie je dost old-school. Větší kapacity se dneska běžně řeší spíš "cloudově a distribuovaně" nad Ethernetem nebo TCP/IP apod., tzn. samotné disky a HBA jsou nuda, zajímavé je SW uspořádání nad tím.
No a stojan naložený cca půl tunou šásek a disků, s běžnou spotřebou (topným výkonem) okolo 3 kW, při rozběhu klidně k 10 kW (ledaže staggered spin-up)... dneska už asi jsou hostingy, které tohle vezmou. :-) Předpokládám že nehrozí začátečnické chyby typu "stojan nedostatečně hluboký" nebo "teplo se o sebe postará samo" :-)
Jak už tady říkali ostatní, on to rád někdo dodá celé na klíč. A asi je i správně, aby si za to celé ručil. Ale taky je fakt, že není špatné, udělat si předem jasno, jestli třeba řadič externího RAIDu v rámci "fair balancingu" neomezí datový tok jednoho "vlákna" na 100 MBps zatímco Vy potřebujete na chroustání 4k videa 10x tolik apod :-) Nepříjemná nedorozumnění se občas stávají...
BTW terabajt RAMky? Jo aha, ono je to "vcelku normální"... dá se to nacpat do desky s pouhými 8 DIMM sloty, pokud seženete DIMMy o kapacitě 128 GB (v provedení DDR4 se údajně nějaké dělají). Nejnovější dvoupaticové desky s LGA2011 tohle umí vcelku běžně, našel jsem i nějaké jednopaticové... Nebo jestli jsou DIMMy 32GB pořád ještě citelně levnější, tak vzít desku se 16 DIMM sloty (2x Xeon E5) a spokojit se s 512 GB RAM.
-
Nekrmte trolla. Jak tu psali prede mnou, kdyby opravdu něco takového někdy postavil a měl rozpočet na upgrade, tak by se buď neptal vůbec nebo ptal jinak.
-
Vlastní HW mi nepřijde tak nereálný.
5 x 24bay enclosure se zdrojem, osvědčil se mi Supermicro 846TQ s minimální konfigurací (jen pro provoz zdrojů a řízení ventilátorů, 1ks vyšel okolo 12 tis. Do nich po šesti adaptérech SFF-8087 <-> SFF-8088 https://www.ebay.com/itm/2-port-Internal-SFF-8087-to-External-8088-PCI-mini-SAS-26P-Adapter-SAS-RAID-WB1-/122940903725?hash=item1c9fd9512d , uvnitř napojit SFF-8087 kabely.
DL580 G7 4x osmijádro xeon E7-xxx + rozšiřující PCI-e sloty, celkem 11 PCI-e v2 min x8. - 20k
512GB RAM PC3-10600R okolo 20k (64 x 8GB). Lze 16GB dimmy, ale ty vyjdou podstatně dráž, pak 1TB
8x SAS 9200-16E , sloty na to jsou. Nemám vyzkoušené, zda bios jich pobere tolik, mám jen vyzkoušené 2 x 9200 + 1 x 8port.
S diskovými boxy propojit klasikou SFF8088 za pár stovek, v bundlu levnější. Mám to tak a funguje OK.
Je to už vše výběhové, PCIe-v2, ale bude sloužit ještě spoustu let. Elektřiny pár kW, ten DL580 si s 512GB RAM a 32jádry vezme okolo 800W.
-
Niečo také?
http://www.45drives.com/products/storage/ (http://www.45drives.com/products/storage/)
-
1 PB stavíme z 14 DL380 (HPE proliant) po 22 4TB diskách, buď pro hadoop nebo jako cifs storage (pro ZFS to je také vyhovující). s Jedním management serverem, jedném catalystem, 5y support se cenou dostáváme na 10M. Stabilně zápis/čtení 5GB/s.
U HPE se poté také používají Apollo krabice, tam ale na počet disků je málo cpu, takže max. jako NAS storage. Nevím jak to je s freebsd, na proliantech běží.
Jsem schopný ti to celé postavit a zavést do DC jaké si vybereš, na většinu pražských již mám přístup a objevuji se tam pravidelně.
-
Koukám že na velké šuple pro disky není třeba chodit daleko (http://www.abacus.cz/novinky-od-hgst-inovovane-4u-toploaded-jbody-_d5090223.html)...
-
Vy jste vážně lamy. Nechápu, proč na toho trola vůbec reagujete. Asi zase potřebujete nějakou tu studentku sociologie/ekonomie/psychologie, aby si z vás dělala zadek. Nějakou najdu.
-
A DDR4 ECC REG škáluje přímou úměrou až do 64 GB na DIMM modul, ten stojí něco přes 20kKč vč.DPH. Ať už se jedná o ECC REG nebo ECC LR. Tzn. s deskou co má 16 SODIMM slotů by se na ten 1 TB dalo dostat. Procesorově k tomu bude potřeba 2x Xeon E5.
-
Vy jste vážně lamy. Nechápu, proč na toho trola vůbec reagujete. Asi zase potřebujete nějakou tu studentku sociologie/ekonomie/psychologie, aby si z vás dělala zadek. Nějakou najdu.
-
Panove, puvodni storage mam postaveny na nejakem tehdy random xeonu a 4tb sasech od wdc, radice byli od adaptecu (ne hba, ale normalni raid). Puvodni reseni je na 1gbit, vyuzivane 1-5 stroji pres afp, na 1 stroji z nich i pres iscsi. V te dobe jenom disky stali pres 320€ za kus. Spocitat si umite v jakych cislech se pohybujeme. Nejedna se o reseni pro korporat, pro firmu, klidne tomu rikejte domaci NAS na porno nebo cokoliv chcete, duvody pro takhle veliky storage mam, kdo obcas sleduje co za ptakoviny tady davam tak vi ze 4k video, nejake AI a nejake vypocty jsou to co tam zabira momentalne misto. Nove reseni bude na 10gbitu, karty mam vybrane. Nehledam multinode reseni, opravdu chci mit vsech xxx disku k jednomu stroji (pokud je to jeste mozne), u existujiciho reseni to bylo mozne i kdyz to nevypada hezky, ale je to funkcni. HW si nakoupim sam od svych dodavatelu, cele reseni v pripade funkcnosti budu replikovat do svych x lokalit jak hardverove tak i data. Ze to bude stat spousty penez neresim, nekdo ma devky, nekdo kokain, nekdo utraci prschy takhle. Pohadky o sociologii nebo studentech si nechte prosim nekam jinam, prosim o konkretni zkusenosti s konkretnim HW. Zatim mam vybranou desku pro 2x xeon, mozna bych chtel 4x xeon ale nemam zadnou dlouhodobejsi zkusenost s 4cpu systemy, tudiz zase prosim o radu.
-
Vždy to chce znát provoz.
Pokud přichází požadavek na soubor X 1x za 100 dní, potřebuješ něco úplně jiného, než pokud tento požadavek přichází 10x za den.
Taky je rozdíl, jestli máš nějaká "velmi živá data", kam se zapisuje 1000x za vteřinu nebo jestli je přístup ke všem souborům cca stejný.
Klidně bych ti mohl odpovědět, tak si pořiď páskovou LTO 8 knihovnu a máš vymalováno ::)
Pokud neznáš typ zátěže, je to stejně validní odpověď, jako kdybych ti řekl, všechno musí být na Enterprise SSD Write Intensive discích.
Docela by mě zajímal ten šmoula, co ti dává výplatu, protože od kapacit PB už se to řeší komplet, včetně zálohování atd.
Neurčitý výkřik do fóra je takový kkt1-ní :-\
Popsal jsem to v dalsim prispevku, snad to je jasnejsi co ocekavam.
-
Také by mě zajímalo, jak se plánuje zálohování...
Existujici zalohovani je do dalsich lokalit.
-
Třeba to má na domácí zálohování fotek...
Ano, i domaci fotky tam jsou.
-
Obří porno server :o
Ano, i porno.
-
Obří porno server :o
Vše bude v 8k, HDR, 240FPS a VR
Zatim jenom 4k, ale v prubehu pristich 4 let kdy ten storage ma plnit svou funkci patrne k 8k prejdu.
-
Což se inspirovat hardwarem od iXsystems? U FreeNAS 4U mají v datasheetu kapacitu 1.73PB. Je v něm Xeon E5-2600v4 a 256 GB RAM.
Dekuji, konecne rozumna odpoved. Podivam se na to. Ta ram je imho pro 1pb nedostatecna, pouzivam na nekterych poolech deduplikaci a ta je holt nenazrana.
-
Kapacita v řádech PB se dá složit z desktopových disků, vždy 16x datových + 2x parové + 1x spare.
Vyjde to VELMI levně, levněji než skládat řešení obsahující drahé diskové řadiče.
V zásadě stačí spočítat cenu disků do požadované kapacity * 1.2(par+spare) + 60 000,- Kč na železo.
Řádově PB dnes už nejsou jakkoliv ohromující kapacity.
JENŽE jde o typ zátěže, výše uvedené pole se náramně hodí pro ukládání dat, daleko méně se hodí pro čtení.
Takové pole je možné plnit, plnit, plnit a občas sáhnout na starší data. Disky se uspávají po 20-ti minutách, proto se pole má plnit postupně.
A to nás rovnou přivádí k další otázce, kolik těch dat do toho při špičce poteče?
A kolik dat z toho ve špice poteče ven? Je hezké si postavit pole, ale to pole by taky mělo splnit nějaké předpoklady ne?
Třeba uspokojit požadavky zákazníků, co když pole postupně plním a plním, pěkně pomalu v klidu, ale pak okamžitě potřebuji celý jeho obsah projet? Třeba kvůli finanční analýze? Pak se bez velmi specializovaných řadičů neobejdu.
Podobně jako se bez nich neobejdu, pokud jsou požadavky na schopnost vyrovnat se s rázy, kdy mi třeba přijde přiteče 50TB dat a já o ně nesmím přijít.
Nestojim o levne disky, stojim o disky ktere budou nonstop dostupne, zadne powergreen pitchoviny. Pooly si vytvorim dle svych pozadavku, zadne spicky nejsou, reseni pro 1-5 stroju na 10gbitu, zadne regexp nad celym polem nebo prohledavani cehokoliv. Strucne jsem popsal co od toho ocekavam.
-
https://www.45drives.com/products/
Alebo
Backbkaze storage pod
Backblaze znam, na tohle se podivam. Dekuji.
-
Zkusím se trochu zasnít:
Jestli správně počítám, 42 U = 14 šasi po 3U, do 3U se vejde standardně 16 disků normálně v šuplíku na čelní stěně. To je 224 disků. Takže pokud je požadavek na 1 PB, vycházelo by to na 4.5 PB na disk v RAIDu 0. Tzn. pokud by to byl RAID 10 nebo nějaká podobná míra redundance (+100%), vychází to na cca 9-10 TB disky. Případně jsou k vidění šasi pro 24x 3.5" disků v 4U. To by se do stojanu vešlo 240 disků + by zbyly 2U na nějaký ten server. Asi trochu nesmysl to takhle našlapat, ale takové jsou teoretické počty. A jsou i nějaká šasi, kde se disky zřejmě strkají *dovnitř* = nejsou jednotlivě dostupné pro hot-swap z čelní strany. Což pak podle mého znamená, že je třeba celé šasi odstavit kvůli výměně jednoho disku...
Od koho šasi? No pokud ne HP / IBM / EMC=DELL tak třeba Infortrend nebo tihle němci (https://www.starline.de/) - vedle Infortrendu vedou i nějaké "svoje" značky s Arecou apod. uvnitř. Svého času tuším prodávali i Fujitsu nebo NEC, už nevím. Jsou na trhu už hrozně dlouho a výrobci přicházejí a odcházejí. Jo a abych nezapomněl, něco by se dalo vybrat taky u Supermicra (u nás Abacus / Compos).
Chápu správně, že to bude jediný veliký JBOD, nad kterým poběží ZFS?
Čím to připojit k serveru: no teoreticky asi přes SAS. Nakolik to bude provozně spolehlivé, bůh suď - celý ten strom JBODů bude samý single point of failure. Taky bacha jestli ty JBODy budou umět "větvit" / daisy-chainovat. Už si nepamatuju, jestli 240 disků nedojede na počet SCSI IDček na jedné sběrnici...
SAS dává teoreticky možnost, vydrátovat šasi "dvojmo" kvůli redundanci. A teoreticky jsou i nějaké disky, co mají dvojitý SAS uplink - jenom si nejsem jistej, nakolik je dvojitý SAS uplink na discích běžná věc. A jestli třeba takové ty "entry-level SAS Barracudy" nejsou naschvál single. A taky by to znamenalo, pořešit v serveru multipath. Další zajímavé téma je enclosure management a hot-swap jednotlivých disků. Matně si vybavuju z doby před 10-15 lety, že FreeBSD mělo už tehdy jakousi podporu pro enclosure manager šváby a normy...
Hrozně dlouho jsem neslyšel o discích s nativním FC, takže pokud by to mělo mít vnější interconnect přes FC, tak leda by to šasi obsahovalo bridge. Ještě mě napadá, jakpak je to s možností bridgovat SAS na InfiniBand (http://www.mellanox.com/related-docs/whitepapers/WP_Scalable_Storage_InfiniBand_Final.pdf).
A další možnost, jako alternativa ke kaskádě SAS expandérů nebo IB fabricu: vyvést ze serveru co nejtlustší PCI-e do externího expanzního šasi (nebo do dvou), do těch šasi naložit větší počet SAS HBA. A každý HBA kanál by pak měl na sobě třeba jediný expandér v jediném diskovém šasi. Tzn. žádný vícepatrový daisy-stromeček ze SAS expandérů. Ale zase by narostl potřebný prostor pro servery a expanzní PCI-e boxy. Hm popravdě kdyby ty JBODy měly každý jediný uplink, tak by se 5-7 SAS HBA (každý 2x multilane external) vešly teoreticky do jednoho 3U šasi. Které by navíc eventuelně mohlo mít svých 16 disků. Jde jenom o to najít serverový board se 7x PCI-e.
Asi netřeba zdůrazňovat, že celá tahle DAS pornografie je dost old-school. Větší kapacity se dneska běžně řeší spíš "cloudově a distribuovaně" nad Ethernetem nebo TCP/IP apod., tzn. samotné disky a HBA jsou nuda, zajímavé je SW uspořádání nad tím.
No a stojan naložený cca půl tunou šásek a disků, s běžnou spotřebou (topným výkonem) okolo 3 kW, při rozběhu klidně k 10 kW (ledaže staggered spin-up)... dneska už asi jsou hostingy, které tohle vezmou. :-) Předpokládám že nehrozí začátečnické chyby typu "stojan nedostatečně hluboký" nebo "teplo se o sebe postará samo" :-)
Jak už tady říkali ostatní, on to rád někdo dodá celé na klíč. A asi je i správně, aby si za to celé ručil. Ale taky je fakt, že není špatné, udělat si předem jasno, jestli třeba řadič externího RAIDu v rámci "fair balancingu" neomezí datový tok jednoho "vlákna" na 100 MBps zatímco Vy potřebujete na chroustání 4k videa 10x tolik apod :-) Nepříjemná nedorozumnění se občas stávají...
BTW terabajt RAMky? Jo aha, ono je to "vcelku normální"... dá se to nacpat do desky s pouhými 8 DIMM sloty, pokud seženete DIMMy o kapacitě 128 GB (v provedení DDR4 se údajně nějaké dělají). Nejnovější dvoupaticové desky s LGA2011 tohle umí vcelku běžně, našel jsem i nějaké jednopaticové... Nebo jestli jsou DIMMy 32GB pořád ještě citelně levnější, tak vzít desku se 16 DIMM sloty (2x Xeon E5) a spokojit se s 512 GB RAM.
Dekuji za smysluplnou reakci. Resim celkovou raw kapacitu 1PB, jak si to rozdelim pak je na me a mych pozadavcich ktere jsou mimo tuhle diskusi. Do racku by se AFAIK melo vejit 1PB bez problemu, treba backblaze ma ve 4U 60 disku, to co mam ted je takove na kolene poskladane reseni, ale kapacitne to nezabira vice nez 6U se 4tb disky, tudiz by to melo jit. Co se tyce ram a desek - mam nejakou predstavu, 1TB chci kvuli dedup a dalsim vecem, myslim ze 64gb moduly se daji sehnat, zalezi od konkretniho vyrobce. Pokud mate zkusenosti s konkretnimi deskami budu rad za info.
-
Nekrmte trolla. Jak tu psali prede mnou, kdyby opravdu něco takového někdy postavil a měl rozpočet na upgrade, tak by se buď neptal vůbec nebo ptal jinak.
Ja se ptam protoze za 4 roky se hv zmenil a jelikoz se v hw nepohybuji a nezivi me tak se ptam.
-
Vlastní HW mi nepřijde tak nereálný.
5 x 24bay enclosure se zdrojem, osvědčil se mi Supermicro 846TQ s minimální konfigurací (jen pro provoz zdrojů a řízení ventilátorů, 1ks vyšel okolo 12 tis. Do nich po šesti adaptérech SFF-8087 <-> SFF-8088 https://www.ebay.com/itm/2-port-Internal-SFF-8087-to-External-8088-PCI-mini-SAS-26P-Adapter-SAS-RAID-WB1-/122940903725?hash=item1c9fd9512d , uvnitř napojit SFF-8087 kabely.
DL580 G7 4x osmijádro xeon E7-xxx + rozšiřující PCI-e sloty, celkem 11 PCI-e v2 min x8. - 20k
512GB RAM PC3-10600R okolo 20k (64 x 8GB). Lze 16GB dimmy, ale ty vyjdou podstatně dráž, pak 1TB
8x SAS 9200-16E , sloty na to jsou. Nemám vyzkoušené, zda bios jich pobere tolik, mám jen vyzkoušené 2 x 9200 + 1 x 8port.
S diskovými boxy propojit klasikou SFF8088 za pár stovek, v bundlu levnější. Mám to tak a funguje OK.
Je to už vše výběhové, PCIe-v2, ale bude sloužit ještě spoustu let. Elektřiny pár kW, ten DL580 si s 512GB RAM a 32jádry vezme okolo 800W.
Konecne clovek ktery pochopil jaky bastl mam a jaky bastl ocekavam. 🤦♂️😄 Podobnou skladacku mam, na nic nesahat a funguje to 4 roky. Potrebuji ale vice mista, tudiz upgrade. Diky za reakci.
-
1 PB stavíme z 14 DL380 (HPE proliant) po 22 4TB diskách, buď pro hadoop nebo jako cifs storage (pro ZFS to je také vyhovující). s Jedním management serverem, jedném catalystem, 5y support se cenou dostáváme na 10M. Stabilně zápis/čtení 5GB/s.
U HPE se poté také používají Apollo krabice, tam ale na počet disků je málo cpu, takže max. jako NAS storage. Nevím jak to je s freebsd, na proliantech běží.
Jsem schopný ti to celé postavit a zavést do DC jaké si vybereš, na většinu pražských již mám přístup a objevuji se tam pravidelně.
Zadne hp mi nesmi nikam. Zadne dc, ale poslu ti sz treba se domluvime na postaveni celeho bastlu jestli te bavi skladat tyhle ptakoviny.
-
Vy jste vážně lamy. Nechápu, proč na toho trola vůbec reagujete. Asi zase potřebujete nějakou tu studentku sociologie/ekonomie/psychologie, aby si z vás dělala zadek. Nějakou najdu.
Javamane? ;D
-
Použil bych více menších DIMMů, vyjde to podstatně levněji, cokoliv > 8GB roste cenově dost prudce. Větší servery mají slotů dost (DL 580 G7 64x, G8 96x, ale G8 stojí řádově víc než G7, přestože to není osazením velký rozdíl). Pro ZFS je stejně potřeba hodně jader, vůbec bych se pro takovou zátěž nebál té čtyřpatice. DL 580 G7 nyní vyjde vysloveně na pár šupů a po instalaci té rozšiřovací desky za dva litry má dost PCIe slotů na 16portové desky. Systém dávám na interní disky, pole do skříní mimo. Navíc lze takový server kdykoliv nahradit jiným, jenom se přehodí 2+ interní disky na systém + JBOD řadiče na externí disky.
Udělal jsem si vlastní skříň na 30 hotswap disků + zdroj, ale SATA konektory moc nedrží a při hotswap výměně disku se mi občas stává, že se uvolnil i ten vedle a to už je hodně špatně. Tak přecházím na ty 24bay skříně od Supermicro, v DE běžně v nabídce. Navíc to má profi duální zdroje, jen jsem si v nich vyměnil ventilátory za tišší, ale hluk tě předpokládám nepálí.
Interní cage proliantů lze napojit na přídavný řadič s 8i výstupy a vynechat tak P410 s proprietárním formátem, aby bylo možné přejít snadno na jiný HW. Problém pak bývá bios HP, který z toho někdy nechce bootovat (ale linux disky vidí v pohodě). Takže OS nechávám na těch interních řadičích.
Sice používám starší karty SAS2/SATA2, ale bez expanderů, takže to jede OK.
IMO je ten petabajt reálný. Jen by to chtělo pořádnou redundanci. Počítal jsem to na 4 + 1, což je při tom počtu asi málo. Ale i pro 4 + 2 je to pořád 150 10TB disků, tedy 10ks 16portových karet, které se do toho DL580 vejdou. 32 jader by i se ZFS mohlo cvičit.
-
Což se inspirovat hardwarem od iXsystems? U FreeNAS 4U mají v datasheetu kapacitu 1.73PB. Je v něm Xeon E5-2600v4 a 256 GB RAM.
Dekuji, konecne rozumna odpoved. Podivam se na to. Ta ram je imho pro 1pb nedostatecna, pouzivam na nekterych poolech deduplikaci a ta je holt nenazrana.
Hardware, který používají, je v podstatě Supermicro. Skříně mají akorát jinou čelní masku s logem FreeNASu.
Deduplikaci jsem nikdy neměl odvahu zapnout, takže v tomto směru radou neposloužím.
Budeš skladovat data z astroteleskopu nebo z detektoru částic? ;)
-
Budeš skladovat data z astroteleskopu nebo z detektoru částic? ;)
Můžu se samozřejmě mýlit, ale tipl bych to na vysokou školu. Peníze nejsou problém, smysluplnost se moc neřeší a takovéhle bastlení zpravidla patří k folklóru.
-
To že polovině lidí tady příjde toto naprosto zbytečné ještě neznamená, že někdo pro tu kapacitu nemá využití.
Hodně inspirace se dá najít tady: https://www.reddit.com/r/DataHoarder/
-
https://www.supermicro.com/products/chassis/4U/946/SC946ED-R2KJBOD
-
Mně na tom vadí ten expander :-)
-
A co prostě koupit dva 60diskové Storinatory (https://www.45drives.com/products/storinator-xl60-configurations.php), nacpat do nich 10 TB NAS disky (případně i pár NVMe pro cache) a nad tím rozjet ZoL a Gluster? Budete mít petabajt i s dostatečnou redundancí na RAID a zabere to jen 8U, takže do jednoho racku to nacpete pětkrát.
-
Mně na tom vadí ten expander :-)
A co ti na něm konkrétně vadí?
-
Vlastní HW mi nepřijde tak nereálný.
5 x 24bay enclosure se zdrojem, osvědčil se mi Supermicro 846TQ s minimální konfigurací (jen pro provoz zdrojů a řízení ventilátorů, 1ks vyšel okolo 12 tis. Do nich po šesti adaptérech SFF-8087 <-> SFF-8088 https://www.ebay.com/itm/2-port-Internal-SFF-8087-to-External-8088-PCI-mini-SAS-26P-Adapter-SAS-RAID-WB1-/122940903725?hash=item1c9fd9512d , uvnitř napojit SFF-8087 kabely.
DL580 G7 4x osmijádro xeon E7-xxx + rozšiřující PCI-e sloty, celkem 11 PCI-e v2 min x8. - 20k
512GB RAM PC3-10600R okolo 20k (64 x 8GB). Lze 16GB dimmy, ale ty vyjdou podstatně dráž, pak 1TB
8x SAS 9200-16E , sloty na to jsou. Nemám vyzkoušené, zda bios jich pobere tolik, mám jen vyzkoušené 2 x 9200 + 1 x 8port.
S diskovými boxy propojit klasikou SFF8088 za pár stovek, v bundlu levnější. Mám to tak a funguje OK.
Je to už vše výběhové, PCIe-v2, ale bude sloužit ještě spoustu let. Elektřiny pár kW, ten DL580 si s 512GB RAM a 32jádry vezme okolo 800W.
Konecne clovek ktery pochopil jaky bastl mam a jaky bastl ocekavam. 🤦♂️😄 Podobnou skladacku mam, na nic nesahat a funguje to 4 roky. Potrebuji ale vice mista, tudiz upgrade. Diky za reakci.
Dobře vycházejí 4U JBODy od Supermicra - v SAS3 verzi na 44 disků nebo ve starší SAS2 na 45 disků. Jen pozor na chlazení - třeba do uzavřeného stojanu bez perforovaných dveří a chlazením podlahou bych takovou věc asi nedával.
Nativně je přední a zadní backplane s explanderem zřetězen - pokud si nehraješ na velké IOPS a datovou propustnost, tak to neni problém. Případně se předek a zadek vyvede ven samostatně a každá část připojí na vlastní HBA.
Pozor na to řešení s HBA co mají velký počet SAS portů - typicky mají tyhle HBA stejně na čipu jen 4 SAS linky, takže velký počet portů je pak spíš pro pocit -> pak bych spíš doporučil zřetězovat expandery za sebe. Nicméně ono to při použítí těhle boxů asi nebude potřeba - stačí vzít 2x tyhle 4U JBODy a naplnit je 12TB HDD - každý na samostatné HBA případně rozpojit uvnitř ty expandery a dát to na 4 HBA - to se pak vejde do skoro každého 2Učka a nemusí se řešit nějaký nesmyslný board se spoustou PCIe slotů.
-
Pozor na to řešení s HBA co mají velký počet SAS portů - typicky mají tyhle HBA stejně na čipu jen 4 SAS linky, takže velký počet portů je pak spíš pro pocit -> pak bych spíš doporučil zřetězovat expandery za sebe. Nicméně ono to při použítí těhle boxů asi nebude potřeba - stačí vzít 2x tyhle 4U JBODy a naplnit je 12TB HDD - každý na samostatné HBA případně rozpojit uvnitř ty expandery a dát to na 4 HBA - to se pak vejde do skoro každého 2Učka a nemusí se řešit nějaký nesmyslný board se spoustou PCIe slotů.
Díky, rád se nechám poučit někým zkušenějším. Pro 16portovou SAS9201 jsem našel jedině info, že používá LSI SAS 2116 a všude v datasheetu zmiňují 16 portů/8 PCIe lanes. Jde tedy o 16 SAS linek?
Pokud bych nepoužil expandéry, potřeboval bych > 100 portů, ne? Pro SAS2/SATA2 se mi do expandérů nechce, např. chci-li tam dát i SSD. Nebo PCIe NVMe a tam by se volné sloty opět hodily...
-
A co ti na něm konkrétně vadí?
Mám ještě staré řadiče SAS2/SATA2 a když tam dám SSD, už se blížím maximu linky, bez expandéru.
Ale samozřejmě na SAS3 je rezerva dostatečná...
-
Dekuji za smysluplnou reakci. Resim celkovou raw kapacitu 1PB, jak si to rozdelim pak je na me a mych pozadavcich ktere jsou mimo tuhle diskusi. Do racku by se AFAIK melo vejit 1PB bez problemu, treba backblaze ma ve 4U 60 disku, to co mam ted je takove na kolene poskladane reseni, ale kapacitne to nezabira vice nez 6U se 4tb disky, tudiz by to melo jit. Co se tyce ram a desek - mam nejakou predstavu, 1TB chci kvuli dedup a dalsim vecem, myslim ze 64gb moduly se daji sehnat, zalezi od konkretniho vyrobce. Pokud mate zkusenosti s konkretnimi deskami budu rad za info.
Popravdě v levném serverovém HW mám spíš dávné vzpomínky než nějaký aktuální přehled. Dustin vypadá, že je víc v obraze a má přehled o značkovém HW.
Obecně každému doporučuji, mít disky v šuplíkách jednotlivě přístupné zepředu (aby šly jednotlivě vyměňovat) a identifikovatelné, proto enclosure management. V momentě, kdy RAID vykopne disk, tak člověk brečí vděkem za failure LEDku - ale zákazníkům se to předem občas těžko vysvětluje :-) Na in-band SES se dá sáhnout pomocí sesutil (https://www.freebsd.org/cgi/man.cgi?query=sesutil&sektion=8) (používá driver ses (https://www.freebsd.org/cgi/man.cgi?query=ses&sektion=4&apropos=0&manpath=FreeBSD+11.2-RELEASE+and+Ports)).
Z tohoto důvodu, a taky kvůli chlazení, váze a hloubce (klidně přes metr) se mi nelíbí kastle, kde se do 4U nacpe 60-100 disků nastojato.
Pokud to nebude někde v útulné "teplé a studené uličce" tak bacha ať má stojan po celé ploše děrovaná vrata vpředu i vzadu (a osobně bych se snažil omezit i falešný vzduch uvnitř stojanu zezadu dopředu). Pokud máte ten luxus vybrat si stojan, tak 80cm šířka dává prostor po stranách pro umístění distribuce napájení a tahání kabeláže (ale bacha na ten falešnej vzduch).
Obecně u nového hardwaru je volba spíš věcí osobního vkusu a subjektivní důvěry v konkrétní značku - protože u toho prostě nejsou zkušenosti s konkrétním modelem motherboardu, zdrojů apod. Statistika se vytvoří až po létech běhu, a tou dobou je na trhu HW zas o dvě generace novější.
Jak jsem psal, nemám zkušenosti s aktuálním HW tohoto kalibru, ale dlouhodobě dost věřím značce Areca, a třeba Supermicro vypadá, že nakonec taky docela funguje (poslední průser si vybavuju ještě v dobách končící Capacitor Plague).
Zjistil jsem, že dokonce Areca má v nabídce JBODy na 12 disků/2U nebo 24disků/4U (http://www.areca.com.tw/products/92xx_jbod.htm). Uvnitř je expandér (nebo dva pro redundanci) a zezadu kouká jako uplink 12Gb SAS (x4 multilane). Tzn. není to direct attach, ale ten multilane SAS nebude úplně pomalý. Bude pomalejší než Dustinův nekompromisní "přímý propoj na každý jednotlivý disk". Případně by se dalo přemejšlet, jestli vzít šasi po 12 nebo 24 discích (šasi po 12 discích dá teoreticky větší průchodnost, ale vyjde dráž.)
Popravdě se mi Arečí "PS/2" zdroje s 80mm ventilátorem líbí víc, než Supermicrovic napájecí zdroje, hubené a dlouhé s 40mm větráky - ale je to jenom bezelstný pohled zvenčí, ono u zdrojů hodně záleží na obvodovém řešení, součástkách, detailech zapojení/chlazení, jmenovitém dimenzování atd.
Areca má taky nějaké "svoje" SAS HBA (http://www.areca.com.tw/products/sasnoneraid6g.htm), tuším končí na 6 Gbps (opět - vcelku proč ne) ale určitě budou fungovat i HBA od LSI apod. Arečí vlastní ARC-1320 má čipy Marvell, expandéry jsou pravděpodobně od LSI.
Bejvaly doby, kdy SASové čipy vyrábělo AVAGO a LSI a navzájem si konkurovali. Dneska jsou zřejmě oba pod jednou střechou (https://www.broadcom.com/products/storage/host-bus-adapters/#tab-span2) (LSI bylo sežráno Avagem a Avago se zanedlouho přejmenovalo na Broadcom). Zdá se, že aktuální 93xx/94xx jsou nadále "3rd-gen MPT SAS" (tzn. dědictví LSI Fusion MPT) ale skoro mám pocit, podle IDček z Windows driverů, že 94xx ještě možná nejsou komplet v Linuxové vanilce (driver mpt3sas) a prakticky shodná je koukám situace ve FreeBSD (driver mrsas). Čili situace je stejná jako před 15-20 lety: aktuálně prodávaný nejnovější HBA hardware ještě nemá drivery v distribucích :-) Opět má pravdu Dustin: držet se vyzkoušených modelů. (A to se snažím nevzpomínat na dávné quirky třeba u Adaptecu.)
Mě osobně se líbí šasi od Arecy. Jsou hluboká jenom asi 50 cm, všechno přístupné pro servis zvenčí, celá kisna se připojí k HBA jediným fousem. Do 16 U se vejde 96 disků, k serveru se to připojí 4 nebo 8 fousy. Na to teoreticky stačí 1-2 HBA karty (při dvojitě redundantním připojení 2-4).
Dustinova koncepce "direct attach" má teoreticky tu výhodu, že každý disk má svůj vlastní kanál na HBA, tzn. nevstupuje do toho expandér. (V dávných dobách se tradovalo, že za určitých okolností expandér jede proti HBA jediným lanem, ale už nevím, jestli to bylo v případě kdy se skrz expandér sahalo na SATA disk, nebo jediné vlákno, nebo v čem byl přesně problém.) Direct attach má maximální průchodnost. Kromě toho je expandér další potenciální "point of failure".
Odhadem může být problém, dosáhnout při "direct attach" na failure LEDky, protože jednotlivě připojené disky nemají in-band SES (expandér pravděpodobně ano). Leda by se z HBA do backplanu dalo dotáhnout ještě taky SGPIO. Matně si vybavuju, že TQ šáska SuperMicro SGPIO podporují. Ale nenašel jsem zmínky, že by SGPIO podporovaly mpt3sas HBA's a že by se na to dalo nějak sáhnout. Čili SGPIO asi leda v kombinaci s HW RAIDem :-(
Tady jsem našel debatu (http://www.webhostingtalk.com/showthread.php?t=1490214) se zmínkou o ZFS nad multipath SASem proti diskům: Debatěj tam taky o zapřažení flash SSD a že to jde připojit na multipath pomocí "redukce do šuplíku". Konkrétně od Supermicra.
Pokud se týče boardů, koukal jsem na tyhle s DDR4: 1 (https://www.supermicro.com/products/motherboard/Xeon/C600/X10DRH-iT.cfm) 2 (https://www.supermicro.com/products/motherboard/Xeon/C600/X10DRi-T.cfm) 3 (https://www.supermicro.com/products/motherboard/Xeon/C600/X10DRi-T4_.cfm) 4 (https://www.supermicro.com/products/motherboard/Xeon/C600/X10SRL-F.cfm) . Plus spousta příbuzných. Koukám všechny berou DDR4 LR paměti. Uvedené desky jsou všecky s LGA2011, ale tamtéž jsou k vidění i sestřičky s LGA3647. Poslední PCI-e slot bývá jenom x4, ale není to železné pravidlo a i kdyby, tak PCIe 2.0 nebo 3.0 x4 má průchodnosti pořád relativně dost.
Pokud se týče RAM, namátkou jsem nahlédl zde: DDR4 ECC REG (http://www.abacus.cz/pametove-moduly-ddr4-ddr4-ecc-registered_c11453006.html?page=2#prodlistanchor) a DDR4 LR (http://www.abacus.cz/pametove-moduly-ddr4-ddr4-ecc-loadreduced_c11453007.html). (Nemám s tou firmou nic společného.) Bacha ECC REG a LR zřejmě nejsou v konkrétním boardu záměnné. Jasně jsou to koncovky, dál to komentovat nebudu. Pro přehled to myslím stačí velmi dobře. Pokud správně rozumím, "škáluje" u DDR4 cena lineárně mnohem dál než u DDR3. Nebo se u DDR3 bavíme o 8GB modulech z druhé ruky, které adminům "zbývají" při upgradech a proto jsou levné? Tolik k nápadu repasovat starší hardware a cpát do něj terabajt DDR3.
Pokud se týče disků: podle popisu připadají v úvahu např. Seagate Exos x12 (https://www.seagate.com/www-content/datasheets/pdfs/exos-x-12-DS1946-2-1712US-en_US.pdf) (až 12 TB), Exos x10 (https://www.seagate.com/www-content/datasheets/pdfs/exos-x-10DS1948-1-1709US-en_US.pdf) (až 10 TB), Exos 7E8 (https://www.seagate.com/files/www-content/datasheets/pdfs/exos-7-e8-data-sheet-DS1957-1-1709US-en_US.pdf) (až 8 TB). x10 a x12 jsou héliové, 7e8 je zřejmě plněný vzduchem. Všechny tři rodiny obsahují SATA i SAS modely, na výběr je kupodivu dodnes velikost sektoru 512B nebo 4 kB. A všechny modely se SAS rozhraním mají dvojitý uplink - pokud by byl zájem o multipath zapojení disků.
Pokud byste se zajímal o Arecu/Supermicro, tak Starline, Abacus i Compos tenhle hardware staví/prodávají dlouhá léta (a snad se i trochu starají o zákazníky v DC), budou vědět co a jak, přitom jsou to pořád v zásadě "železářství" tzn. doufám žádní nafukovací hochštapleři.
-
S těmi ledkami je to samozřejmě u "samodělek" problém. Řešíme to tak, že každý šuplík má na sobě samolepku se sériovým číslem (na úvod se vytisknou všechny najednou a rozstříhají). Při startu mám jednoduchý skript, který do TXT souboru naháže veškeré mapování sdXY -> sériové číslo.
Při výměně disku se vždy vytiskne nová samolepka, aby to bylo vždy aktuální.
Mapování na sdXY není až tak potřeba, protože v ZFS disky identifikujeme rovnou labelem obsahujícím sériové číslo, takže vypadlý disk je hned v zpool status vidět a stačí zkopírovat/poslat mailem/hodit přes lpr na tiskárnu. Pak už jenom koukat a nesáhnout vedle :-) Mapovací info se hodí spíš jen pro legacy mdraid.
8GB DDR3 ECC jsou tak levné, protože většina korporací G7 generace = DDR3 vyřazuje a je jich plný repas trh - 32jádrová DL580 G7 za poslední dva roky spadla ani ne na polovinu. Ale ten HW ještě pár let vydrží a za tyhle peníze je snadné mít ve skladu rezervní.
Samozřejmě pokud má někdo budget na nové, nebude ztrácet čas repasem...
-
Pozor na to řešení s HBA co mají velký počet SAS portů - typicky mají tyhle HBA stejně na čipu jen 4 SAS linky, takže velký počet portů je pak spíš pro pocit
Budu-li mluvit konkrétně:
Areca ARC-1320-8x (Marvell): 8 linek pro disky (2x x4 multilane)
Areca ARC-1320ix-16 (Marvell): onboard expandér
LSI SAS 9300-16e (2 ks LSI 3008 "Fury" + PCI-e bridge): PCI-e 3.0 x8, čistých 16 linek pro disky, <2 M IOps, full height, 27W
LSI SAS 9302-16e (2 ks LSI 3008 "Fury" + PCI-e bridge): PCI-e 3.0 x16, čistých 16 linek pro disky, 2.8 M IOps, full height, 29W
LSI SAS 9305-16e (1 ks LSI 3216 "Cutlass"): PCI-e 3.0 x8, čistých 16 linek pro disky, 1.5 M IOps, low profile, 13 W
LSI SAS 9400-16e (1 ks LSI 3416 "Crusader"): PCI-e 3.1 x8, čistých 16 linek pro disky, ? IOps ?, low profile?, 11W
LSI SAS 9405-16e (1 ks LSI 3616 "Mercator"): PCI-e 3.1 x16, čistých 16 linek pro disky, ? IOps ?, low profile?, 14W
Crusader a Mercator zatím zřejmě nejsou ve FreeBSD (https://github.com/freebsd/freebsd/blob/master/sys/dev/mrsas/mrsas.c), ve vanilkovém upstream Linuxu (https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/tree/drivers/scsi/mpt3sas/mpt3sas_scsih.c) už ano. Ve widlowsím driveru je vidět pár dalších (novějších) codenames.
-
Díky, LSI SAS se tedy nebojím :-)
-
Kdyby se použila redundance RAIDZ2 4+2 a 22 vdevů, vejde se 132 12TB disků do 6ks 4U 24bay beden, všechny disky přístupné pohodlně zepředu. A ještě zbydou volné rámečky i porty na SSD L2ARCy, pokud by nebyly na volných PCIe.
To pěkně vychází každý disk z vdevu v jiné bedně, takže i při teoretickém výpadku celé bedny by stále byla redundance 4+1. Každá bedna má 2 zdroje, server 4, snadno se rozdělí na 2 napájecí větve.
1TB 64x16GB DDR3 vyjde kolem 90 tis., server se 4x xeon e7-xxx a všemi paměťovými moduly 25k , 9x 16portové SAS2/SATA2 řadiče 15k, skříně s duálními zdroji 6 x 12k, kabely, IMO by se do 200-250k repasy + cena disků + UPS mělo vejít. Disky by se kupovaly vždycky, tam není co ušetřit. Spotřeba 1kW server + 250W řadiče + 2kW disky + <1kW režie skříní - kolem 4kW. Druhý server (bez RAM), pár řadičů a jedna disková skříň do skladu.
IMO je to reálné a stačilo by na jednom serveru s minimem RAM otestovat, že si vezme všechny ty řadiče a všechny budou vidět v linuxu. To by byl úvodní náklad cca 30 tis. Pak už nevidím nic, co by mohlo být zásadním problémem.
-
1TB 64x16GB DDR3 vyjde kolem 90 tis.
:-) 90 Kč / GB? Konečně chápu a souhlasím. Nové DDR4 stojí asi 350 Kč/GB.
Pokud ta věc bude bootovat z nějakého direct-attached mirroru (klidně interního) tak není ani potřeba, aby prašivý značkový BIOS "viděl" všechny HBA a disky. Možná naopak lepší kdyby neviděl :-D Ono by možná šlo zakázat v BIOSu startování přídavných option ROM ze zásuvných PCI karet. Hlavně aby byly HBA dostupné na PCI sběrnici. Linux nebo BSD už si je přebere. Moderní HBA čipy IMO nepotřebujou, aby si na ně při startu sáhla BIOSová option ROMka.
-
:-) 90 Kč / GB? Konečně chápu a souhlasím. Nové DDR4 stojí asi 350 Kč/GB.
Vycházel jsem z https://www.ebay.com/itm/Samsung-128GB-8x16GB-4Rx4-PC3-10600R-1333Mhz-DDR3-ECC-Registered-DIMM-Memory-RAM/351824930626 , tj. 8 x 16GB za 12tis + dobré hodnocení. Téhle RAM z Číny už jsem koupil hodně přes 500GB, takže se toho nebojím. Při větším odběru dá určitě slevu, poslat DHL, aby to proboha neskončilo na poštovní celnici...
Pokud ta věc bude bootovat z nějakého direct-attached mirroru (klidně interního) tak není ani potřeba, aby prašivý značkový BIOS "viděl" všechny HBA a disky. Možná naopak lepší kdyby neviděl :-D Ono by možná šlo zakázat v BIOSu startování přídavných option ROM ze zásuvných PCI karet. Hlavně aby byly HBA dostupné na PCI sběrnici. Linux nebo BSD už si je přebere. Moderní HBA čipy IMO nepotřebujou, aby si na ně při startu sáhla BIOSová option ROMka.
V Dellu s interním LSI sice tyhle 16portové řadiče v biosu vidět byly, ale myslím, že z nich nešlo bootovat. Nezvládalo to ale myslím současně interní LSI (SAS93xx), přídavné LSI 92xx i8 a 2x přídavné LSI 9201 e16. HP byl myslím OK, co si pamatuju. Proto by bylo potřeba nejdříve otestovat, že OS po bootu všechny ty řadiče v daném serveru uvidí. A samozřejmě také otestovat podporu 12TB disků, největší mám jen 6TB, ty jsou OK. To by byly minimální náklady, 1 řadič stojí max 1500Kč, spíš méně.
https://www.ebay.com/itm/LSI-SAS9201-16e-16-Port-6GB-s-SAS-SATA-Express-Host-Bus-Adapter/162954725663 či dokonce https://www.ebay.com/itm/LSI-SAS-9201-16e-4-Port-SAS-6Gb-s-HBA-Controller-Card-PCI-e-x8-H3-25379-01F/263373194324, vše lokálně naposílat do kalifornského skladu shipito a pak odeslat najednou.
-
Hm tyjo. Na DIITu zrovna zajímavá zprávička (https://diit.cz/clanek/samsung-nove-nabizi-8-tb-nvme-ssd-pro-datacentra-do-2u-vmestna-az-576-tb) a v diskusi to někdo ještě opepřil (https://diit.cz/clanek/samsung-nove-nabizi-8-tb-nvme-ssd-pro-datacentra-do-2u-vmestna-az-576-tb/diskuse#comment-1159767). Pomalu začínám chápat, kdo se zbavuje 16GB DIMMů a 6Gbit/16port SAS HBA.
-
A za pár let tohle NVMe v repasu za hubičku :-) Už se těším.
Starší výkonný HW nic nestojí, všechno je to o SW, s tím je pořád stejná práce...
-
Použil bych více menších DIMMů, vyjde to podstatně levněji, cokoliv > 8GB roste cenově dost prudce. Větší servery mají slotů dost (DL 580 G7 64x, G8 96x, ale G8 stojí řádově víc než G7, přestože to není osazením velký rozdíl). Pro ZFS je stejně potřeba hodně jader, vůbec bych se pro takovou zátěž nebál té čtyřpatice. DL 580 G7 nyní vyjde vysloveně na pár šupů a po instalaci té rozšiřovací desky za dva litry má dost PCIe slotů na 16portové desky. Systém dávám na interní disky, pole do skříní mimo. Navíc lze takový server kdykoliv nahradit jiným, jenom se přehodí 2+ interní disky na systém + JBOD řadiče na externí disky.
Udělal jsem si vlastní skříň na 30 hotswap disků + zdroj, ale SATA konektory moc nedrží a při hotswap výměně disku se mi občas stává, že se uvolnil i ten vedle a to už je hodně špatně. Tak přecházím na ty 24bay skříně od Supermicro, v DE běžně v nabídce. Navíc to má profi duální zdroje, jen jsem si v nich vyměnil ventilátory za tišší, ale hluk tě předpokládám nepálí.
Interní cage proliantů lze napojit na přídavný řadič s 8i výstupy a vynechat tak P410 s proprietárním formátem, aby bylo možné přejít snadno na jiný HW. Problém pak bývá bios HP, který z toho někdy nechce bootovat (ale linux disky vidí v pohodě). Takže OS nechávám na těch interních řadičích.
Sice používám starší karty SAS2/SATA2, ale bez expanderů, takže to jede OK.
IMO je ten petabajt reálný. Jen by to chtělo pořádnou redundanci. Počítal jsem to na 4 + 1, což je při tom počtu asi málo. Ale i pro 4 + 2 je to pořád 150 10TB disků, tedy 10ks 16portových karet, které se do toho DL580 vejdou. 32 jader by i se ZFS mohlo cvičit.
Ten 1PB myslim raw storage, redundanci, typ poolu atd si udelam dle svych potreb. Diky za nastrel, podivam se na to detailne.
-
Což se inspirovat hardwarem od iXsystems? U FreeNAS 4U mají v datasheetu kapacitu 1.73PB. Je v něm Xeon E5-2600v4 a 256 GB RAM.
Dekuji, konecne rozumna odpoved. Podivam se na to. Ta ram je imho pro 1pb nedostatecna, pouzivam na nekterych poolech deduplikaci a ta je holt nenazrana.
Hardware, který používají, je v podstatě Supermicro. Skříně mají akorát jinou čelní masku s logem FreeNASu.
Deduplikaci jsem nikdy neměl odvahu zapnout, takže v tomto směru radou neposloužím.
Budeš skladovat data z astroteleskopu nebo z detektoru částic? ;)
/dev/random generator... ;)
-
Budeš skladovat data z astroteleskopu nebo z detektoru částic? ;)
Můžu se samozřejmě mýlit, ale tipl bych to na vysokou školu. Peníze nejsou problém, smysluplnost se moc neřeší a takovéhle bastlení zpravidla patří k folklóru.
Ne, je to soukroma vec, jak jsem jiz psal nekdo holky, nekdo kokain, nekdo ma duvod mit veliky storage.
-
https://www.supermicro.com/products/chassis/4U/946/SC946ED-R2KJBOD
Dekuji!
-
A co prostě koupit dva 60diskové Storinatory (https://www.45drives.com/products/storinator-xl60-configurations.php), nacpat do nich 10 TB NAS disky (případně i pár NVMe pro cache) a nad tím rozjet ZoL a Gluster? Budete mít petabajt i s dostatečnou redundancí na RAID a zabere to jen 8U, takže do jednoho racku to nacpete pětkrát.
Dekuji, ne.
-
Vlastní HW mi nepřijde tak nereálný.
5 x 24bay enclosure se zdrojem, osvědčil se mi Supermicro 846TQ s minimální konfigurací (jen pro provoz zdrojů a řízení ventilátorů, 1ks vyšel okolo 12 tis. Do nich po šesti adaptérech SFF-8087 <-> SFF-8088 https://www.ebay.com/itm/2-port-Internal-SFF-8087-to-External-8088-PCI-mini-SAS-26P-Adapter-SAS-RAID-WB1-/122940903725?hash=item1c9fd9512d , uvnitř napojit SFF-8087 kabely.
DL580 G7 4x osmijádro xeon E7-xxx + rozšiřující PCI-e sloty, celkem 11 PCI-e v2 min x8. - 20k
512GB RAM PC3-10600R okolo 20k (64 x 8GB). Lze 16GB dimmy, ale ty vyjdou podstatně dráž, pak 1TB
8x SAS 9200-16E , sloty na to jsou. Nemám vyzkoušené, zda bios jich pobere tolik, mám jen vyzkoušené 2 x 9200 + 1 x 8port.
S diskovými boxy propojit klasikou SFF8088 za pár stovek, v bundlu levnější. Mám to tak a funguje OK.
Je to už vše výběhové, PCIe-v2, ale bude sloužit ještě spoustu let. Elektřiny pár kW, ten DL580 si s 512GB RAM a 32jádry vezme okolo 800W.
Konecne clovek ktery pochopil jaky bastl mam a jaky bastl ocekavam. 🤦♂️😄 Podobnou skladacku mam, na nic nesahat a funguje to 4 roky. Potrebuji ale vice mista, tudiz upgrade. Diky za reakci.
Dobře vycházejí 4U JBODy od Supermicra - v SAS3 verzi na 44 disků nebo ve starší SAS2 na 45 disků. Jen pozor na chlazení - třeba do uzavřeného stojanu bez perforovaných dveří a chlazením podlahou bych takovou věc asi nedával.
Nativně je přední a zadní backplane s explanderem zřetězen - pokud si nehraješ na velké IOPS a datovou propustnost, tak to neni problém. Případně se předek a zadek vyvede ven samostatně a každá část připojí na vlastní HBA.
Pozor na to řešení s HBA co mají velký počet SAS portů - typicky mají tyhle HBA stejně na čipu jen 4 SAS linky, takže velký počet portů je pak spíš pro pocit -> pak bych spíš doporučil zřetězovat expandery za sebe. Nicméně ono to při použítí těhle boxů asi nebude potřeba - stačí vzít 2x tyhle 4U JBODy a naplnit je 12TB HDD - každý na samostatné HBA případně rozpojit uvnitř ty expandery a dát to na 4 HBA - to se pak vejde do skoro každého 2Učka a nemusí se řešit nějaký nesmyslný board se spoustou PCIe slotů.
Na tohle jsem se koukal, iops me nejak zasadne neomezuje. Dekuji!
-
Dekuji za smysluplnou reakci. Resim celkovou raw kapacitu 1PB, jak si to rozdelim pak je na me a mych pozadavcich ktere jsou mimo tuhle diskusi. Do racku by se AFAIK melo vejit 1PB bez problemu, treba backblaze ma ve 4U 60 disku, to co mam ted je takove na kolene poskladane reseni, ale kapacitne to nezabira vice nez 6U se 4tb disky, tudiz by to melo jit. Co se tyce ram a desek - mam nejakou predstavu, 1TB chci kvuli dedup a dalsim vecem, myslim ze 64gb moduly se daji sehnat, zalezi od konkretniho vyrobce. Pokud mate zkusenosti s konkretnimi deskami budu rad za info.
Popravdě v levném serverovém HW mám spíš dávné vzpomínky než nějaký aktuální přehled. Dustin vypadá, že je víc v obraze a má přehled o značkovém HW.
Obecně každému doporučuji, mít disky v šuplíkách jednotlivě přístupné zepředu (aby šly jednotlivě vyměňovat) a identifikovatelné, proto enclosure management. V momentě, kdy RAID vykopne disk, tak člověk brečí vděkem za failure LEDku - ale zákazníkům se to předem občas těžko vysvětluje :-) Na in-band SES se dá sáhnout pomocí sesutil (https://www.freebsd.org/cgi/man.cgi?query=sesutil&sektion=8) (používá driver ses (https://www.freebsd.org/cgi/man.cgi?query=ses&sektion=4&apropos=0&manpath=FreeBSD+11.2-RELEASE+and+Ports)).
Z tohoto důvodu, a taky kvůli chlazení, váze a hloubce (klidně přes metr) se mi nelíbí kastle, kde se do 4U nacpe 60-100 disků nastojato.
Pokud to nebude někde v útulné "teplé a studené uličce" tak bacha ať má stojan po celé ploše děrovaná vrata vpředu i vzadu (a osobně bych se snažil omezit i falešný vzduch uvnitř stojanu zezadu dopředu). Pokud máte ten luxus vybrat si stojan, tak 80cm šířka dává prostor po stranách pro umístění distribuce napájení a tahání kabeláže (ale bacha na ten falešnej vzduch).
Obecně u nového hardwaru je volba spíš věcí osobního vkusu a subjektivní důvěry v konkrétní značku - protože u toho prostě nejsou zkušenosti s konkrétním modelem motherboardu, zdrojů apod. Statistika se vytvoří až po létech běhu, a tou dobou je na trhu HW zas o dvě generace novější.
Jak jsem psal, nemám zkušenosti s aktuálním HW tohoto kalibru, ale dlouhodobě dost věřím značce Areca, a třeba Supermicro vypadá, že nakonec taky docela funguje (poslední průser si vybavuju ještě v dobách končící Capacitor Plague).
Zjistil jsem, že dokonce Areca má v nabídce JBODy na 12 disků/2U nebo 24disků/4U (http://www.areca.com.tw/products/92xx_jbod.htm). Uvnitř je expandér (nebo dva pro redundanci) a zezadu kouká jako uplink 12Gb SAS (x4 multilane). Tzn. není to direct attach, ale ten multilane SAS nebude úplně pomalý. Bude pomalejší než Dustinův nekompromisní "přímý propoj na každý jednotlivý disk". Případně by se dalo přemejšlet, jestli vzít šasi po 12 nebo 24 discích (šasi po 12 discích dá teoreticky větší průchodnost, ale vyjde dráž.)
Popravdě se mi Arečí "PS/2" zdroje s 80mm ventilátorem líbí víc, než Supermicrovic napájecí zdroje, hubené a dlouhé s 40mm větráky - ale je to jenom bezelstný pohled zvenčí, ono u zdrojů hodně záleží na obvodovém řešení, součástkách, detailech zapojení/chlazení, jmenovitém dimenzování atd.
Areca má taky nějaké "svoje" SAS HBA (http://www.areca.com.tw/products/sasnoneraid6g.htm), tuším končí na 6 Gbps (opět - vcelku proč ne) ale určitě budou fungovat i HBA od LSI apod. Arečí vlastní ARC-1320 má čipy Marvell, expandéry jsou pravděpodobně od LSI.
Bejvaly doby, kdy SASové čipy vyrábělo AVAGO a LSI a navzájem si konkurovali. Dneska jsou zřejmě oba pod jednou střechou (https://www.broadcom.com/products/storage/host-bus-adapters/#tab-span2) (LSI bylo sežráno Avagem a Avago se zanedlouho přejmenovalo na Broadcom). Zdá se, že aktuální 93xx/94xx jsou nadále "3rd-gen MPT SAS" (tzn. dědictví LSI Fusion MPT) ale skoro mám pocit, podle IDček z Windows driverů, že 94xx ještě možná nejsou komplet v Linuxové vanilce (driver mpt3sas) a prakticky shodná je koukám situace ve FreeBSD (driver mrsas). Čili situace je stejná jako před 15-20 lety: aktuálně prodávaný nejnovější HBA hardware ještě nemá drivery v distribucích :-) Opět má pravdu Dustin: držet se vyzkoušených modelů. (A to se snažím nevzpomínat na dávné quirky třeba u Adaptecu.)
Mě osobně se líbí šasi od Arecy. Jsou hluboká jenom asi 50 cm, všechno přístupné pro servis zvenčí, celá kisna se připojí k HBA jediným fousem. Do 16 U se vejde 96 disků, k serveru se to připojí 4 nebo 8 fousy. Na to teoreticky stačí 1-2 HBA karty (při dvojitě redundantním připojení 2-4).
Dustinova koncepce "direct attach" má teoreticky tu výhodu, že každý disk má svůj vlastní kanál na HBA, tzn. nevstupuje do toho expandér. (V dávných dobách se tradovalo, že za určitých okolností expandér jede proti HBA jediným lanem, ale už nevím, jestli to bylo v případě kdy se skrz expandér sahalo na SATA disk, nebo jediné vlákno, nebo v čem byl přesně problém.) Direct attach má maximální průchodnost. Kromě toho je expandér další potenciální "point of failure".
Odhadem může být problém, dosáhnout při "direct attach" na failure LEDky, protože jednotlivě připojené disky nemají in-band SES (expandér pravděpodobně ano). Leda by se z HBA do backplanu dalo dotáhnout ještě taky SGPIO. Matně si vybavuju, že TQ šáska SuperMicro SGPIO podporují. Ale nenašel jsem zmínky, že by SGPIO podporovaly mpt3sas HBA's a že by se na to dalo nějak sáhnout. Čili SGPIO asi leda v kombinaci s HW RAIDem :-(
Tady jsem našel debatu (http://www.webhostingtalk.com/showthread.php?t=1490214) se zmínkou o ZFS nad multipath SASem proti diskům: Debatěj tam taky o zapřažení flash SSD a že to jde připojit na multipath pomocí "redukce do šuplíku". Konkrétně od Supermicra.
Pokud se týče boardů, koukal jsem na tyhle s DDR4: 1 (https://www.supermicro.com/products/motherboard/Xeon/C600/X10DRH-iT.cfm) 2 (https://www.supermicro.com/products/motherboard/Xeon/C600/X10DRi-T.cfm) 3 (https://www.supermicro.com/products/motherboard/Xeon/C600/X10DRi-T4_.cfm) 4 (https://www.supermicro.com/products/motherboard/Xeon/C600/X10SRL-F.cfm) . Plus spousta příbuzných. Koukám všechny berou DDR4 LR paměti. Uvedené desky jsou všecky s LGA2011, ale tamtéž jsou k vidění i sestřičky s LGA3647. Poslední PCI-e slot bývá jenom x4, ale není to železné pravidlo a i kdyby, tak PCIe 2.0 nebo 3.0 x4 má průchodnosti pořád relativně dost.
Pokud se týče RAM, namátkou jsem nahlédl zde: DDR4 ECC REG (http://www.abacus.cz/pametove-moduly-ddr4-ddr4-ecc-registered_c11453006.html?page=2#prodlistanchor) a DDR4 LR (http://www.abacus.cz/pametove-moduly-ddr4-ddr4-ecc-loadreduced_c11453007.html). (Nemám s tou firmou nic společného.) Bacha ECC REG a LR zřejmě nejsou v konkrétním boardu záměnné. Jasně jsou to koncovky, dál to komentovat nebudu. Pro přehled to myslím stačí velmi dobře. Pokud správně rozumím, "škáluje" u DDR4 cena lineárně mnohem dál než u DDR3. Nebo se u DDR3 bavíme o 8GB modulech z druhé ruky, které adminům "zbývají" při upgradech a proto jsou levné? Tolik k nápadu repasovat starší hardware a cpát do něj terabajt DDR3.
Pokud se týče disků: podle popisu připadají v úvahu např. Seagate Exos x12 (https://www.seagate.com/www-content/datasheets/pdfs/exos-x-12-DS1946-2-1712US-en_US.pdf) (až 12 TB), Exos x10 (https://www.seagate.com/www-content/datasheets/pdfs/exos-x-10DS1948-1-1709US-en_US.pdf) (až 10 TB), Exos 7E8 (https://www.seagate.com/files/www-content/datasheets/pdfs/exos-7-e8-data-sheet-DS1957-1-1709US-en_US.pdf) (až 8 TB). x10 a x12 jsou héliové, 7e8 je zřejmě plněný vzduchem. Všechny tři rodiny obsahují SATA i SAS modely, na výběr je kupodivu dodnes velikost sektoru 512B nebo 4 kB. A všechny modely se SAS rozhraním mají dvojitý uplink - pokud by byl zájem o multipath zapojení disků.
Pokud byste se zajímal o Arecu/Supermicro, tak Starline, Abacus i Compos tenhle hardware staví/prodávají dlouhá léta (a snad se i trochu starají o zákazníky v DC), budou vědět co a jak, přitom jsou to pořád v zásadě "železářství" tzn. doufám žádní nafukovací hochštapleři.
Dekuji! Hw budu kupovat v Nemecku.
-
S těmi ledkami je to samozřejmě u "samodělek" problém. Řešíme to tak, že každý šuplík má na sobě samolepku se sériovým číslem (na úvod se vytisknou všechny najednou a rozstříhají). Při startu mám jednoduchý skript, který do TXT souboru naháže veškeré mapování sdXY -> sériové číslo.
Při výměně disku se vždy vytiskne nová samolepka, aby to bylo vždy aktuální.
Mapování na sdXY není až tak potřeba, protože v ZFS disky identifikujeme rovnou labelem obsahujícím sériové číslo, takže vypadlý disk je hned v zpool status vidět a stačí zkopírovat/poslat mailem/hodit přes lpr na tiskárnu. Pak už jenom koukat a nesáhnout vedle :-) Mapovací info se hodí spíš jen pro legacy mdraid.
8GB DDR3 ECC jsou tak levné, protože většina korporací G7 generace = DDR3 vyřazuje a je jich plný repas trh - 32jádrová DL580 G7 za poslední dva roky spadla ani ne na polovinu. Ale ten HW ještě pár let vydrží a za tyhle peníze je snadné mít ve skladu rezervní.
Samozřejmě pokud má někdo budget na nové, nebude ztrácet čas repasem...
S tema stitky to mam udelane ted stejne, ale u 1PB si to proste uz neumim predstavit. Uz i ted je to pakarna najit ten spravny serial no na nekterem z disku...