Zobrazit příspěvky
Tato sekce Vám umožňuje zobrazit všechny příspěvky tohoto uživatele. Prosím uvědomte si, že můžete vidět příspěvky pouze z oblastí Vám přístupných.
Takze po 500? Ja do toho nevidim.Možná nějaké php lopaty ano, ale sem chodí jen programátorská elita.Pockej, tady pod 250k nikdo z postele nevstane...Tady se to koukám zvrhlo k tomu, jak mají programátoři vychovávat dětiKdo jiny by na to mel mit nazor nez programator? Jeste je nutno dodat ze je potreba vydelavat min 200k.
Pockej, tady pod 250k nikdo z postele nevstane...Tady se to koukám zvrhlo k tomu, jak mají programátoři vychovávat dětiKdo jiny by na to mel mit nazor nez programator? Jeste je nutno dodat ze je potreba vydelavat min 200k.
S těmi ledkami je to samozřejmě u "samodělek" problém. Řešíme to tak, že každý šuplík má na sobě samolepku se sériovým číslem (na úvod se vytisknou všechny najednou a rozstříhají). Při startu mám jednoduchý skript, který do TXT souboru naháže veškeré mapování sdXY -> sériové číslo.S tema stitky to mam udelane ted stejne, ale u 1PB si to proste uz neumim predstavit. Uz i ted je to pakarna najit ten spravny serial no na nekterem z disku...
Při výměně disku se vždy vytiskne nová samolepka, aby to bylo vždy aktuální.
Mapování na sdXY není až tak potřeba, protože v ZFS disky identifikujeme rovnou labelem obsahujícím sériové číslo, takže vypadlý disk je hned v zpool status vidět a stačí zkopírovat/poslat mailem/hodit přes lpr na tiskárnu. Pak už jenom koukat a nesáhnout vedle :-) Mapovací info se hodí spíš jen pro legacy mdraid.
8GB DDR3 ECC jsou tak levné, protože většina korporací G7 generace = DDR3 vyřazuje a je jich plný repas trh - 32jádrová DL580 G7 za poslední dva roky spadla ani ne na polovinu. Ale ten HW ještě pár let vydrží a za tyhle peníze je snadné mít ve skladu rezervní.
Samozřejmě pokud má někdo budget na nové, nebude ztrácet čas repasem...
Dekuji! Hw budu kupovat v Nemecku.Dekuji za smysluplnou reakci. Resim celkovou raw kapacitu 1PB, jak si to rozdelim pak je na me a mych pozadavcich ktere jsou mimo tuhle diskusi. Do racku by se AFAIK melo vejit 1PB bez problemu, treba backblaze ma ve 4U 60 disku, to co mam ted je takove na kolene poskladane reseni, ale kapacitne to nezabira vice nez 6U se 4tb disky, tudiz by to melo jit. Co se tyce ram a desek - mam nejakou predstavu, 1TB chci kvuli dedup a dalsim vecem, myslim ze 64gb moduly se daji sehnat, zalezi od konkretniho vyrobce. Pokud mate zkusenosti s konkretnimi deskami budu rad za info.
Popravdě v levném serverovém HW mám spíš dávné vzpomínky než nějaký aktuální přehled. Dustin vypadá, že je víc v obraze a má přehled o značkovém HW.
Obecně každému doporučuji, mít disky v šuplíkách jednotlivě přístupné zepředu (aby šly jednotlivě vyměňovat) a identifikovatelné, proto enclosure management. V momentě, kdy RAID vykopne disk, tak člověk brečí vděkem za failure LEDku - ale zákazníkům se to předem občas těžko vysvětluje :-) Na in-band SES se dá sáhnout pomocí sesutil (používá driver ses).
Z tohoto důvodu, a taky kvůli chlazení, váze a hloubce (klidně přes metr) se mi nelíbí kastle, kde se do 4U nacpe 60-100 disků nastojato.
Pokud to nebude někde v útulné "teplé a studené uličce" tak bacha ať má stojan po celé ploše děrovaná vrata vpředu i vzadu (a osobně bych se snažil omezit i falešný vzduch uvnitř stojanu zezadu dopředu). Pokud máte ten luxus vybrat si stojan, tak 80cm šířka dává prostor po stranách pro umístění distribuce napájení a tahání kabeláže (ale bacha na ten falešnej vzduch).
Obecně u nového hardwaru je volba spíš věcí osobního vkusu a subjektivní důvěry v konkrétní značku - protože u toho prostě nejsou zkušenosti s konkrétním modelem motherboardu, zdrojů apod. Statistika se vytvoří až po létech běhu, a tou dobou je na trhu HW zas o dvě generace novější.
Jak jsem psal, nemám zkušenosti s aktuálním HW tohoto kalibru, ale dlouhodobě dost věřím značce Areca, a třeba Supermicro vypadá, že nakonec taky docela funguje (poslední průser si vybavuju ještě v dobách končící Capacitor Plague).
Zjistil jsem, že dokonce Areca má v nabídce JBODy na 12 disků/2U nebo 24disků/4U. Uvnitř je expandér (nebo dva pro redundanci) a zezadu kouká jako uplink 12Gb SAS (x4 multilane). Tzn. není to direct attach, ale ten multilane SAS nebude úplně pomalý. Bude pomalejší než Dustinův nekompromisní "přímý propoj na každý jednotlivý disk". Případně by se dalo přemejšlet, jestli vzít šasi po 12 nebo 24 discích (šasi po 12 discích dá teoreticky větší průchodnost, ale vyjde dráž.)
Popravdě se mi Arečí "PS/2" zdroje s 80mm ventilátorem líbí víc, než Supermicrovic napájecí zdroje, hubené a dlouhé s 40mm větráky - ale je to jenom bezelstný pohled zvenčí, ono u zdrojů hodně záleží na obvodovém řešení, součástkách, detailech zapojení/chlazení, jmenovitém dimenzování atd.
Areca má taky nějaké "svoje" SAS HBA, tuším končí na 6 Gbps (opět - vcelku proč ne) ale určitě budou fungovat i HBA od LSI apod. Arečí vlastní ARC-1320 má čipy Marvell, expandéry jsou pravděpodobně od LSI.
Bejvaly doby, kdy SASové čipy vyrábělo AVAGO a LSI a navzájem si konkurovali. Dneska jsou zřejmě oba pod jednou střechou (LSI bylo sežráno Avagem a Avago se zanedlouho přejmenovalo na Broadcom). Zdá se, že aktuální 93xx/94xx jsou nadále "3rd-gen MPT SAS" (tzn. dědictví LSI Fusion MPT) ale skoro mám pocit, podle IDček z Windows driverů, že 94xx ještě možná nejsou komplet v Linuxové vanilce (driver mpt3sas) a prakticky shodná je koukám situace ve FreeBSD (driver mrsas). Čili situace je stejná jako před 15-20 lety: aktuálně prodávaný nejnovější HBA hardware ještě nemá drivery v distribucích :-) Opět má pravdu Dustin: držet se vyzkoušených modelů. (A to se snažím nevzpomínat na dávné quirky třeba u Adaptecu.)
Mě osobně se líbí šasi od Arecy. Jsou hluboká jenom asi 50 cm, všechno přístupné pro servis zvenčí, celá kisna se připojí k HBA jediným fousem. Do 16 U se vejde 96 disků, k serveru se to připojí 4 nebo 8 fousy. Na to teoreticky stačí 1-2 HBA karty (při dvojitě redundantním připojení 2-4).
Dustinova koncepce "direct attach" má teoreticky tu výhodu, že každý disk má svůj vlastní kanál na HBA, tzn. nevstupuje do toho expandér. (V dávných dobách se tradovalo, že za určitých okolností expandér jede proti HBA jediným lanem, ale už nevím, jestli to bylo v případě kdy se skrz expandér sahalo na SATA disk, nebo jediné vlákno, nebo v čem byl přesně problém.) Direct attach má maximální průchodnost. Kromě toho je expandér další potenciální "point of failure".
Odhadem může být problém, dosáhnout při "direct attach" na failure LEDky, protože jednotlivě připojené disky nemají in-band SES (expandér pravděpodobně ano). Leda by se z HBA do backplanu dalo dotáhnout ještě taky SGPIO. Matně si vybavuju, že TQ šáska SuperMicro SGPIO podporují. Ale nenašel jsem zmínky, že by SGPIO podporovaly mpt3sas HBA's a že by se na to dalo nějak sáhnout. Čili SGPIO asi leda v kombinaci s HW RAIDem :-(
Tady jsem našel debatu se zmínkou o ZFS nad multipath SASem proti diskům: Debatěj tam taky o zapřažení flash SSD a že to jde připojit na multipath pomocí "redukce do šuplíku". Konkrétně od Supermicra.
Pokud se týče boardů, koukal jsem na tyhle s DDR4: 1 2 3 4 . Plus spousta příbuzných. Koukám všechny berou DDR4 LR paměti. Uvedené desky jsou všecky s LGA2011, ale tamtéž jsou k vidění i sestřičky s LGA3647. Poslední PCI-e slot bývá jenom x4, ale není to železné pravidlo a i kdyby, tak PCIe 2.0 nebo 3.0 x4 má průchodnosti pořád relativně dost.
Pokud se týče RAM, namátkou jsem nahlédl zde: DDR4 ECC REG a DDR4 LR. (Nemám s tou firmou nic společného.) Bacha ECC REG a LR zřejmě nejsou v konkrétním boardu záměnné. Jasně jsou to koncovky, dál to komentovat nebudu. Pro přehled to myslím stačí velmi dobře. Pokud správně rozumím, "škáluje" u DDR4 cena lineárně mnohem dál než u DDR3. Nebo se u DDR3 bavíme o 8GB modulech z druhé ruky, které adminům "zbývají" při upgradech a proto jsou levné? Tolik k nápadu repasovat starší hardware a cpát do něj terabajt DDR3.
Pokud se týče disků: podle popisu připadají v úvahu např. Seagate Exos x12 (až 12 TB), Exos x10 (až 10 TB), Exos 7E8 (až 8 TB). x10 a x12 jsou héliové, 7e8 je zřejmě plněný vzduchem. Všechny tři rodiny obsahují SATA i SAS modely, na výběr je kupodivu dodnes velikost sektoru 512B nebo 4 kB. A všechny modely se SAS rozhraním mají dvojitý uplink - pokud by byl zájem o multipath zapojení disků.
Pokud byste se zajímal o Arecu/Supermicro, tak Starline, Abacus i Compos tenhle hardware staví/prodávají dlouhá léta (a snad se i trochu starají o zákazníky v DC), budou vědět co a jak, přitom jsou to pořád v zásadě "železářství" tzn. doufám žádní nafukovací hochštapleři.
Na tohle jsem se koukal, iops me nejak zasadne neomezuje. Dekuji!Vlastní HW mi nepřijde tak nereálný.Konecne clovek ktery pochopil jaky bastl mam a jaky bastl ocekavam. 🤦♂️😄 Podobnou skladacku mam, na nic nesahat a funguje to 4 roky. Potrebuji ale vice mista, tudiz upgrade. Diky za reakci.
5 x 24bay enclosure se zdrojem, osvědčil se mi Supermicro 846TQ s minimální konfigurací (jen pro provoz zdrojů a řízení ventilátorů, 1ks vyšel okolo 12 tis. Do nich po šesti adaptérech SFF-8087 <-> SFF-8088 https://www.ebay.com/itm/2-port-Internal-SFF-8087-to-External-8088-PCI-mini-SAS-26P-Adapter-SAS-RAID-WB1-/122940903725?hash=item1c9fd9512d , uvnitř napojit SFF-8087 kabely.
DL580 G7 4x osmijádro xeon E7-xxx + rozšiřující PCI-e sloty, celkem 11 PCI-e v2 min x8. - 20k
512GB RAM PC3-10600R okolo 20k (64 x 8GB). Lze 16GB dimmy, ale ty vyjdou podstatně dráž, pak 1TB
8x SAS 9200-16E , sloty na to jsou. Nemám vyzkoušené, zda bios jich pobere tolik, mám jen vyzkoušené 2 x 9200 + 1 x 8port.
S diskovými boxy propojit klasikou SFF8088 za pár stovek, v bundlu levnější. Mám to tak a funguje OK.
Je to už vše výběhové, PCIe-v2, ale bude sloužit ještě spoustu let. Elektřiny pár kW, ten DL580 si s 512GB RAM a 32jádry vezme okolo 800W.
Dobře vycházejí 4U JBODy od Supermicra - v SAS3 verzi na 44 disků nebo ve starší SAS2 na 45 disků. Jen pozor na chlazení - třeba do uzavřeného stojanu bez perforovaných dveří a chlazením podlahou bych takovou věc asi nedával.
Nativně je přední a zadní backplane s explanderem zřetězen - pokud si nehraješ na velké IOPS a datovou propustnost, tak to neni problém. Případně se předek a zadek vyvede ven samostatně a každá část připojí na vlastní HBA.
Pozor na to řešení s HBA co mají velký počet SAS portů - typicky mají tyhle HBA stejně na čipu jen 4 SAS linky, takže velký počet portů je pak spíš pro pocit -> pak bych spíš doporučil zřetězovat expandery za sebe. Nicméně ono to při použítí těhle boxů asi nebude potřeba - stačí vzít 2x tyhle 4U JBODy a naplnit je 12TB HDD - každý na samostatné HBA případně rozpojit uvnitř ty expandery a dát to na 4 HBA - to se pak vejde do skoro každého 2Učka a nemusí se řešit nějaký nesmyslný board se spoustou PCIe slotů.
A co prostě koupit dva 60diskové Storinatory (https://www.45drives.com/products/storinator-xl60-configurations.php), nacpat do nich 10 TB NAS disky (případně i pár NVMe pro cache) a nad tím rozjet ZoL a Gluster? Budete mít petabajt i s dostatečnou redundancí na RAID a zabere to jen 8U, takže do jednoho racku to nacpete pětkrát.Dekuji, ne.
Ne, je to soukroma vec, jak jsem jiz psal nekdo holky, nekdo kokain, nekdo ma duvod mit veliky storage.Budeš skladovat data z astroteleskopu nebo z detektoru částic?Můžu se samozřejmě mýlit, ale tipl bych to na vysokou školu. Peníze nejsou problém, smysluplnost se moc neřeší a takovéhle bastlení zpravidla patří k folklóru.
/dev/random generator...Což se inspirovat hardwarem od iXsystems? U FreeNAS 4U mají v datasheetu kapacitu 1.73PB. Je v něm Xeon E5-2600v4 a 256 GB RAM.Dekuji, konecne rozumna odpoved. Podivam se na to. Ta ram je imho pro 1pb nedostatecna, pouzivam na nekterych poolech deduplikaci a ta je holt nenazrana.
Hardware, který používají, je v podstatě Supermicro. Skříně mají akorát jinou čelní masku s logem FreeNASu.
Deduplikaci jsem nikdy neměl odvahu zapnout, takže v tomto směru radou neposloužím.
Budeš skladovat data z astroteleskopu nebo z detektoru částic?
Použil bych více menších DIMMů, vyjde to podstatně levněji, cokoliv > 8GB roste cenově dost prudce. Větší servery mají slotů dost (DL 580 G7 64x, G8 96x, ale G8 stojí řádově víc než G7, přestože to není osazením velký rozdíl). Pro ZFS je stejně potřeba hodně jader, vůbec bych se pro takovou zátěž nebál té čtyřpatice. DL 580 G7 nyní vyjde vysloveně na pár šupů a po instalaci té rozšiřovací desky za dva litry má dost PCIe slotů na 16portové desky. Systém dávám na interní disky, pole do skříní mimo. Navíc lze takový server kdykoliv nahradit jiným, jenom se přehodí 2+ interní disky na systém + JBOD řadiče na externí disky.Ten 1PB myslim raw storage, redundanci, typ poolu atd si udelam dle svych potreb. Diky za nastrel, podivam se na to detailne.
Udělal jsem si vlastní skříň na 30 hotswap disků + zdroj, ale SATA konektory moc nedrží a při hotswap výměně disku se mi občas stává, že se uvolnil i ten vedle a to už je hodně špatně. Tak přecházím na ty 24bay skříně od Supermicro, v DE běžně v nabídce. Navíc to má profi duální zdroje, jen jsem si v nich vyměnil ventilátory za tišší, ale hluk tě předpokládám nepálí.
Interní cage proliantů lze napojit na přídavný řadič s 8i výstupy a vynechat tak P410 s proprietárním formátem, aby bylo možné přejít snadno na jiný HW. Problém pak bývá bios HP, který z toho někdy nechce bootovat (ale linux disky vidí v pohodě). Takže OS nechávám na těch interních řadičích.
Sice používám starší karty SAS2/SATA2, ale bez expanderů, takže to jede OK.
IMO je ten petabajt reálný. Jen by to chtělo pořádnou redundanci. Počítal jsem to na 4 + 1, což je při tom počtu asi málo. Ale i pro 4 + 2 je to pořád 150 10TB disků, tedy 10ks 16portových karet, které se do toho DL580 vejdou. 32 jader by i se ZFS mohlo cvičit.
Vy jste vážně lamy. Nechápu, proč na toho trola vůbec reagujete. Asi zase potřebujete nějakou tu studentku sociologie/ekonomie/psychologie, aby si z vás dělala zadek. Nějakou najdu.Javamane?
1 PB stavíme z 14 DL380 (HPE proliant) po 22 4TB diskách, buď pro hadoop nebo jako cifs storage (pro ZFS to je také vyhovující). s Jedním management serverem, jedném catalystem, 5y support se cenou dostáváme na 10M. Stabilně zápis/čtení 5GB/s.Zadne hp mi nesmi nikam. Zadne dc, ale poslu ti sz treba se domluvime na postaveni celeho bastlu jestli te bavi skladat tyhle ptakoviny.
U HPE se poté také používají Apollo krabice, tam ale na počet disků je málo cpu, takže max. jako NAS storage. Nevím jak to je s freebsd, na proliantech běží.
Jsem schopný ti to celé postavit a zavést do DC jaké si vybereš, na většinu pražských již mám přístup a objevuji se tam pravidelně.
Vlastní HW mi nepřijde tak nereálný.Konecne clovek ktery pochopil jaky bastl mam a jaky bastl ocekavam. 🤦♂️😄 Podobnou skladacku mam, na nic nesahat a funguje to 4 roky. Potrebuji ale vice mista, tudiz upgrade. Diky za reakci.
5 x 24bay enclosure se zdrojem, osvědčil se mi Supermicro 846TQ s minimální konfigurací (jen pro provoz zdrojů a řízení ventilátorů, 1ks vyšel okolo 12 tis. Do nich po šesti adaptérech SFF-8087 <-> SFF-8088 https://www.ebay.com/itm/2-port-Internal-SFF-8087-to-External-8088-PCI-mini-SAS-26P-Adapter-SAS-RAID-WB1-/122940903725?hash=item1c9fd9512d , uvnitř napojit SFF-8087 kabely.
DL580 G7 4x osmijádro xeon E7-xxx + rozšiřující PCI-e sloty, celkem 11 PCI-e v2 min x8. - 20k
512GB RAM PC3-10600R okolo 20k (64 x 8GB). Lze 16GB dimmy, ale ty vyjdou podstatně dráž, pak 1TB
8x SAS 9200-16E , sloty na to jsou. Nemám vyzkoušené, zda bios jich pobere tolik, mám jen vyzkoušené 2 x 9200 + 1 x 8port.
S diskovými boxy propojit klasikou SFF8088 za pár stovek, v bundlu levnější. Mám to tak a funguje OK.
Je to už vše výběhové, PCIe-v2, ale bude sloužit ještě spoustu let. Elektřiny pár kW, ten DL580 si s 512GB RAM a 32jádry vezme okolo 800W.
Nekrmte trolla. Jak tu psali prede mnou, kdyby opravdu něco takového někdy postavil a měl rozpočet na upgrade, tak by se buď neptal vůbec nebo ptal jinak.Ja se ptam protoze za 4 roky se hv zmenil a jelikoz se v hw nepohybuji a nezivi me tak se ptam.
Root.cz (www.root.cz), informace nejen ze světa Linuxu. ISSN 1212-8309
Copyright © 1998 – 2023 Internet Info, s.r.o. Všechna práva vyhrazena. Powered by Linux.