JBOD terminal vs sata multilink

[Feferka]

Poprosím hw bastlíře o radu. Nemůžu za boha v čechách/eu sehnat JBOD rozbočovač nebo generický backplane instalovaný do záslepky v case. Ze zoufalství zvažuji i HW bastlení ale protože potřebuju tak 50ks rád bych se tomu vyhnul.


Alternativně bych uvažoval i o multilink kabelu záslepka = kabel = záslepka a le nepovažuji to za dobré řešení -> je to na archivaci dat tj JBOD krmenej esatou výkonově/parametrově bohatě stačí.

díky všem, klidně i konkrétní (komerční) odkazy.

[Reklama]

[Trident]

Poprosím hw bastlíře o radu. Nemůžu za boha v čechách/eu sehnat JBOD rozbočovač nebo generický backplane instalovaný do záslepky v case. Ze zoufalství zvažuji i HW bastlení ale protože potřebuju tak 50ks rád bych se tomu vyhnul.


Alternativně bych uvažoval i o multilink kabelu záslepka = kabel = záslepka a le nepovažuji to za dobré řešení -> je to na archivaci dat tj JBOD krmenej esatou výkonově/parametrově bohatě stačí.

díky všem, klidně i konkrétní (komerční) odkazy.

Musi byt port multiplikator v zaslepce case? Nestacila by pouha petiportova deska?  Nemuze to byt skatule pripojena esatou mimo case? Ty jsou prakticke.

Kdyz si koupis/vyrobis 50 zaslepek a na ne nastroubujes 50 port multiplikator desek(sezenes  na alibabe), tak to neni neco co by se nedalo zvladnout za tyden prace.

Chybi mi cely popis reseni. Budto chces udelat neco jako levnou storage kde ti to z compu poleze do jednotlivych disku, tak pak potom nechapu proc si radeji neporidis misto port multiplikatoru cely radice ktery maji samy dost portu a nemusis se delit o pasmo. A nebo chces mit hodne disku - tj. minimalne 50x5 = 250 disku coz je ptakovina uz principu to na jedno pecko nenarves a z hlediska dostupnosti to vypinat pokazdy kdyz umre jeden z radicu... no. Uznas ze zadny slagr.

Za mne. Radsi si kup blbe sata pole a nacpi tam vsechny ty disky a to cely pripoj k tomu compu a nezkousej vymyslet naky hovadiny.  Uz pred tebou tady byla rada lidi kteri meli podobnou myslenku.

[RDa]

Popravde jsem nepochopil co chce puvodni tazatel realizovat. Muzete napsat dotaz znova - a rict kolik je disku, v jakem formatu (samotny, suplik, externi box s 1 ci N diskama), do kolika pocitacu se to pripojuje, zda je pripojeno vse naraz, nebo se disky fyzicky odpojuji kvuli nedostatku portu... pripadne pozadavek kolik disku ma byt zaroven pripojeno, zda jsou v sw raidu nebo kazdy opravdu sam...

[Feferka]

Někdy není od věci se raději neptat:

A disků je v tuto chvíli asi 3000 v chodu a jak to tak vypadá ještě jich pár tisíc bude. Ve hře jsou dvě alternativy

1. mraky 2U beden které mají 4x hotswap a 7x 3,5 pozic a k tomu atom z PCI a 4 portovým sata řadičem. Pak je cena za "port" takového zařízení někde okolo 1000kč. Navíc má svoji autonomii ale není moc desek s virtualizací a stařičkým PCI slotem, a PCIex se dělá buď ve dvou portovém provedení (v lowcost kvalitě) nebo kolik 3000 (Adaptec/Areca) pak je to +1100 nahoru na jeden obsazený port.

2. JBOD externí towery ve vztahu 1 řídící server nad atomem (max 15w režie) a interní sata replikator/jbod hub - spotreba minimalni zatez vyhovujici (jedna se o spici data). Cílová cena někde okolo 600 kč/port.

může se to zdát být banalita ale rozdíl je v cca 200x 20w režie (cca 20k měsíčně, místo elektřina) vs spotřeba disků + neúčinnost zdroje. Na 200x 4 portech tj 800 je rozdíl 800.000 vs 480000 je více jak čtvrt milionu kč a to stojí za to pohledat.

 Backplane např od supermicro stojí na 16p 3600kč tj "směšné" peníze vzhledem k téměř neomezenému zdroji 4U/2U case se zdroji. předpokládal jsem že nějaká 4P interní hračka by mohla stát do 1500kč proto diskuze jestli to nekupujete někdo v čechách. Nezbyde než pokus omyl zkoušet svět (časově náročné na to udělat kvalifikované a hlavně unifikované řešení).


Varianta by byl multilink kabel ze záslepkou ale naráží to na cenu obdobnou s esata přes kterou není problém adresovat 8 disků po jedné sběrnici narozdíl od 4 u multilinku kdy je výhoda dedikovaného kanálu k ničemu - data tam leží.

  Páska je ve hře v podobné rovině jako Amazon Glacier jenže 2-5 hodin je na odbavení (získání dat) prostě žalostně dlouho (cílem je max 10 minut). V chodu je teď přes 300TB a není problém domluvit se např s emkem na vypálení děr do case, jenže bez interního satahubu je takové řešení k ničemu.

 alternativní plán je dělat si vlastní plazmou řezané desky ala google tj microatx atom deska a naležáka napevno (není potřeba hotswap) za dva šrouby chycených třeba 8 disků per node. Naráží to ovšem na moji neochotu riskovat problémy s pojišťovnou (certifikovat to EZS by byla pakárna). tam se pohybujeme okolo 250kč za desku včetně čelního rack panelu + cca 400kč port při osmidiskové variantě.

[mahmood]

Neporovnával jsem s vaší cenovou kalkulací, ale před nedávnem jsem narazil na řešení firmy Backblaze. Jedná se o "open source" storage pro vysokou hustotu dat. Minimálně jako zdroj inspirace přikládám pár odkazů, někde by tam měl být popis toho řešení, možná i specifikace použitých komponent.

http://storagemojo.com/2011/07/20/open-source-storage-array/
http://blog.backblaze.com/2011/07/20/petabytes-on-a-budget-v2-0revealing-more-secrets/

[Reklama]

[Feferka]

Ty důvody pro vlastní řešení jsou tři:

1. jsme pod CZ/EU legislativou ač se to nezdá je to jistá konkurenční výhoda

2. nyní zálohujeme cca 270-350 TB měsíčně nových záloh, životnost dat je minimální (max měsíc) u 80% dat. 20% dat tvoří data z callcenter, kamer, mailserverů které díky ČNB nebo jiným předpisům má provozovatel ukládat až 10 let (finanční poradenství) - tj jen z naší vlastní potřeby bez problémů uplatíme kompletní vývoj.

3. nestíháme uspokojovat poptávku na tyto datové služby, ukládáme GB za 40hal/GB měs s tím že jsou účtovány po dnech, takže na krátké zálohy jsme proti amazonu klidně 4-6x levnější. navíc jsou data k dispozici okamžitě (cca 20 vteřin) tj je možné to použít jako zálohu serverů/dat které je potřeba okamžitě obnovit.

std to děláme tak že do našich CDN nebo VPS serverů osazujeme 3TB disky s minimalistickou VPS instancí nody která archivuje ty dlouhodobá data, tiering a redundance je geografická tj není třeba žádný sw raid.


a poptávka po datových službách roste tak rychle, že nestačíme kopírovat std tempem růstu (cca 15 serverů měs tj 15x 3TB nového místa) to místo co potřebujeme. Nezbývá než najít řešení které bude dedikované a to jsou právě buď věže bez požadavku na hotswap  (tj udělat si něco jako je toto)



tj nějaké miniatomy (oni asi nemají miniatomy protože potřebují rychlost tj spotřeba 40W/jednotka je netíží protože potřebují data rychle měnit - jejich hlavní byznys je online backup) nebo obrovské věže s JBOD terminací kdy je sběrnice sdílená.

 "klasická řešení jsou moc drahá" protože podporují raid, jenže díky "cloudu" (nemám rád když je to nazýváno cloudem) tedy distribuci a geolokaci je raid a jakákoliv hw kontrola dat zcela zbytečná - proto neobstojí žádné "komerřní" řešení. Navíc je by design počítáno ze strátovostí dat (souvisí to s povahou dat 2x disk 1x páska pro kritickou situaci nikoliv pro recovery).

krásně to demosntruje tento jejich obrázen, nedemonstruje neschopnost dellu a amazonu ale zohledňuje to že v těchto tisících discích už se láme chleba jinde než  na ceně disky (a to výrazně), nehledě na to že k cca tisíci diskům máme v rámci kolečka životnosti a upgradů přístup ročně zadarmo a často ještě další 3-4 roky bez problémů jedou.




abych byl konkrétní hledám jestli někdo z místních linux/unix/hw kutilů nepotkal v praxi něco jako je toto




tj bud 4 supliky s internim JBOD rozbocovacem nebo samostatnou kartu ktera rozboci interne sata porty

[RDa]

tj bud 4 supliky s internim JBOD rozbocovacem nebo samostatnou kartu ktera rozboci interne sata porty

Existuje oboji, hledej SATA PORT MULTIPLIER, dela se to vetsinou v 5-ti portove variante a radic ho musi podporovat (vetsina modernich ahci radicu to podporuje)

Pokud bys mel potrebu si nechat postavit custom reseni, neni problem

[Trident]

tj bud 4 supliky s internim JBOD rozbocovacem nebo samostatnou kartu ktera rozboci interne sata porty

Existuje oboji, hledej SATA PORT MULTIPLIER, dela se to vetsinou v 5-ti portove variante a radic ho musi podporovat (vetsina modernich ahci radicu to podporuje)

Pokud bys mel potrebu si nechat postavit custom reseni, neni problem

Bacha! Ne vsechny radice podporuji. Over si to. Zejmena u inthellu. Takovej Sillicon Image podporoval uz od zacatku.

[feferka]

Problém je hlavně s hustotou dat, zmiňovaná služba blackblaze totiž data kumuluje. To už rovnou můžu koupit toto





kde je cena cca 1000kč/port při 36 discích (24 zepředu 12 vzadu)

nebo



kde je 60 disků. Při hustotě 180tb/rack by se to gigabitem plnilo 28 dní :-((( tj hledám řešení 12-16 disků per port (gigabit) vhodně distribuované.


ale díky pár lidí mi poslalo odkazy na výrobce interních sata portů (sic ne v čr), takže budeme bastlit. Hotswap jem opustil a cílová cena je někde okolo 400kč/port což je za babku.

[feferka]

sorry za vobrázek

[KapitánRUM]

Jaká je potřeba datová propustnost k jednomu disku?

[KapitánRUM]

Jinak obecně ano, vysoká datová dostupnost potažmo ukládání dat má obrovský potenciál k růstu.

Příklad:
http://www.lidovky.cz/kaslu-na-hollywood-ceneny-film-vynecha-kina-je-jen-na-webu-pzu-/ln_kultura.asp?c=A121123_130509_ln_kultura_btt

Měl bych se nad tím pořádně zamyslet, čichám, čichám peníze.

[feferka]

kapitanrum: minimalni denni delta celeho systemu je cca 9 tb (12 tb out 21 in) tj na disk tak 300 gb den to je pohoda ty veze jsou i 4 kanalove tj neni problem a system si to umi sam ridit a jako plice nadechnout jinam a od tam to teprve dokopat kam to patri.