Fórum Root.cz
Hlavní témata => Server => Téma založeno: caveman 30. 10. 2017, 08:20:27
-
Dobrý den,
nemáte tu někdo zkušenost, či nápad jak vyřešit ukládání videozáznamu z videokamer (cca 40 IP 4K kamer) po dobu 2 let? Problém je ten, že ještě potřebuji mít zálohu těchto záznamů, kdybych náhodou přišel o hlavní data.
Napadla mě varianta páskových úložišť, ale nemám s tím žádnou zkušenost. Cenově vychází o dost lépe než kupovat disky, ale nevím, jak je to případně s údržbou, skladováním atd.
Co jsem dělal výpočty, tak by to za ty dva roky dělalo cca 200TB dat.
-
V jakem formatu? Jake rozliseni? Jaka snimkovaci frekvence? Neslo by koupit tlusty stroj, ktery by to po souborech prevadel do formatu s lepsi kompresi a s nizsi snimkovaci frekvenci, aby toho nebylo tolik? BTW, kdo se asi tak bude koukat na tak stare zaznamy? Nizsi FPS by snad stacila.
-
amazon s3 ?!
-
Možná by stálo za to udělat analýzu zda je potřeba ukládat data ze všech kamer po takovou dobu v plné kvalitě. Třeba by se přišlo na to že by stačilo ukládat data jen z pár kamer u vstupu v plné kvalitě aby na nich byli dobře rozpoznatelné obličeje a zbytek ukládat třeba týden v plné kvalitě a pro dlouhodobou archivaci třeba jenom v 640p, nižší framerate atd. 2x100TB storage vyjde dnes tak na 2x150k. v kontextu ceny 40ks 4k kamer to nemusí být až tolik, na druhou stranu už jsou to peníze za které se na chvíli vyplatí zapnout mozek.
-
Buď se s tím budeš drbat sám, investovat do toho čas a riskovat, že uděláš nějakou chybu, nebo můžeš zvolit hotové cloudové řešení, např. https://www.angelcam.com/pricing#cra-pricing-switch
-
amazon s3 ?!
Tak určitě - obnovovat 200TB dat z čoudu, to bude přesně to pravé!!!
-
Bohužel to je výmysl ministertsva kultury, který nám přikazuje uchovávat videozáznamy po dobu 2 let a tyto záznamy musí být zálohované. Celní správa si jakousi doložkou diktuje, v jaké kvalitě video musí být a nesmí chybět ani 1min záznamu. Hrozí v takovém případě tučné pokuty, že se investice do robustního řešení vyplatí. Jedná se o nový loterijní zákon...
Problém je ten, že musím mít cca 30 kamer s FPS 20, 1080p - z videa musí být rozlišitelné bankovky a zvuk atd. Čili zde moc nemohu video osekávat na úkor kvality. V současné době tam jsou FullHD analog kamery, které se budou měnit za Samsung Wisestream s H265.
Cloudové řešení je ve hře, ale Amazon S3 je mimo, už jen kvuli datovým přenosům, kdy denně přenesu cca 0,5TB, tam už ty náklady rostou nesmyslně nahoru.
Ideální by bylo mít vlastní řešení ve své serverovně napůl dělené s nějakým cloudem, či mít duplikované data mezi 2ma úložišti. Řešil jsem variantu s ukládáním starších dat + 6měs. na pásky, ale jak jsem již psal, nemám s tímto zkušenosti a dočetl jsem se, že by se pásky měly každý půlrok přetáčet, být v určitém klima apod.
Kdyby někdo měl kloudný nápad, či nějakou zkušenost, nebo už hotové řešení, uvítám pomoc, či rady. Samozřejmě za peníze. ;)
-
V tomto pripade je paska v podstate asi jedine rozumne reseni. My jsme je prehravali vetsinou jednou za mesic, ale vim i o takovych, ktere se drzely rok a data na nich byly v poradku. Ukladali jsme dvojmo; jedna v archivu u knihovny, druha ulozena v sejfu externi firmy. Problemem je kvalifikovana obsluha a dobre fungujici procesy. Sem tam nejaka paska odejde, je treba je pred pouzitim kontrolovat. Ze by nam odesly dve se stejnymi daty - nepamatuju.
-
Ne Amazon S3, ale Amazon Glacier
Data Transfer Pricing: All data transfer in $0.000 per GB
Storage pricing: $0.0045 per GB / month
Samozrejme to predpoklada, ze z toho budes obnovovat jenom velmi zridka a ne vsechno.
-
Storage pricing: $0.0045 per GB / month
0.0045 * 200000 GB * 2 * 12 mesicu * 1/2 (trojuhelnik - linearni narust 0 na 200TB) = 10800 USD za prvni dva roky
0.0045 * 200000 GB * 1 * 12 mesicu = 10800 USD rocne
Za tuhle cenu muzete mit v provozu vlastni 2x 200TB diskove pole v housingu pokud se jedna o projekt na 3 roky a vic.
Nechapu tendence cpat neco porad do cloudu, vy moderni lidi jste totalni nemehla co nic neumi, ani si spocitat naklady! Dlouhodobe se to vubec nevyplati - a to nepocitam ze cenu za onu sluzbu nemate garantovanou a ani to, ze ji za par mesicu poskytovatel nezrusi.
-
0.0045 * 200000 GB * 2 * 12 mesicu * 1/2 (trojuhelnik - linearni narust 0 na 200TB) = 10800 USD za prvni dva roky
0.0045 * 200000 GB * 1 * 12 mesicu = 10800 USD rocne
A to se vyplatí!!! 8) 8) ;D ;D
-
http://www.45drives.com
https://www.backblaze.com/blog/petabytes-on-a-budget-how-to-build-cheap-cloud-storage/
---
Normálně to postavte NORCO-4U-Rack-Mount-20-Hot-Swappable-SATA stojí do 10k na NETu, levná cesta jak to realizovat pokud nemáte cash ale máte schopnosti to sestavit a administrovat, pokud máte trochu cash tak si objednejte příslušné diskové pole, už i "hloupé" synology dělá tuším 12-16 diskové šasi, možná s připojeným expanderem to pokryjete kapacitně dle potřeby v nejhorším dvě diskové pole vedle sebe a rotovat zálohy podle stáří, pokud máte ještě více peněz zaklepejte u Dell, IBM apod firem.
-
A to ste este nevideli ceny, ked chcete tie data odtial citat :)
-
Za tuhle cenu muzete mit v provozu vlastni 2x 200TB diskove pole v housingu pokud se jedna o projekt na 3 roky a vic.
Tahle kalkulace by mě dost zajímala. Počítáš stejně jako AWS Glacier s rozdělení do více lokací, 99.999999999% data durability, je v tom započtena konektivita, administrace (vč. kvalifikované obsluhy, vlastní či outsorcované), licence na případný sw nebo čas na nakonfigurování opensource řešení atd.?
-
Co jsem dělal výpočty, tak by to za ty dva roky dělalo cca 200TB dat.
neni to nahodou rocne?
dejme tomu ze full hd video pri 20 snimcich bude mit cca 8-9mb/min tzn
9*60*24*365= 4 730 400 mb dat na kameru za rok
40* 4 730 400= 189 216 000 mb dat za rok na 40 kamer
2*189 216 000=378 432 000 mb = 378 TB dat za dva roky
mozna ze 9 mb je hodne ale pochybuju ze 60 sec full hd video muze mit 4.5mb/min
-
typicky z kamer leze min, protoze se tam vetsinu casu nic nehejbe
pripadne jsou reseni co nahravaji jenom pri detekci pohybu a pak to je jeste min..
-
0.0045 * 200000 GB * 2 * 12 mesicu * 1/2 (trojuhelnik - linearni narust 0 na 200TB) = 10800 USD za prvni dva roky
0.0045 * 200000 GB * 1 * 12 mesicu = 10800 USD rocne
Za tuhle cenu muzete mit v provozu vlastni 2x 200TB diskove pole v housingu pokud se jedna o projekt na 3 roky a vic.
Nechapu tendence cpat neco porad do cloudu, vy moderni lidi jste totalni nemehla co nic neumi, ani si spocitat naklady! Dlouhodobe se to vubec nevyplati - a to nepocitam ze cenu za onu sluzbu nemate garantovanou a ani to, ze ji za par mesicu poskytovatel nezrusi.
Nemohl bys to prosímtě nějak rozvést?
Jako je mi jasný že pokud má firma IT jako core business, tak ji pár zabranejch úček v racku nezabije, domácí sysop ten systém nakonfí, a výjezdovka občas sjede do DC a vymění disky. Náklady se rozpustí a interní zákoš je happy.
Ale pokud firma provozuje kasina, tak pochybuju, že řešení od místního "ajťáka" vyjde levnějš, a myslím tím včetně ceny průserů.
Pokud ukážeš konfiguraci pole se supportem a nasovou hlavou která vyjde líp než glacier, budu chvíli jen šoupat nohama.
-
Dobrý den,
nemáte tu někdo zkušenost, či nápad jak vyřešit ukládání videozáznamu z videokamer (cca 40 IP 4K kamer) po dobu 2 let? Problém je ten, že ještě potřebuji mít zálohu těchto záznamů, kdybych náhodou přišel o hlavní data.
Napadla mě varianta páskových úložišť, ale nemám s tím žádnou zkušenost. Cenově vychází o dost lépe než kupovat disky, ale nevím, jak je to případně s údržbou, skladováním atd.
Co jsem dělal výpočty, tak by to za ty dva roky dělalo cca 200TB dat.
40 IP kamer, dva roky a ještě dvakrát ... to je 40x365x24x2x2, tedy 1 401 600 hodin záznamu. I kdyby měla hodina 200MB což zdaleka tak málo nebude tak se bavíme o 280TB a tebe napadne pásková mechanika ... :o
Já bych ti doporučil vychladnout a rapidně mírnit nesmyslné požadavky a pokud se jedná o projekt kde je opravdu něco takového potřeba tak se poradit s odborníky a neptat se na nějakých fórech kde ví každej prd. Ta konsultace tě zas tolik stát nebude a v tom statisíícovém až milionovém rozpočtu ... .
-
200tb dual copy to je 80k mesicne, triple copy uz 120k mesicne.
to mi prijde rozhodne lepsi postavit od zacatku tape management. zalezi jak casto se k tem datum je potreba dostat, rozhodne bych zvazil moznost degradovat ten zaznam
-
200tb dual copy to je 80k mesicne, triple copy uz 120k mesicne.
to mi prijde rozhodne lepsi postavit od zacatku tape management. zalezi jak casto se k tem datum je potreba dostat, rozhodne bych zvazil moznost degradovat ten zaznam
pokud je to takto tak si umim predstavit to provozovat za
800k zrizovak, a cca 20k mesicne. reseni mame hotove aktualne nekolik tisic disku v poli. kdyztak email
navrhoval bych distribuovane reseni 5 lokalit 5storagepodu. vse 3 fyzicke kopie.
- nad tim bud privatni S3 (nedoporucuji)
- CEPH no budiz ale je problem ze hrozi totalni kolaps.
- nebo skutecne bloby kde budou kusy videa a provedeny skutecne fyzicke oddelene kopie s autohealingem.
pokud mate vlastni prostory nebo vam staci backup tech existujicich dat co stejne mate tak 200tb x 2 na privatnim by byl asi zrizovak do 450k pokud by se pouzili pomalejsi archivni disky.
-
Pokud jsem to dobře pochopil, v tomto případě není potřeba mít všechna data permanentně připojená. Stačí být schopen na vyžádání dodat konkrétní kamery/časové období.
Pokud bych nechtěl pásky a šel cestou disků (což je asi blbost, když jsou pásky pro archivaci podstatně levnější), pak bych pořídit 4 hotplugy. Vždy by se nahrávaly soubory řezané po nějakém čase na dva disky současně. Když se blíží zaplnění (např. měsíc pro 10TB disky), vložím další dva, přepnu zápis na ně a zaplněné disky odpojím, zaeviduji a uložím každý někam jinam. Takže cena defakto jen za ty disky, dvouzdrojový spolehlivý server v ceně pár disků.
Aby byla redundance pro případ výpadku takového serveru, snažil bych se to streamovat ještě někam do cloudu - třeba 15TB cyklicky přepisovaného storage (něco jako ring buffer) by pokrylo vždy měsíc plus překryvy. Data již bezpečně uložená na 2 diskách v různých trezorech mohu v cloudu přepsat novými.
Nechápu, jaký smysl by mělo pro tento účel stavět 200+TB pole.
-
protoze u cold zaloh na disku nemas sanci overit jestli tam jsou. to uz vyjde na stejno jestli nekde bezi, spotreba je v tco storage podu 20+ disku uplne to posledni (s ohledem na porizovaci cenu). kdyz je bude mit online (i kdyby to bylo v JBODU pomale) tak muze delat prubeznej healing.
nebo muze mit reed-solomon system nastavenej na 50+ procentni redundanci a nechat to hnit a ani healing neobnovovat protoze to proste nedegraduje na pad do doby nez mu zakon narizuje to mit. z velkejch disku je healingem vydolovatelnej klidne 75 procent dat a tech 25holt nahraje zpet na input-point a prepocita znovu.
u pasek narazi na to ze to bude muset porad handlovat, takto muze koupit nejake (jakekoliv) storage a do nich postupne dodavat dalsi a dalsi disky. hotove reseni ovsem nebude jbod takze proti necemu co si postavi sam (nebo za to nekomu zaplati) se to nechyta. staci se podivat na synology pro 24+ disku.
-
Daleko raději budu mít archivy offline v trezorech, než pořád běžící v poli. To by stejně musel někam zálohovat do offlinu.
Nový disk běžící 1 měsíc ty data pak dva roky bez problémů udrží. I proto by byly ty disky dva/tři. Klidně je může ještě zahořovat pár měsíců dopředu.
Ale možností je samozřejmě spoustu.
-
aws glacier vas vyjde lacnejsie, bodka. pri skale akej kupuje amazon diskove polia nemate sancu konkurovat nejakym lokalnym riesenim aj so zapocitanim marze amazonu. zverit 200-300TB dat nejakemu rieseniu miestneho "amatera" by chcelo riadnu davku odvahy... Skuste si dat nacenit nejaky 200TB 2 site cluster od netappu, EMC atd... bude to suma velmi blizka milionu eur. A to budete musiet platit za housing, spravu, pripojenie, atd...
-
aws glacier vas vyjde lacnejsie, bodka. pri skale akej kupuje amazon diskove polia nemate sancu konkurovat nejakym lokalnym riesenim aj so zapocitanim marze amazonu. zverit 200-300TB dat nejakemu rieseniu miestneho "amatera" by chcelo riadnu davku odvahy... Skuste si dat nacenit nejaky 200TB 2 site cluster od netappu, EMC atd... bude to suma velmi blizka milionu eur. A to budete musiet platit za housing, spravu, pripojenie, atd...
Vsechny cloudove reseni vam spolehlive odrovna neexistujici SLA u poskytovatele pripojeni. Jestli je 40 kamer kasino, tak je tam lokalni serverovna na tyhle veci a maji moznost natahnout vlastni optiku do jineho objektu kde bude zalozni technologie. 40 x 5 mbit stream je 200 mbit, kde mate takovy upload garantovany v CR? A za jakou cenu prosim? Netapp nebo EMC? Tohle jsou videozalohy, ne aktivni data!
PS. Provozuji 42TB v domacim prostredi. 200TB od tazatele neni ani radove vice, takze opravdu na tohle nepotrebujete milion eur.
-
Profi reseni, naklikal jsem tam 20x10TB disky a cena je tesne pod 10000eur.
http://www.broadberry.co.uk/ip-surveillence-storage-servers/cyberstore-vs-436ip
K tomu zalohu na pasky se asi moc cenove nevyplati protoze pro tyhle objemy je potreba neco jako https://www.ibm.com/us-en/marketplace/ts2280 (kolem 12000eur) + 20x10TB paska stoji (250x20=5000eur) takze radeji ty Cyberstory koupit dva (pro geografickou zalohu).
-
Vydeli jste nekdo obraty a zisky obycejnejch zapadlejch heren ve "vyloucenych lokalitach"?
Vydeli jste nekdo obraty a zisky malejch kasin co maj jen 40kamer?
To jsou panecku cisla..... a to nekdo resi na takovemto foru jak za levno ukadat data? to je pr...l
Ale
Jen upozornim na to co tu jeste nezaznelo. Monitoring ze kamera jede, nahrava a ze neni "zasekla"
na nejakem snimku z minuleho mesice...
-
Rozvadov ?
-
Profi reseni, naklikal jsem tam 20x10TB disky a cena je tesne pod 10000eur.
http://www.broadberry.co.uk/ip-surveillence-storage-servers/cyberstore-vs-436ip
K tomu zalohu na pasky se asi moc cenove nevyplati protoze pro tyhle objemy je potreba neco jako https://www.ibm.com/us-en/marketplace/ts2280 (kolem 12000eur) + 20x10TB paska stoji (250x20=5000eur) takze radeji ty Cyberstory koupit dva (pro geografickou zalohu).
nesverujte data amaterum co to postavi na supermicro, kupte sw bezici na supermico desce a chasis :-) to vzdy pobavi
-
Profi reseni, naklikal jsem tam 20x10TB disky a cena je tesne pod 10000eur.
http://www.broadberry.co.uk/ip-surveillence-storage-servers/cyberstore-vs-436ip
K tomu zalohu na pasky se asi moc cenove nevyplati protoze pro tyhle objemy je potreba neco jako https://www.ibm.com/us-en/marketplace/ts2280 (kolem 12000eur) + 20x10TB paska stoji (250x20=5000eur) takze radeji ty Cyberstory koupit dva (pro geografickou zalohu).
a kde si nechal RAID redundanciu (x2), site redundanciu (x2) a spare disky? tym ze to budes mat na druhej site, tak potrebujes aj 2x cely HW, potrebujes na to nejaky software co zabezpeci integritu dat.
-
...
Nechapu tendence cpat neco porad do cloudu, vy moderni lidi jste totalni nemehla co nic neumi, ani si spocitat naklady! Dlouhodobe se to vubec nevyplati - a to nepocitam ze cenu za onu sluzbu nemate garantovanou a ani to, ze ji za par mesicu poskytovatel nezrusi.
No to se ani nikdy vyplatit nemuze. Jednoduse proto, ze ten ke komu ty svoje data posles jednak musi koupit presne stejnej HW jakej bys jinak musel mit sam = v tomhle pripade kapacitu, a pak na tom taky chce vydelat = zdvojnasobeni ceny.
A to plati vzdy a vsude. Jedina vyjimka kdy ma smysl vyuzit neci sluzby je vylozene kratkodoba vec, kde by porizovaci naklady vlastniho HW(pripadne SW) vyrazne prelezly cenu najmu. A v tomhle pripade se bavime o radove 3-6 mesicich max, protoze pak uz se to nevyplati.
typicky z kamer leze min, protoze se tam vetsinu casu nic nehejbe
pripadne jsou reseni co nahravaji jenom pri detekci pohybu a pak to je jeste min..
Typicky ale taky nevis, jestli ten zaznam z kamery neni proto, ze se tam nic nehejbalo, nebo proto, ze neco nezafungovalo. Pokud bys chtel mit auditovatelnej zaznam, musis nahravat i ten prazdnej stream, kterej sice asi bude mit velmi solidni kompresni pomer, ale stejne ...
Ale pokud firma provozuje kasina, tak pochybuju, že řešení od místního "ajťáka" vyjde levnějš, a myslím tím včetně ceny průserů.
Nikde neni receno, ze jim to nekdo nemuze dodat na klic, vcetne supportu. Porad je to cenove na vyrazne vyhodnejsi, nez jakejkoli cmoud.
PS. Provozuji 42TB v domacim prostredi. 200TB od tazatele neni ani radove vice, takze opravdu na tohle nepotrebujete milion eur.
A to tvoje domaci prostredi zvladne 200Mbit zapisu 24/7 ? A pokud budes chtit ty data navic nejak nema odlejvat, tak to musi dat mhohem vic, a jeste navic cteni a zapis zaroven, to je celkem slusna hromada IO. 30M to stat asi nebude, ale stovky tisic taky ne.
-
200Mbit/s je přes 2TB denně. I zdvojeně je to pořád primární data přes 300TB za rok, což je podstatně více, než se ptá tazatel (200TB/2 roky).
-
PS. Provozuji 42TB v domacim prostredi. 200TB od tazatele neni ani radove vice, takze opravdu na tohle nepotrebujete milion eur.
A to tvoje domaci prostredi zvladne 200Mbit zapisu 24/7 ? A pokud budes chtit ty data navic nejak nema odlejvat, tak to musi dat mhohem vic, a jeste navic cteni a zapis zaroven, to je celkem slusna hromada IO. 30M to stat asi nebude, ale stovky tisic taky ne.
To uz je otazka architektury a rozlozeni dat podle toho co za funkce od toho ocekavate. 200mbit ale opravdu neni mnoho na diskove pole a pokud chcete i cist a zaroven mit QoS tak si musite nastavit io scheduler at preferuje zapisy. Zde opravdu nejde o to koupit nejake zelezo, nahazet tam disky a nechat aplikaci delat co se ji zamane, chce to trocha premyslet.
Jedno nase zarizeni (zhodou okolnosti kamera) je schopno vytvorit 2TB za 12 minut - kopie do tech poli jede cca 350MB/s pokud uvazuji zpusob nejprimitivnejsi (skrze prostrednika se pripojit na ftp a stahovat na sdileny disk), je to tedy mozne udelat pres noc (~8 hodin). V pripade nutnosti by prime propojeni zajistilo rozhodne rychlejsi kopii, ale zatim to neni nutnost, vyvoj sel cestou vymenneho media a nejake komprese.
-
Ahoj,
Pridam par mych poznatku z praxe s paskovou knihovnou a me osobni doporuceni.
V paskove knihovne mame cca 1PB dat(SAMfs-QFS filesystem). Archivujeme na 2x LTO6 a T10kC. Provoz knihovny nas stoji obrovske penize a realne zvazujeme prechod do cloudu. Ono to totiz neni jenom o HW. Ono to je o podpore, o obnove HW a celkovem managementu archivace. Kazdy tyden musi nekdo vyzvednou pasky, odeslat je do externiho uloziste a pripadne zazadat o dalsi pasky pro kontrolu integrity dat.
Pokud pujdu do reseni "ala" Amazon Glacier, jedine co potrebuji je velmi rychla internetova linka. Mozna ani nepotrebuji internet, staci mi DirectConnect 1Gbit do Prahy kde ma amazon POP. Nasledne potrebuji takovy DVR system ktery umi starsi zaznamy, kontinualne odesilat do AWS a v pripade vypadku ukladat lokalne.
Vyhoda tohoto reseni(z meho pohledu) je ze nemusim platit zadny HW predem. Amazon ma v USA dokonce certifikace ze ruci ze data nesmaze(primarne pro banky a pojistovny), dokonce ze je ani vy nesmazete(po garantovanou dobu). Dalsi vyhoda je lifecycle policy. Automaticky nechate mazat data napriklad po 2 letech a 3 dnech. Vyuzivaji to pry nemocnice, pojistovny a banky v USA.
Radek
-
Dobrý den,
nemáte tu někdo zkušenost, či nápad jak vyřešit ukládání videozáznamu z videokamer (cca 40 IP 4K kamer) po dobu 2 let? Problém je ten, že ještě potřebuji mít zálohu těchto záznamů, kdybych náhodou přišel o hlavní data.
Napadla mě varianta páskových úložišť, ale nemám s tím žádnou zkušenost. Cenově vychází o dost lépe než kupovat disky, ale nevím, jak je to případně s údržbou, skladováním atd.
Co jsem dělal výpočty, tak by to za ty dva roky dělalo cca 200TB dat.
Dobrý den,
v případě zájmu nás prosím kontaktujte na - http://armin.sk/kontakt - buď mailem, nebo telefonicky. Zabezpečit provoz úložiště není problém. V minulosti jsme zabezpečovali provoz datového úložiště, kde šlo o stovky TB dat a datové přenosy kolem 25 GBitů / s.