Veřejné úložiště dat

Veřejné úložiště dat
« kdy: 05. 04. 2013, 21:18:50 »
Zdravim,

rad bych realizoval verejny fileserver, prosim o rady nebo tipy, jake je nejvhodnejsi reseni takovyho projektu?
Jakou distribuce linuxu?
Jaka by mela byt architektura serveru?
Jakym zpusobem je reseny omezovani rychlosti stahovani dat? (primo tok dat ze serveru je omezeny, nebo by mela tok dat ridit az klientska aplikace?
Co se tyka balancovani vytizeni, existuje nejaky system, ktery by umel tridit data mezi servery podle vytizeni nebo na to musim mit vlastni aplikaci?
Reporty o kazdem konkretnim serveru, je mozne nejakym zpusobem distribuovat v realnem case pro dalsi zpracovani?(treba i pro to balancovani zatizeni)

Moje puvodni predstava byla mit windows server, kde bych si potrebny aplikace pro spravu (rozlozeni zateze) dat naprogramoval v .netu, kde by byl ftp server a koncova klientska aplikace by jen zprostredkovala data, pripadne trosku priskrtila prutok dat.

Budu mit nekolik 1U serveru, kazdy bude mit 4x3TB (pocitam ze se zrcadlenim bude pouzitelnych neco pod 6TB na jednom serveru).

Jak uz jsem psal, puvodne jsem chtel pouzit windows server, ale po zjisteni jejich politiky cen jsem moznost pouzivat software od microsoftu zavrhnul, takze se musim priznat ze jsem v linuxu zacatecnikem, necham si ve vsem co se tyka fileserveru, linuxu rad poradit, zaroven hledam nekoho, kdo by mi treba i s realizaci pomohl, zatim si nemuzu dovolit nekoho platit, uz takhle budu mit velky naklady na servery, ale casem proc ne.

Budu vdecny za jakykoliv informace k tematu,

Diky

Jan
« Poslední změna: 05. 04. 2013, 21:24:16 od Petr Krčmář »


Pavel 'TIGER' Růžička

Re:Veřejné úložiště dat
« Odpověď #1 kdy: 05. 04. 2013, 21:47:12 »
Jestliže Linux, tak jedině debian, či originál RH, ale ten je placený ... takže z těch zdarma jedině debian, protože je to král mezi jednookými. Jinou distribuci bych neinstaloval i když s tím někdo nemusí souhlasit. Možná ještě Slackware, ale tam už se nesetkáš s takovou odezvou v komunitě. Zdůrazňuji, že píši o Linuxu, ještě by se na server dal nasadit nějaký BSD systém, ale na ten se neptáš. Debian má velkou uživatelskou základnu, velké množství balíčků, a ve stable verzi i skvělou stabilitu. To neznamená, že nemá chyby ... ostatně, který systém je bez chyb? Další věcí je, že alespoň bez základních síťových znalostí se určitě neobejdeš. Něco se dočteš tady, s něčím pomůže Google a něco se najde v literatuře. Nicméně asi i ty základní znalosti budou nedostačující, jelikož chceš programovat svou aplikaci, tak znalost tcp/ip a jeho fungování je nutností. No a další věc je ona pomoc. Teď můžeš slibovat o budoucnosti cokoliv, ale pokud do toho někdo půjde, tak bez papírového podložení (rozuměj smlouvy) i když zatím bez úplaty to nepůjde. A já se tomu an nedivím, každou chvíli vidíme, jak někdo s někým vyjebe! Takže tolik asi obecně. Do detailů se pouštět nebudu, protože, to je skoro na seminárku a na to fakt můj volný čas nestačí.

JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Veřejné úložiště dat
« Odpověď #2 kdy: 05. 04. 2013, 22:00:18 »
Tady je par odkazu na vyzivne cteni o traffic shapingu v Linuxu: http://en.wikipedia.org/wiki/Traffic_shaping#External_links . Preji prijemnou zabavu. Par clanku vyslo i tady na rootu a asi o tom byly i nejake diskuse na foru.

Re:Veřejné úložiště dat
« Odpověď #3 kdy: 05. 04. 2013, 22:55:37 »
Pro tyto účely by bylo vhodné použít nějaký distribuvaný filesystem třeba http://www.xtreemfs.org/

Re:Veřejné úložiště dat
« Odpověď #4 kdy: 06. 04. 2013, 11:39:53 »
Diky za odpovedi,

Pavel 'TIGER' Růžička : OK, pro me jako pro laika je ta komunita stezejni, takze zkusim pro zacatek ten Debian, jakej konkretni BSD system? jsem vsem resenim otevrenej, nejaky znalosti programovani sitovejch aplikaci mam z projektu z prace, jenze tam pracujeme vyhradne s technologiema od ms, co se ty pomoci tyka, kdybych hledal primo nejakyho cloveka co by za me udelal praci vubec se nebudu ptat na detaily reseni a rovnou pisu pozadavky na uchazece o zamestnani, verim tomu, ze tenhle typ projektu muze bejt pro nekoho zajimavej proto nabizim spolupraci, rozhodne to pro me neni nutnost, ridim se tim ze vic hlav vic vi, sam se tomu budu venovat ve volnym case a i to bych pripadne od toho druheho ocekaval, takze sis spis spletl moje hledani pomoci s najmutim cloveka na praci, ale kdyz uz zminujes smlouvu, tak i tohle je cesta, musel by k tomu byt dobry duvod.

JardaP . : zatim jsem cetl jen zacatek, trochu mi to pripomina wcf throttling, to byla moje puvodni idea, kdyz tohle by bylo asi lepsi kdyby to bylo primo nastaveni pro ip na strane serveru, jestli jsem to pochopil spravne, poctu jeste vic, diky za info

Ondřej Vaniš : diky za odkaz, me se skoro spis zda, ze tohle reseni je pro zamezeni nedostupnosti nekterjch dat tim, ze se bude duplikovat na nekolik serveru, ale z myho pohledu je to zbytecny mrhani mistem pokud teda neumoznuje mit data jen na jenom serveru soucasne, jeste to prozkoumam, jinak ja potrebuju aby data byla vzdy jen na jednom serveru, ale mohla se podle vytizeni presunout na jinej min vytizenej server odkud by probihal prenos k uzivateli.

Jan


Pavel 'TIGER' Růžička

Re:Veřejné úložiště dat
« Odpověď #5 kdy: 06. 04. 2013, 12:57:47 »
Z BSD by se na to hodilo FreeBSD. No a s tou smlouvou jsem to myslel vážně, když na tom teď budete dejme tomu dva makat ve volném čase a ponese to zisk třeba za dva roky, tak teď mu sice můžeš říct, hele teď nic, až to ponese, tak x%, ale až to začne nést, tak mu můžeš potom říci už Tě nepotřebuju, dík, čau. Jak se říká, pořádek dělá přátele. Vždyť i někteří manželé si dělají předmanželskou smlouvu.  ;)

yenn

Re:Veřejné úložiště dat
« Odpověď #6 kdy: 06. 04. 2013, 17:35:38 »
[...] Jinou distribuci bych neinstaloval i když s tím někdo nemusí souhlasit. Možná ještě Slackware, ale tam už se nesetkáš s takovou odezvou v komunitě.

Slackware má velmi přátelskou komunitu na linuxquestions.org, kde ti ochotně poradí se vším, ovšem musíš umět anglicky. V ČR ti komunita asi víc poradí s Debianem.

Pokud to úložiště chceš "jenom" spustit a provozovat, jako začátečníkovi bych ti spíš doporučil Debian (ačkoliv sám používám Slackware), protože tě v lecčem vede za ruku, kdežto ve Slackware spoustu věcí musíš udělat sám (a vědět co děláš). Takže bys s tím nakonec strávil víc času než s Debianem.

Pavel 'TIGER' Růžička

Re:Veřejné úložiště dat
« Odpověď #7 kdy: 06. 04. 2013, 18:53:32 »
[...] Jinou distribuci bych neinstaloval i když s tím někdo nemusí souhlasit. Možná ještě Slackware, ale tam už se nesetkáš s takovou odezvou v komunitě.

Slackware má velmi přátelskou komunitu na linuxquestions.org, kde ti ochotně poradí se vším, ovšem musíš umět anglicky. V ČR ti komunita asi víc poradí s Debianem.

Pokud to úložiště chceš "jenom" spustit a provozovat, jako začátečníkovi bych ti spíš doporučil Debian (ačkoliv sám používám Slackware), protože tě v lecčem vede za ruku, kdežto ve Slackware spoustu věcí musíš udělat sám (a vědět co děláš). Takže bys s tím nakonec strávil víc času než s Debianem.

Zase pro Slackware mluví i jeho čistota. Ale na konfiguraci je prostě těžší, a komunitu má podle mne menší (můj subjektivní názor, nic víc). Nebylo to myšleno tak, že by se setkal s negativní odezvou. Ale jak jsem prostě psal o Debianu, došlo mi, že by to vůči Slackware nebylo fér a proto jsem ho i zmínil. Na druhou stranu, lze tam nacpat cokoliv a ono to tak nějak poběží, ale ....

Re:Veřejné úložiště dat
« Odpověď #8 kdy: 07. 04. 2013, 17:53:39 »
Pavel 'TIGER' Růžička : jasne takhle nejak jsem ten duvod myslel, ale zalezi jestli by vubec nekdo ochotne potom dlouhodobe treba ty 2 roky na tom pracoval, ale hlavne ze bude smlouva :), btw taky jsem to myslel vazne, tak pokud smlouva ma smysl je dobry ji uzavrit vsichni potom jasne vi na cem jsou a hlavne pokud je vyzadovana

yenn : anglictina mi nevadi, tak jak uz jsem psal zkusim nejdriv debian a uvidime, servery jsou teprve na ceste, ale rad bych se o ne potom staral treba na fulltime pokud by byla moznost ale jak pises ze zacatku to spis budu fakt chtit "jenom" spustit, jinak diky za odpoved

yenn

Re:Veřejné úložiště dat
« Odpověď #9 kdy: 07. 04. 2013, 19:26:14 »
[...] Jinou distribuci bych neinstaloval i když s tím někdo nemusí souhlasit. Možná ještě Slackware, ale tam už se nesetkáš s takovou odezvou v komunitě.

Slackware má velmi přátelskou komunitu na linuxquestions.org, kde ti ochotně poradí se vším, ovšem musíš umět anglicky. V ČR ti komunita asi víc poradí s Debianem.

Pokud to úložiště chceš "jenom" spustit a provozovat, jako začátečníkovi bych ti spíš doporučil Debian (ačkoliv sám používám Slackware), protože tě v lecčem vede za ruku, kdežto ve Slackware spoustu věcí musíš udělat sám (a vědět co děláš). Takže bys s tím nakonec strávil víc času než s Debianem.

Zase pro Slackware mluví i jeho čistota. Ale na konfiguraci je prostě těžší, a komunitu má podle mne menší (můj subjektivní názor, nic víc). Nebylo to myšleno tak, že by se setkal s negativní odezvou. Ale jak jsem prostě psal o Debianu, došlo mi, že by to vůči Slackware nebylo fér a proto jsem ho i zmínil. Na druhou stranu, lze tam nacpat cokoliv a ono to tak nějak poběží, ale ....

Přesně takhle jsem to pochopil. Asi to jsem to nešťastně napsal. Slackware má menší komunitu, protože ho nepoužívá tolik lidí. Tak to prostě je, netřeba se omlouvat :)
Debian má tu výhodu, že s ním dokáže poradit víc lidí a dají se najít spousty návodů ve stylu "How to do X in Debian", kdežto pro Slackware člověk musí hledat po celém internetu, na slackware wiki a když nic nenajde, ptát se na fórech. Proto jsem tazateli doporučil Debian.

yenn : anglictina mi nevadi, tak jak uz jsem psal zkusim nejdriv debian a uvidime, servery jsou teprve na ceste, ale rad bych se o ne potom staral treba na fulltime pokud by byla moznost ale jak pises ze zacatku to spis budu fakt chtit "jenom" spustit, jinak diky za odpoved

Jestli se ti o servery bude nejdřív starat někdo jiný, tak spíš najdeš člověka, který zná Debian než Slackwaristu.

Ale jestli by ses o ně pak chtěl starat sám a budeš už o Linuxu něco vědět, klidně Slackware vyzkoušej. Třeba proto, že má blízko k BSD systémům a přechod ze Slackware na BSD bude o dost snazší než z jakékoliv jiné linuxové distribuce.

Re:Veřejné úložiště dat
« Odpověď #10 kdy: 07. 04. 2013, 22:22:57 »
Ondřej Vaniš : diky za odkaz, me se skoro spis zda, ze tohle reseni je pro zamezeni nedostupnosti nekterjch dat tim, ze se bude duplikovat na nekolik serveru, ale z myho pohledu je to zbytecny mrhani mistem pokud teda neumoznuje mit data jen na jenom serveru soucasne, jeste to prozkoumam, jinak ja potrebuju aby data byla vzdy jen na jednom serveru, ale mohla se podle vytizeni presunout na jinej min vytizenej server odkud by probihal prenos k uzivateli.

Pokud nebudes pouzivat lokalni mirror mezi disky tak pouzijes miror mezi servery prostredky Xtreemfs. Redundance dat je zachovana a data potom nemusis kopirovat pri vetsim vytizeni na jiny server. Take zalezi na tom cim bude server vytizen jestli I/O operacemi nebo obsluhou http spojeni nebo obsluznou aplikaci. Od toho vseho se odvyji navrh architektry. Jestli pouzit load balancer pred fileservery atd...

creco

Re:Veřejné úložiště dat
« Odpověď #11 kdy: 08. 04. 2013, 13:33:57 »
Nevis o tom nic a presto to chces udelat... no budes mit mnoho problemu.

Po hardwarove strance urcite narazis na problem vykonu disku... Takze jeden velky problem odstranis tak ze diskove pole postavis na SSD discich a nebo pouzijes SSD caching aspon pro nejcasteji stahovane data. Ale i tak to vyjde pekne draho takze si trikrat rozmysli jestli do toho pudes aby se ti to vubec vratilo protoze takovych sluzeb na internetu je spousty

Co se tyce omezovani rychlosti, tak to umi rada web serveru od apache, lighttpd nebo nginx. Protoze asi pocitas s tim ze budes mit ohromne mnostvi uzivatelu doporucuju pouzit nginx.

Dalsi vec na kterou narazis je konektivita. Sice dnes za rozumne penize muzes ziskat 1Gbits pripojku pro server ale to je vetsinou pouze v ramci ceske republiky.

To ze jsi zavrhnul Windows jako operacni system delas dobre, protoze on ti neda nic navic a jeste pudes platit SPLA za kazdy server.

Jakou distribuci nebo architekturu... to je snad uplne sumak... Proste rozjed web server, v tom asi nejaky skriptovaci jazyk a jedem

Zdravim,

rad bych realizoval verejny fileserver, prosim o rady nebo tipy, jake je nejvhodnejsi reseni takovyho projektu?
Jakou distribuce linuxu?
Jaka by mela byt architektura serveru?
Jakym zpusobem je reseny omezovani rychlosti stahovani dat? (primo tok dat ze serveru je omezeny, nebo by mela tok dat ridit az klientska aplikace?
Co se tyka balancovani vytizeni, existuje nejaky system, ktery by umel tridit data mezi servery podle vytizeni nebo na to musim mit vlastni aplikaci?
Reporty o kazdem konkretnim serveru, je mozne nejakym zpusobem distribuovat v realnem case pro dalsi zpracovani?(treba i pro to balancovani zatizeni)

Moje puvodni predstava byla mit windows server, kde bych si potrebny aplikace pro spravu (rozlozeni zateze) dat naprogramoval v .netu, kde by byl ftp server a koncova klientska aplikace by jen zprostredkovala data, pripadne trosku priskrtila prutok dat.

Budu mit nekolik 1U serveru, kazdy bude mit 4x3TB (pocitam ze se zrcadlenim bude pouzitelnych neco pod 6TB na jednom serveru).

Jak uz jsem psal, puvodne jsem chtel pouzit windows server, ale po zjisteni jejich politiky cen jsem moznost pouzivat software od microsoftu zavrhnul, takze se musim priznat ze jsem v linuxu zacatecnikem, necham si ve vsem co se tyka fileserveru, linuxu rad poradit, zaroven hledam nekoho, kdo by mi treba i s realizaci pomohl, zatim si nemuzu dovolit nekoho platit, uz takhle budu mit velky naklady na servery, ale casem proc ne.

Budu vdecny za jakykoliv informace k tematu,

Diky

Jan

Re:Veřejné úložiště dat
« Odpověď #12 kdy: 08. 04. 2013, 13:45:51 »
rad bych realizoval verejny fileserver, prosim o rady nebo tipy, jake je nejvhodnejsi reseni takovyho projektu?
Pokud se ptas na to, na co se ptas, tak nejlepsi reseni je 1. se do toho projektu nepoustet.

Druhe nejlepsi reseni je 2. normalne regulerne zaplatit nejakeho _odbornika_ za to, ze to cele navrhne, spocita naklady, v laboratornich podminkach otestuje a pak nasadi. Pokud na zaplaceni takoveho cloveka nemas, pak je potreba jit cestou reseni 1.

Treti nejlepsi reseni je zmineneho odbornika premluvit, aby do toho sel jako spoluinvestor za procenta a jako vklad do toho dal svoji praci. Pokud takoveho cloveka nenajdes, opet GOTO 1.

(sorry za primost, ale nema smysl si mazat med kolem pusy, tohle neni projekt, ktery ti vyresi student lezic na kolejnim kanapi, to chce clovek, ktery neni hrr a vi, co dela. Neni to sranda.)

Re:Veřejné úložiště dat
« Odpověď #13 kdy: 08. 04. 2013, 13:47:36 »
Jo a taky bych nepodcenoval naklady na pravni sluzby. U tohodle budou setsakramentsky potreba.

Re:Veřejné úložiště dat
« Odpověď #14 kdy: 08. 04. 2013, 20:03:43 »
yenn : no predne se s tim zkusim naucit sam, sem realista a je mi jasny ze to bude trvat treba mesice, navic ono pri praci je tezky najit vic volnyho casu, i tak verim ze to pujde :)

Ondřej Vaniš : treba pri vic serverech i kdyz by zustalo kopirovani staticky jen treba mezi 2ma serverama, tak pri vytizeni obou serveru si nedokazu predstavit jak by se data kopirovala na dalsi 3ti min vytizenej server touhle sluzbou, ale jako myslenka se mi to libi, ze by zaloha byla resena kopii na ruznejch serverech a i ta pozice jedny i druhy kopie by se mohla menit v ramci vytizeni, myslim si ze bych tohle pod .netem dal, v tom linuxu to bude vetsi orisek, musim rict ze se mi to ale libi mnohem vic, nez nejaky mirrorovani vzdy jen na jednom disku, navic by kazdej soubor byl 2x dostupnejsi

creco : to mas asi pravdu, presto si nemyslim ze to je duvod vykaslat se na to :), rozhodne neplanuju menit diskovy pole za SSD, takhle, pokud by nebyla jina moznost nez pouzit SSD aby to fugnovalo, tak vzhledem k soucasnejm cenam bych do toho uz predem rovnou odmitl jit, navic rychlost vystupu pri 1Gbps je mensi nez rychlost cteni z 7.2k serverovyho disku, takze kdyz bude mit server 4takovy disky myslim si, ze pujde optimalizovat procesy tak, aby zrovna disky nebyly tou brzdou, inu uvidime :) ale pochybuju ze soucasny datovy uloziste jedou na ssd, co se tyka ssd cache to uz vidim realnejs

ok, o apache jsem slysel hodne, ale nemel jsem tu cest s tim pracovat, ale uz jsem nasel nejaky navody jak prave tam resit ty prutoky, lze prirovnat apache k iis? jo jinak, to co mi porad lezi v hlave je, jak to resi ostatni, maj aplikaci, ktera v ramci requestu na serveru prideli treba podle uctu uzivatele jestli ma mit ip takovej a takovej prutok? Zda se mi ze by to byl pro tu sluzbu hroznej zahul, je to na neco podobnyho staveny? nemusi jit o tisice uzivatelu, pocitam destiky maximalne stovky i tak si myslim ze nebude uplne easy

ta konektivita je to, co me vazne stve, co se cr tyka souhlasim ze cena je fajn, ale kdosi mi nabidl 180kc za 1Mb do zahranici a 180k mesicne za konektivitu do zahranici mi prijde blaznovstvi, nebo to dopovida? Kdyby to bylo vazne celostetove a projekt by byl schopnej to pokrejt tak dejme tomu, ale ted to bude zatim pouze CR

Mirek Prýmek : no ptam se takhle obecne protoze nejdriv potrebuju zjistit info jaky jsou moznosti, priznam se, ze zpocatku jsem to trochu podcenil, ale to zavinilo i to, ze jsem mel pouzit windows server, ten linux to cely pro me zkomplikoval, ale tak z nejakyho duvodu vetsina (jen tipuju podle nabizenejch sluzeb) poskytovatelu hostingu nabizi sluzby prave ty, ktery jedou na linuxu

je fakt, ze co se architektury tyce dost mozna si nakonec na to nekoho najmu, pokud to nedam sam a nejsem blazen, tady snad kazdej nejak dokaze odhadnout jesli je nejaky reseni kloudny nebo jestli je to volovina, precejen je asi dobry vkrocit do toho tou spravnou nohou

naopak uprimnosti si vazim, tak sem s tim, vim ze co se linuxu tyce jsem totalni amater, no co, zacit se nejak musi :)