Veřejné úložiště dat

[Mirek Prýmek]

naopak uprimnosti si vazim, tak sem s tim, vim ze co se linuxu tyce jsem totalni amater, no co, zacit se nejak musi

Ok, tak jeste jednu uprimnou otazku, spis tak ze zvedavosti, jestli je to moc na telo, samozrejme nemusis odpovidat: jakym zpusobem mas v planu porazit velke hrace, ktere se na tomhle poli pohybuji? (ruzne ty ulozto stahnito ukradnito rapidshare fileshare filezilla mega giga a tak) Pocitas s tim, ze oni zatracene dobre vedi, co delaji? (po technicke, marketingove, pravni a jakekoli jine strance)

[Reklama]

[johnny31]

tak nemusim je hned porazet, mam v planu stat se minimalne konkurenceschopnej, ono nemusim bejt lepsi (nejlepsi) nez oni aby me to zivilo, samozrejme je potreba aby projekt byl ambiciozni, ale je nesmysl bejt myslenkama v oblacich, ze pustim server a vsichni se pretrhnout aby pouzivali moji sluzbu, mam nejaky napady a to je pro me podstatny, v nekterejch smerech je to hodne podobny tomu co delaj ostatni ono taky nejde vymejslet furt neco novyho, stejne tak ze je jasny ze vi co delaji tak je jasny si nebudou chtit nechat vzit svuj bussiness, ale to je vsude a nepodnikat jenom kvuli konkurencnimu boji?...

[Mirek Prýmek]

Podle me je to teda pekne preplneny segment, ze ktereho zadne penize nekoukaji, spis problemy. Ale treba neco zajimaveho vymyslis

[johnny31]

Tak predne je podstatny rict, ze hlavni iniciativa nebyla na tom zbohatnout, ale delat neco co me bude bavit, pokud to bude vynaset penize bude to jenom plus, to, cemu se chci vyhnout je, ze to budu treba dlouhodobe dotovat, ze zacatku to tak samozrejme bude

[Waseihou]

Hm, tak vám sem vážení taky přihodím nápad, který by onen pán mohl zkusit realizovat. A je na vás, vážení, abyste zhodnotili jeho (ne)realističnost.

Jak jistě tušíme, tak provozovat další stahovací server přináší mnohá prvávní rizika, nejen kvůli pirátství, ale také kvůli jinému možnému nelegálnímo obsahu.

Další takový server momentálně nikdo nepotřebuje, takže bez nějaké té novinky navíc to nemá smysl.

Ale, existuje TAHOE-LAFS: https://tahoe-lafs.org/trac/tahoe-lafs , tam to funguje tak, že provozovatel úložiště netuší, jaká data jeho uzly (servery) obsahují, protože jsou šiforvána.

No a nabízí se hypotetická možnost nabízet takovéto řešení, kdy provozovatel bude pronajímat servery které budou sloužit jako uzly tahoe-lafs. Ano, kdokolvi si takového něco může zařídit přímo, ale mnozí o tom ani neví, takže proč jim to nezjednodušit.

Ony uzly potřebují bránu kde bude docházet k šifrování, ta asi může být v režii uživatele, nebo ji také bude pronajímat provozvatel, a nebo dokonce časem konkurence.

Další věcí je, že může nabízet dalším lidem přivýdělek, pokud poskytnou své nespolehlivé stanice k ukládání dat. Bude třeba vyřešit kontrolu dostupnosti, a podle uptime platit část zisku.

Tento systém může být do jisté míry vzdáleně podobný tomu co plánoval megaupload, tedy nabízet ostatním možnost paraticipace při skladování dat, za možnost malého přivýdělku.

Pokud jde o peníze, stejně dobře může být zajímavým projektem provozování VPNky, hlavně ve Velké Británii a USA teď stoupá poptávka...

[Reklama]

[johnny31]

Waseihou : Tak obecne, pokud nebude server vydelavat (velky penize), pravdepodobne na sebe nestrhne ani pozornost a ani zadny pravni problemy, to, ze doslo na megaupload a na ostatni ne je proto ze ostatni se ani zdaleka neblizili obratum (ziskum) megauploadu, to je muj nazor nebo at je to jakkoliv tak nikdo se nebude dozadovat financni nahrady od nekoho kdo tu financni nahradu neni schopnej uhradit...

Lidi ten server nebudou potrebovat do ty doby dokud se jim nerekne ze ho potrebuji

Ne ze bych chtel podcenovat lidi, ale bezne ty co stahujou prave z uloziste o kterem jsme tu psali nepochopi system toho co tu uvadis a uz vibec nebudou nic instalovat, verim tomu, ze treba casem se to stane popularni asi jako torrenty, uprimne nevim kde je ziskovost torrentu jestli vubec nejaka je, samozrejme pokud se nejedna o reklamy, a pokud se to uchyti tak to jeste bude nejakej patek trvat, ja osobne bych do toho nesel, mozna i pro nedostatecnou znalost toho celyho, jinak verim ze to muze bejt sikovna vec, ale ja bych rad kdyby me to casem aspon uzivilo, tomuhle neverim, a co ty, planujes bejt v tomhle vic zainteresovanej?

[Waseihou]

Hm, tak jsem to asi nemyslel. Cílová skupina zákazníků by byli lidi, kteří chtějí vlastní anonymní úložiště, a chtějí ho s někým sdílet i když jsou offline. Tito by si jenom koupili možnost používat Tahoe-LAFS k ukládání dat.

Pak by ale byla další skupina pokročilých uživatelů, kteří si chtějí přividělat a jsou ochotni poskytnout server. Ty by jsi jim vlastně jen zajistil klienty a procenta ze zisku, který ti přinesou. Tímto způsobem by jsi přesunul část nároků na systém kladených, protože by se o ně postarali jiní. Tato druhá skupina by vůbec nemusel tu službu používat, jenom by pronajímali svůk diskový prostor, a možná za cenu nižší než jakou ti poskytne nějaký hosting. Minimalizace nákladů by mohla být konkurenční výhodou, stejně jako fatk že ty uzly by byly rozesety různě po republice, takže by jsi nemusel tolik řešit load balancing. Zbývalo by teda jenom vyřešit jak hlídat přínos uzlu a přerozdělit zisk.

Další věcí by asi bylo vytvoření atraktivního rozhraní pro BFU, a způsob jejich zpoplatnění. Takováto služba by asi vyžadovala normální platby, tedy by jsi potřeboval zavést propojení systému na bankovní účet (FioBanka nebo mBanka?), kreditní kartou (ehm...), PayPal, PaySafeCard, BitCoin, platby mobilem (osobně považuji za sprosté nabídnout tuto možnost platby zákazníkovi...).

Hlavním problémem všech placených služeb je, jak zajistit aby bylo pro uživatele platba snadná, rychlá a hlavně bezpečná. Zaměření se na minoritu uživatelů bude znamenat, že z reklamy se neuživíte.

[creco]

Jeden disk 7200Ot/s má cca 70-90 IOPS... sice pouzijes nejake diskove pole ale rekneme ze z jednoho serveru dokaze stahovat deklarovanou rychlosti 200-300 lidi??? A to ti ten server asi nezaplati

Je sice hezke ze jeden disk zvladne cist az cca 150MB/s ale jakmile na nej posles desitky pozadavku za sekundu jeho rychlost padne na 5-10MB/s... zalezi na radici... zalezi na cache... zalezi na aplikaci ale presto narazis. A pokud nemas v zakladu poradnej balik penez abys to uz zprvopocatku postavil poradne akorad stratis cas a penize.

Vim o cem mluvim z dvou duvodu... 1. filesharing vlastni provozuju 2. Provozuju streaming videa a reknu ti ze pri 30k lidi dene uz das diskum poradne zavarit.

Zahranicni konektivita je opravdu draha... jak kde... bezna cena pro novacka v oboru je 4 euro za 1Mbits do zahranici

yenn : no predne se s tim zkusim naucit sam, sem realista a je mi jasny ze to bude trvat treba mesice, navic ono pri praci je tezky najit vic volnyho casu, i tak verim ze to pujde

Ondřej Vaniš : treba pri vic serverech i kdyz by zustalo kopirovani staticky jen treba mezi 2ma serverama, tak pri vytizeni obou serveru si nedokazu predstavit jak by se data kopirovala na dalsi 3ti min vytizenej server touhle sluzbou, ale jako myslenka se mi to libi, ze by zaloha byla resena kopii na ruznejch serverech a i ta pozice jedny i druhy kopie by se mohla menit v ramci vytizeni, myslim si ze bych tohle pod .netem dal, v tom linuxu to bude vetsi orisek, musim rict ze se mi to ale libi mnohem vic, nez nejaky mirrorovani vzdy jen na jednom disku, navic by kazdej soubor byl 2x dostupnejsi

creco : to mas asi pravdu, presto si nemyslim ze to je duvod vykaslat se na to , rozhodne neplanuju menit diskovy pole za SSD, takhle, pokud by nebyla jina moznost nez pouzit SSD aby to fugnovalo, tak vzhledem k soucasnejm cenam bych do toho uz predem rovnou odmitl jit, navic rychlost vystupu pri 1Gbps je mensi nez rychlost cteni z 7.2k serverovyho disku, takze kdyz bude mit server 4takovy disky myslim si, ze pujde optimalizovat procesy tak, aby zrovna disky nebyly tou brzdou, inu uvidime ale pochybuju ze soucasny datovy uloziste jedou na ssd, co se tyka ssd cache to uz vidim realnejs

ok, o apache jsem slysel hodne, ale nemel jsem tu cest s tim pracovat, ale uz jsem nasel nejaky navody jak prave tam resit ty prutoky, lze prirovnat apache k iis? jo jinak, to co mi porad lezi v hlave je, jak to resi ostatni, maj aplikaci, ktera v ramci requestu na serveru prideli treba podle uctu uzivatele jestli ma mit ip takovej a takovej prutok? Zda se mi ze by to byl pro tu sluzbu hroznej zahul, je to na neco podobnyho staveny? nemusi jit o tisice uzivatelu, pocitam destiky maximalne stovky i tak si myslim ze nebude uplne easy

ta konektivita je to, co me vazne stve, co se cr tyka souhlasim ze cena je fajn, ale kdosi mi nabidl 180kc za 1Mb do zahranici a 180k mesicne za konektivitu do zahranici mi prijde blaznovstvi, nebo to dopovida? Kdyby to bylo vazne celostetove a projekt by byl schopnej to pokrejt tak dejme tomu, ale ted to bude zatim pouze CR

Mirek Prýmek : no ptam se takhle obecne protoze nejdriv potrebuju zjistit info jaky jsou moznosti, priznam se, ze zpocatku jsem to trochu podcenil, ale to zavinilo i to, ze jsem mel pouzit windows server, ten linux to cely pro me zkomplikoval, ale tak z nejakyho duvodu vetsina (jen tipuju podle nabizenejch sluzeb) poskytovatelu hostingu nabizi sluzby prave ty, ktery jedou na linuxu

je fakt, ze co se architektury tyce dost mozna si nakonec na to nekoho najmu, pokud to nedam sam a nejsem blazen, tady snad kazdej nejak dokaze odhadnout jesli je nejaky reseni kloudny nebo jestli je to volovina, precejen je asi dobry vkrocit do toho tou spravnou nohou

naopak uprimnosti si vazim, tak sem s tim, vim ze co se linuxu tyce jsem totalni amater, no co, zacit se nejak musi

[johnny31]

takze podle tebe je vychodisko jen v SSD? nebo co podle tebe znamena postavit to poradne uz na zacatku? to znamena, ze ty sam provozujes filehosting na ssd discich? Kterej server provozujes? ale ocividne to funguje i na diskovejch polich, protoze pred par lety ssd nebyly tak dostupny jako dneska a uz vubec ne v soucasnejch kapacitach a taky to fugnovalo, navic nemyslim si ze by dneska bylo nejak vyrazne vic lidi co by takovej obsah stahovalo,

[Johnny]

creco : trochu mi to s tema ssd diskama lezi v hlave, takze treba reseni 1x100GB na os + 2x3TB + 250-500GB SSD by mohlo tenhle problem resit? tak, ze by ssd disk fungoval hlavne jako takovej most mezi uzivatelem a ulozenejma datama, zaroven by to mohlo bejt i z obraceny strany pri uploadu jako zasobnik kdyby disky nestihaly, tohle mi prijde fajn, kdyz v podstate tu hlavni ulohu porad plni diskovy pole

[j]

Potrebujes mit predevsim dobre navrzenou aplikaci, a vic nez SSD ti pomuze, kdyz mas hromady RAMky. A samo, zatez rozkladas pres cluster X serveru. Tak jako tak, pokud se budem bavit o verejnym sharu, tak pokud uvazujes o necem vic nez sdilenym disku pro par pratel, potrebujes na to hodne moc M$ aby to bylo pro lidi pouzitelny.

[honz]

Ahoj,

nečetl jsem celou diskuzi, celkově nemám moc co říct kromě výběru distribuce na které to bude založené. Hlavně proboha neinstaluj slackware a podobne obskurdnosti. Vybírej mezi CentOS (klon RedHatu) nebo Ubuntu server/Debian. U těhle distribucí máš alespoň nějakou jistotu stability(tím myslím aktualizace, bezpečnostní záplaty, gatrance dalšího vývoje) a dostupnosti sw (většina sw se dá najít v repository příslušných distribucí a vyhneš se stahování podezřelých balíčků, ruční kompilaci ze zdrojáků a dalším problémům).

Ad doporučovaný Slackware v prvních příspěvcích - tomu se vyhni, jinak si budeš zbytečně komplikovat život. Mezi Centosem a Debianem vyber podle toho, jestli máš v okolí nějakého linuxáka, který jeden z těchto systémů ovládá, jinak je to jedno.

Honza

[creco]

nebudu ti rikat kompletni know how... jen ri reknu ze si muzes exportovat reporty nejstahovanejsich souboru za 24 hodin a docasne je presunout na ssd a nebo pouzit ssd caching. ciste SSD pole pouzivam hlavne na obrazky a nahledy souboru kde je nejvice IOPS.

creco : trochu mi to s tema ssd diskama lezi v hlave, takze treba reseni 1x100GB na os + 2x3TB + 250-500GB SSD by mohlo tenhle problem resit? tak, ze by ssd disk fungoval hlavne jako takovej most mezi uzivatelem a ulozenejma datama, zaroven by to mohlo bejt i z obraceny strany pri uploadu jako zasobnik kdyby disky nestihaly, tohle mi prijde fajn, kdyz v podstate tu hlavni ulohu porad plni diskovy pole

[creco]

co je levnejsi? 100GB SSD nebo 100GB DDR3 v RAM?

Potrebujes mit predevsim dobre navrzenou aplikaci, a vic nez SSD ti pomuze, kdyz mas hromady RAMky. A samo, zatez rozkladas pres cluster X serveru. Tak jako tak, pokud se budem bavit o verejnym sharu, tak pokud uvazujes o necem vic nez sdilenym disku pro par pratel, potrebujes na to hodne moc M$ aby to bylo pro lidi pouzitelny.