Levné hostování velkého množství dat

[feferka2010]

1) dedik server (pokud je to pro výzkum dodám), otázka je jestli to upočítá procesor přeci jenom 1gbit/s over SSL je dost. Tedy 2U, 16TB disky, 1gbit/s linka  6485 bez dane. (Cena vceten serveru) + backup k tomu.

2) cdnko, pokud by jsi napsal nejakej manager a pres nasi cdn to pral ven tak pokud by byl download pres portal kde bude info o te sluzbe tak to dam ciste za cenu prenosu coz muze byt 2000-3500 czk/mes (pro 100tb).

zalezi jak k tomu pristupuji jestli jsou to datasety a nebo je to proste uloziste kam se hrnou data ktera si pak lidi stahuji individualne nebo je to proste nejake uloziste (napr ftp) kam se to sype odvsude

3) pokud sezenes podporu na nejake universite tak k tomu dodam hw co to utahne jako dar, max si koupis za 50 eur bazarovou 10g sitovku.

[Reklama]

[.]

Napsat sice teoreticky může, ale pokud bude provoz vesměs jenom po republice, tak nejspíš nenapíše. Drahá je zahraniční konektivita, ne ta domácí.

Tazatel je z USA a distribuuje po celém světě.

Pak si musí něco najít tam. Nepochybně i v USA existují místa s Gbps lajnou, kde se dá nějaký vlastní server nebo NAS umístit.

[František Ryšánek]

Před lety jsem zaslechl debaty toho typu, že některé "subjekty připojené k internetu" (AS) měly velký počet drobných domácích klientů = mocný download, ale skoro žádný upload. A naopak existovaly firmy provozující hosting/housing, které měly veliký upload, ale skoro žádný download. A různě se organizačně spolčovaly a "expandovaly služby" a přeprodávaly konektivitu, aby si ten nepoměr up/down vyrovnaly. Těžko říct, zda je v dnešní době nějaký altruista s hejnem drobných retailových sosačů, který má zbytečných pár gigabitů v uploadu (a byl by ochoten se o ně za drobný peníz podělit).

Hm... na suverénní členství v NIXu to asi nebude :-)

[Honza1Ubuntu]

Problem je, ze v soucasne dobe hostujeme na DigitalOcean a ucet se blizi cca $2000. Nekdo ma nejake doporuceni?

Obecně, ta cena mi nepřijde zas _tak_ strašná, jsou lidi co platí v AWS nebo Google Cloudu klidně stonásobek.

2000 USD pro hostovani 10 TB dat neni moc (0.2 USD resp. 4 Kc za GB) ? Nekdo plati stonasobek (tedy 200k USD, to je 20 dolaru za GB). Samozrejme, ze za hostovani jde o zbytecne vysokou cenu. Urcite se naklady srazi na 100 Eur za 10 TB, to je 0.25 Kc za GB. A pri trose stesti se dostanes na 1000 Kc/10 TB hostovani, to je 0.1 Kc za GB.

Disky nad 10 TB (nebo i 20 TB) se uz daji sehnat za relativne dostupnout cenu (pod 500 Eur), a dneska uz zacina i na vesnicich byt dostupny internet nad 100 Mbit/s. Ale upload byva omezovan na slabsi. I kdyz v Praze se da sehnat az 1 Gbit obema smery. Uzit by se dalo i hostovani u sebe doma. Ale prumerny upload 100 TB znamena prumerna rychlost uploadu okolo 300 Mbit/s a ve spicce to samozrejme bude vic. Rychlost uploadu by musela byt nejmene 500 Mbit/s, nebo radeji 1 Gbit/s. A to neni vsude dostupne. Pro domaci internet davaji operatori neomezena data, ale nevim, jak by se koukali na traffic 100 TB mesicne. Mozna by i kontaktovali policii pro podezreni z neceho.

Pro jeden zdroj (v domacnosti) utahnout takovy upload bu mohl byt problem. Torrent to resi - z centralniho zdroje upload treba 100 Mbit/s a zbytek uz si zdili mezi sebou uzivatele (pokud min. 2 uzivatele stahuji stejna data). Ale torrenty jsou ve verejnych institicich pronasledovane a bannovane z obavy o nelegalni zdileni. Provoz torrentu by mohl jit nejak prez SSL zamaskovat, ale nevim to jiste. Vim, ze na univerzite i na koleji sli po torrentech jako divy (stahovani i sdileni). Torrentu se sitari boji.

Velmi znamy server uloz.to uz funguje jen na ukladani souboru, zdileni uz ani prez odkaz neni mozne. Maji tam ve velmi priznive nabidce online disk 10 TB (5.5 USD/mesic) a 50 TB (13 USD/mesic), ale nejde zdilet (musel by jsi poskytnout pristupove heslo sveho uctu, to radeji ne).

Driv bylo docela levne kimsufi.cz na pomer cena/misto na disku. Ale ted tam davaji uz ssd, ktere jsuou v cene za TB drazsi, nez disky. Dedikovany server za nekolik desitek Eur (do 100 Eur) mesicne s mistem na disku (klasicky HDD) nad 10 TB a pripojkou 1 Gbit/s, to uz by nemel byt takovy problem najit.

Jedna se o rozumny pocet vetsich souboru, nebo velke mnozstvi malych souboru ? Stahuje honde uzivatelu na raz male objemy dat, nebo jen par uzivatelu na raz velke objemy dat. Kdyz by se jednalo o velke mnozstvi malych souboru a velky pocet uzivatelu na raz, stahujici male objemy - pak uz by to HDD taky nemusel stihat.

Storage servery od Hetzner, tam to funguje jak ? Jen jako uloziste - online disk, nebo i jako webserver, plno-hodnotny server ? CPU a RAM nebudou nejvyssi, ale na webserver to neni potreba narozdil od databazi. I kdyz stovky mbit prez sifrovane spojeni nejaky CPU potrebuje, ale dneska by nemel byt problem.
https://www.hetzner.com/storage/storage-box/

Internet pro domacnost i pro server, uvadi poskytovatel casto neomezena data. Ale pocita s tim, ze lidi prilisne mnozstvi dat stejne ani nevyuziji (BFU). Tady by mozna se mohl nekdo podivit. Zejmena v pripade domaciho internetu.

[anonacct]

Já bych to vyřešil jinak.

Pokud to nikdo nechce platit, tak bych napsal email na příslušné místa s tím, že na hosting těch dat už nejsou peníze a hosting tedy končí od třeba 1. března 2024...

Toto je většinou jediná cesta jak na to nedoplácet a jak zařídit finance. Druhá věc je dát to na github, ale to se zase možná ozve MS :-)

[Reklama]

[petersveter]

$6/TB u Wasabi, Vultr, Backblaze
€2.6/TB u Hetzner a jeho Storage Box
Dropbox €1.33/TB

PS: Za 100€/mes sa da u Hetzneru zobrat 4x16TB server, 250€ 10x16TB alebo 14x16TB za 400€.

[Honza1Ubuntu]

Ja osobne bych sel do toho dedikovaneho serveru. Uploadovat 100 TB/mesic, to by sice teoreticky podle neomezenych nabidek operatoru u nas v CR slo, ale asi by byl operator prekvapen (sledovanim youtube to nedas), a mozna bych musel podavat vysvetleni na PCR. Zvlaste nekde na vesnici bych se obaval o stabilitu pripojeni, abych nezbrzdil celou obec.

Dedikovany server se urcite da sehnat pod 100 Eur/100 USD/2000 Kc za mesic s pozadovanym mistem a 1 Gbit pripojkou. Pri trose stesti se da dostat i pod 50 Eur/Mesic.

SX servery maji uloziste obrovska, i SX64 mnoho-nasobne prevysuje pozadovane misto. Vyssi servery SX jsou zbytecne vykonne a drahe - stejne tolik mista nevyuzijes.

https://www.hetzner.com/dedicated-rootserver/matrix-sx/

Nizke ceny se daji i tady najit:
https://www.hetzner.com/sb/

Ale problem bude s dostatecnou kapacitou HDD. Vetsinou tam jsou rychla SSD s mensi kapacitou, coz nepotrebujes. Tady to vypada dobre:
https://www.hetzner.com/sb/#drives_size_from=8000&drives_size_to=16000

Ten za 55.7 Eur/mesic (druhy od zhora) vypada zajimave v pomeru cena-vykon. Misto na HDD dokonce celke 24 TB a mensi SSD pro data, na ktera je potrebny rychly pristup:

https://www.hetzner.com/sb/#drives_size_from=12000&drives_size_to=16000

[Honza1Ubuntu]

$6/TB u Wasabi, Vultr, Backblaze
€2.6/TB u Hetzner a jeho Storage Box
Dropbox €1.33/TB

PS: Za 100€/mes sa da u Hetzneru zobrat 4x16TB server, 250€ 10x16TB alebo 14x16TB za 400€.

Storage u Hetzner mozna bude jen pro ulozeni dat. Zdileni neregistrovanym uzivatelum do sveta nebude fungovat. Podobne jako na Uloz.to 50 TB za 13 Eur/mesic a tedy 0.26 Eur za TB/mesic. A u Dropboxu mozna podobny problem.

Podival bych se tady:
https://www.hetzner.com/sb/#drives_size_from=12000&drives_size_to=16000

32 TB mista za 55.7 Eur, to je 1.74 Eur za TB mesicne. A je to fungujici server.

[_Jenda]

Obecně, ta cena mi nepřijde zas _tak_ strašná, jsou lidi co platí v AWS nebo Google Cloudu klidně stonásobek.

2000 USD pro hostovani 10 TB dat neni moc (0.2 USD resp. 4 Kc za GB) ? Nekdo plati stonasobek (tedy 200k USD, to je 20 dolaru za GB).

Já jsem mluvil spíš o tom trafficu. Cloudy jsou známé tím, že mají úplně absurdní cenu odchozího provozu (egress traffic cost) - například Google má $0.08/GB (=$8k za tazatelovo 100U měsíčně) a AWS podobně. To je fakt stonásobek oproti tomu, co dostaneš třeba i u obyčejného českého Forpsi, o Hetzneru nebo OVH nemluvě.

A lidem, co GCP/AWS používají a bavil jsem se s nimi o tom, na tom nepřijde nic zarážejícího, což mě fascinuje ještě víc. <rant>Je to podobné jako důsledky memu Premature Optimization Is the Root of All Evil - jasně, v mnoha případech je to pravda, ale důsledek je, že programátoři úplně ztratili intuitivní představu, jak rychlý může být program na dnešních počítačích, když o to opravdu jde, a na základě toho nedokážou identifikovat úzká místa ani tam, kde už to opravdu vadí</rant>

[petersveter]

$6/TB u Wasabi, Vultr, Backblaze
€2.6/TB u Hetzner a jeho Storage Box
Dropbox €1.33/TB

PS: Za 100€/mes sa da u Hetzneru zobrat 4x16TB server, 250€ 10x16TB alebo 14x16TB za 400€.

Storage u Hetzner mozna bude jen pro ulozeni dat. Zdileni neregistrovanym uzivatelum do sveta nebude fungovat. Podobne jako na Uloz.to 50 TB za 13 Eur/mesic a tedy 0.26 Eur za TB/mesic. A u Dropboxu mozna podobny problem.

Podival bych se tady:
https://www.hetzner.com/sb/#drives_size_from=12000&drives_size_to=16000

32 TB mista za 55.7 Eur, to je 1.74 Eur za TB mesicne. A je to fungujici server.

Tam samozrejme treba pocitat ze k tomu treba nejake vps(napriklad cloudove za 10€) ako "frontend". Tych diskov sa da potom vyskladat podla potreby kolko je nutne.

[Honza1Ubuntu]

_Jenda
Tak to souhlas. Nesmyslne vysoke ceny mereneho trafficu, to muze byt dobry prijem. Hetzner a OVH maji neomezeny traffic s pripojkou 1 Gbit, Tam je ta vyhoda jasna. I domaci pripojky jsou na cenu za TB levnejsi, nez cloudovy traffic.

[Petr Branik]

_Jenda
Tak to souhlas. Nesmyslne vysoke ceny mereneho trafficu, to muze byt dobry prijem. Hetzner a OVH maji neomezeny traffic s pripojkou 1 Gbit, Tam je ta vyhoda jasna. I domaci pripojky jsou na cenu za TB levnejsi, nez cloudovy traffic.

a zkousel jsi u hetzneru prenaset 100TB dat? Ja jo a dostal jsem nehezky email.

[Honza1Ubuntu]

_Jenda
Tak to souhlas. Nesmyslne vysoke ceny mereneho trafficu, to muze byt dobry prijem. Hetzner a OVH maji neomezeny traffic s pripojkou 1 Gbit, Tam je ta vyhoda jasna. I domaci pripojky jsou na cenu za TB levnejsi, nez cloudovy traffic.

a zkousel jsi u hetzneru prenaset 100TB dat? Ja jo a dostal jsem nehezky email.

100 TB behem kratke doby jsem nikdy nikde zatim neprenasel, rocne souctem na vsech mistech bych mohl siti prohnat neco okolo 10 TB. Behem kratke doby (cca 10 dni) jsem mel nejvetsi traffic 6 TB. Mam zkusenosti jen s OVH. Tam pri mesicnim transferu k 8 TB (muj rekord) nikdo nic nerikal (server ma vice uzivatelu - celkovy transfer bude jeste vyssi).

Pamatuji si pred 12 lety, na Kimsufi 100 Mbit linka a mesicni limit 5 TB (po prekroceni 5 TB zpomaleni linky na 10 Mbit/s) za cca 500 Kc/mesic a neomezene linky staly 100 Mbit okolo 3000 Kc a 1 Gbit okolo 30 000 Kc mesicne. Ale pak limity zrusily a dnes uz se pripojeni 100 Mbit ani nepouziva, mozna u nejlevnejsich serveru. Meli to udelane tak, ze prichozi traffic se nepocital, jen odchozi. Prichozi traffic nijak moc rust nemuze bez odchoziho trafficu - brzo se zaplni disky pokud nejde o velmi dobre komprimovana data (ale i tak).

Nove zatim rekordni mesicni Traffic moje 8 TB plus ostatni uzivatele nevim. Nikdo si neztezoval. I na domaci pripojce od Tmobilu jsem na domaci pripojce prohnal 6 TB za dva tydny. K zadnemu stezovani nedoslo. Bezna moje spotreba dat na siti je 200-600 GB mesic. Jedna se taky o vyzkumna data ve vetsine. Zbytek napr. youtube.

Hetzner ma na webu napsane neomezena data u 1 Gbit pripojky, u 10 Gbit pripojky je po prekroceni limitu tusim 2 Eur/TB. Nejspis pocitaji s tim, ze nikdo nebude permanentne vyzname vytezovat 1 Gbit linku (coz se vetsinou nedeje). Smluvni podminky poruseny nebyly, Pri provozovani Toru Hetzner moc radost z toho nema a snazi se to maximalne omezit. Nebo ma obavu o provoz Torrentu, zdileni nelegalnich filmu a podobne. Proto mozna reagoval na podezrely traffic. O jaka data slo a co presne ti vytykal nevim. Po vysvetleni, ze jde o vyzkum, by to mohl pochopit.

OVH maji ceny take docela prijatelne. Hetzner ma i svuj levny webserver, na kterem je ovsem malo mista a omezena data. Takze nepouzitelne.

100 TB jsem zatim nikde neprotacel, tak nemam zkusenosti, co na to poskytovatel serveru nebo domaci pripojka. Mohou mit podezreni na nelegalni zdileni prez torrenty a pod. Nebo dokonce provoz Toru.

[Honza1Ubuntu]

Tady je 4x disk 16 TB, RAM 64 TB, 1 IPV4 adresa za 81 Eur mesicne - SX64

https://www.hetzner.com/dedicated-rootserver/matrix-sx/

V pripade 4 uzivatelu dohromady by to bylo 21 Eur pro kazdeho.Pri navyseni RAM na 128 GB vc. EEC pak u 4 uzivatelu 27 Eur pro kazdeho. To je asi nejlevnejsi konfigurace, jak dostat pozadovany vykon.


*Traffic usage is unlimited and free of charge.
Please note that our unlimited traffic policy does not apply to servers that have the 10G uplink addon. In this special case, we will charge the usage over 20TB with € 1.00/TB. (The basis for calculation is for outgoing traffic only. Incoming and internal traffic is not calculated.) There is no bandwidth limitation.

[Honza1Ubuntu]

jtrmal

Uz Te napadlo, do ceho by jsi sel ?

Petr Branik
O co jim slo, nebo cim hrozily ? Mel jsi klasicky neomezeny 1 Gbit ? Nevadilo jim seedovani torrentu, provoz proxy nebo Tor nodu ? To se poskytovatelum casto nelibi, hlavne na univerzitnim-kolejnim prostredi je s tim docela problem.

Jinak take premyslim, zda do Hetzeru jit.