Levné hostování velkého množství dat

[jtrmal]

Shanim reseni pro hostovani cca 10TB legalnich vyzkumnych dat. Mesicne mame cca 100TB outgoing traffic -- vyzkumna komunita ta data miluje.

Problem je, ze v soucasne dobe hostujeme na DigitalOcean a ucet se blizi cca $2000. Nekdo ma nejake doporuceni?

Fakt je vse legalni a do teto doby jsme to platili z americkeho NSF grantu a ten se blizi k zaveru. Plus jsem ted rezignoval na svoji pozici na univerzite a tak to zatim sudlame, jak se da, ale chtel/musim to v dohledne dobe nejak vyresit.

[Reklama]

[z_sk]

Možno archive.org. Ja tam mám napr. k dnešnému dňu cca 180 GB dát ([1]). Ak tak, na nahrávanie použi CLI ([2]). Nahrávaj po jednom v príkaze. A ak máš veľa súborov, tak mám na to skript [3] (majú nejakú limit frontu).

Kód: [Vybrat]

[1] https://archive.org/details/@du_an_krehe_?and[]=subject%3A%22d0cmf%22
[2] https://archive.org/developers/internetarchive/cli.html
[3] https://codeberg.org/Dusan_Krehel/archive.org_multiuploader

[_Jenda]

Můžeš zkusit distribuovat to přes torrenty a nutit lidi aby dlouho seedovali, ale bude to pro uživatele větší opruz než to stáhnout z nějakého HTTP což asi děláte teď.

Obecně, ta cena mi nepřijde zas _tak_ strašná, jsou lidi co platí v AWS nebo Google Cloudu klidně stonásobek. Osobně bych asi zkusil koupit https://www.hetzner.com/dedicated-rootserver/sx134/ nebo ekvivalent od dalších budgetových server hosterů a doufal, že ti za pár měsíců nenapíšou, že přenášíš moc.

[Jose D]

Shanim reseni pro hostovani cca 10TB legalnich vyzkumnych dat. Mesicne mame cca 100TB outgoing traffic -- vyzkumna komunita ta data miluje.

jestli jde o projekt spojený s českou akademickou půdou, nezkoušel sis promluvit s CESNETem?
A pokud jde o projekt někde jinde, tak s tamní obdobnou institucí?

Třeba v CZE existuje projekt národní repozitář - https://data.narodni-repozitar.cz ..

<zvědavost>
o jaká data jde?
</zvědavost>

[tmx]

jestli jsi z nejake skoly, zkus https://metavo.metacentrum.cz/ treba se s nima domluvis.
nejvetsi storage co jsem odtud na domaci workstationu pripojil /nfs4 && krb5/ melo 5.6PB

[Reklama]

[jtrmal]

Jde v zasade o ruzna recova data v ruznych jazycich. Ja je nesbiram, jen poskytuji misto ostatnim tymum/lidem v komunite, kde otevrena data jednoduse vystavit - zacali jsme s tim cca deset let nazpet a celkem je to docela uspesne. Podminkou je nejaka, jakoliv, otevrena license, alespon pro research/non-commercial.
Bohuzel v soucasne dobe nemam oficialni vazby na ceske akademicke prostredi, takze Cesnet a Metacentrum asi (prozatim) padaji.

[jtrmal]

Můžeš zkusit distribuovat to přes torrenty a nutit lidi aby dlouho seedovali, ale bude to pro uživatele větší opruz než to stáhnout z nějakého HTTP což asi děláte teď.

Obecně, ta cena mi nepřijde zas _tak_ strašná, jsou lidi co platí v AWS nebo Google Cloudu klidně stonásobek. Osobně bych asi zkusil koupit https://www.hetzner.com/dedicated-rootserver/sx134/ nebo ekvivalent od dalších budgetových server hosterů a doufal, že ti za pár měsíců nenapíšou, že přenášíš moc.

To souhlasim, ale proste proste financni zdroje nejsou/nebudou. Ten hetzner vypada zajimave -- v USA neco takove neznas/neznate?

[Charon351]

A co třeba
https://www.cloudflare.com/developer-platform/r2/

[MarekKnapek]

Možná toto: https://docs.storj.io/dcs/pricing

[jjrsk]

... 10TB legalnich vyzkumnych dat. Mesicne mame cca 100TB outgoing traffic ...

50MB/s ... tzn nejakych 500Mbit, to by i nejaka ta lepsi domaci linka mohla ustat. Zkus strahov, treba ti to odservirujou.

[androfx]

To souhlasim, ale proste proste financni zdroje nejsou/nebudou. Ten hetzner vypada zajimave -- v USA neco takove neznas/neznate?

Pisou ze za 10T 120E s DPH i v USA: https://contabo.com/en/object-storage/
Nepisou nic o limitech na traffic.

[RDa]

Ja bych se priklanel k torrentu - odstrani se tim zavislost na 1 centralnim uzlu - a pokud je to komunitne zalozeny, tak prece kazdy muze nechat pustenej svuj node. Jako failsafe muzes mit pripravenou VPS s kopii dat, kterou nahodis pokud se komunita rozpadne a nikdo nebude seedovat.

[jjrsk]

Ja bych se priklanel k torrentu...

Pochopil sem z toho ze se ta data prubezne meni, a to torrentem nevyresis, musel bys vsechny primet k tomu, aby si pravidelne data aktualizovali taktez = odnekud si pravidelne stahovali hash/.torrent. A pak bys jeste musel resit, jestli nova verze dat jde nahashovat pres starou nebo ne, a tudiz je treba to znova stahnout komplet.

Stejne tak tim nevyresis provoz, protoze ve skutecnosti tech zajemcu je malo. 10 mesicne, to je nanic. Aby to davalo smysl musel bys jich mit aspon stovky. Samozrejme muzem se bavit o tom, ze zajemcu je vic, ale nechteji vsechna data, jenze to je ve vysledku jeste horsi, protoze seedovat nebude nikdo.

Plus jako bonus narazis na to, ze 3/4 potencielnich zajemcu nema internet. A pasivni torrent je na kulovy.

[Karmelos]

To nejde nějak zapakovat nebo překódovat? I při použití loseless audioformátů se dostaneš na desetinu.

[_Tomáš_]

oslov někoho, poptej se velkých společností, operátorů. Tohle je paběrkování, není to moc dat. Navaž s někým spolupráci. Vím, že v T-mobilu jsem připravoval kdysi storage na data pro výzkumníky, nevím, jestli tam ještě takovouhle aktivitu mají.