Levné hostování velkého množství dat

Levné hostování velkého množství dat
« kdy: 31. 01. 2024, 15:05:38 »
Shanim reseni pro hostovani cca 10TB legalnich vyzkumnych dat. Mesicne mame cca 100TB outgoing traffic -- vyzkumna komunita ta data miluje.

Problem je, ze v soucasne dobe hostujeme na DigitalOcean a ucet se blizi cca $2000. Nekdo ma nejake doporuceni?

Fakt je vse legalni a do teto doby jsme to platili z americkeho NSF grantu a ten se blizi k zaveru. Plus jsem ted rezignoval na svoji pozici na univerzite a tak to zatim sudlame, jak se da, ale chtel/musim to v dohledne dobe nejak vyresit.
« Poslední změna: 31. 01. 2024, 17:03:10 od Petr Krčmář »


z_sk

Re:(Levne/Zdarma) Hostovani velkeho mnozstvi dat s velkym trafficem
« Odpověď #1 kdy: 31. 01. 2024, 16:12:06 »
Možno archive.org. Ja tam mám napr. k dnešnému dňu cca 180 GB dát ([1]). Ak tak, na nahrávanie použi CLI ([2]). Nahrávaj po jednom v príkaze. A ak máš veľa súborov, tak mám na to skript [3] (majú nejakú limit frontu).

Kód: [Vybrat]
[1] https://archive.org/details/@du_an_krehe_?and[]=subject%3A%22d0cmf%22
[2] https://archive.org/developers/internetarchive/cli.html
[3] https://codeberg.org/Dusan_Krehel/archive.org_multiuploader

_Jenda

  • *****
  • 1 591
    • Zobrazit profil
    • https://jenda.hrach.eu/
    • E-mail
Re:(Levne/Zdarma) Hostovani velkeho mnozstvi dat s velkym trafficem
« Odpověď #2 kdy: 31. 01. 2024, 16:12:44 »
Můžeš zkusit distribuovat to přes torrenty a nutit lidi aby dlouho seedovali, ale bude to pro uživatele větší opruz než to stáhnout z nějakého HTTP což asi děláte teď.

Obecně, ta cena mi nepřijde zas _tak_ strašná, jsou lidi co platí v AWS nebo Google Cloudu klidně stonásobek. Osobně bych asi zkusil koupit https://www.hetzner.com/dedicated-rootserver/sx134/ nebo ekvivalent od dalších budgetových server hosterů a doufal, že ti za pár měsíců nenapíšou, že přenášíš moc.

Jose D

  • *****
  • 879
    • Zobrazit profil
Re:(Levne/Zdarma) Hostovani velkeho mnozstvi dat s velkym trafficem
« Odpověď #3 kdy: 31. 01. 2024, 16:22:32 »
Shanim reseni pro hostovani cca 10TB legalnich vyzkumnych dat. Mesicne mame cca 100TB outgoing traffic -- vyzkumna komunita ta data miluje.

jestli jde o projekt spojený s českou akademickou půdou, nezkoušel sis promluvit s CESNETem?
A pokud jde o projekt někde jinde, tak s tamní obdobnou institucí?

Třeba v CZE existuje projekt národní repozitář - https://data.narodni-repozitar.cz ..

<zvědavost>
o jaká data jde?
</zvědavost>

tmx

Re:Levné hostování velkého množství dat
« Odpověď #4 kdy: 31. 01. 2024, 18:40:28 »
jestli jsi z nejake skoly, zkus https://metavo.metacentrum.cz/ treba se s nima domluvis.
nejvetsi storage co jsem odtud na domaci workstationu pripojil /nfs4 && krb5/ melo 5.6PB



Re:Levné hostování velkého množství dat
« Odpověď #5 kdy: 31. 01. 2024, 22:59:04 »
Jde v zasade o ruzna recova data v ruznych jazycich. Ja je nesbiram, jen poskytuji misto ostatnim tymum/lidem v komunite, kde otevrena data jednoduse vystavit - zacali jsme s tim cca deset let nazpet a celkem je to docela uspesne. Podminkou je nejaka, jakoliv, otevrena license, alespon pro research/non-commercial.
Bohuzel v soucasne dobe nemam oficialni vazby na ceske akademicke prostredi, takze Cesnet a Metacentrum asi (prozatim) padaji.

Re:(Levne/Zdarma) Hostovani velkeho mnozstvi dat s velkym trafficem
« Odpověď #6 kdy: 31. 01. 2024, 23:01:59 »
Můžeš zkusit distribuovat to přes torrenty a nutit lidi aby dlouho seedovali, ale bude to pro uživatele větší opruz než to stáhnout z nějakého HTTP což asi děláte teď.

Obecně, ta cena mi nepřijde zas _tak_ strašná, jsou lidi co platí v AWS nebo Google Cloudu klidně stonásobek. Osobně bych asi zkusil koupit https://www.hetzner.com/dedicated-rootserver/sx134/ nebo ekvivalent od dalších budgetových server hosterů a doufal, že ti za pár měsíců nenapíšou, že přenášíš moc.
To souhlasim, ale proste proste financni zdroje nejsou/nebudou. Ten hetzner vypada zajimave -- v USA neco takove neznas/neznate?


Re:Levné hostování velkého množství dat
« Odpověď #8 kdy: 01. 02. 2024, 01:10:17 »

jjrsk

  • ****
  • 413
    • Zobrazit profil
Re:Levné hostování velkého množství dat
« Odpověď #9 kdy: 01. 02. 2024, 08:23:59 »
... 10TB legalnich vyzkumnych dat. Mesicne mame cca 100TB outgoing traffic ...
50MB/s ... tzn nejakych 500Mbit, to by i nejaka ta lepsi domaci linka mohla ustat. Zkus strahov, treba ti to odservirujou.

Re:(Levne/Zdarma) Hostovani velkeho mnozstvi dat s velkym trafficem
« Odpověď #10 kdy: 01. 02. 2024, 09:42:40 »
To souhlasim, ale proste proste financni zdroje nejsou/nebudou. Ten hetzner vypada zajimave -- v USA neco takove neznas/neznate?
Pisou ze za 10T 120E s DPH i v USA: https://contabo.com/en/object-storage/
Nepisou nic o limitech na traffic.

RDa

  • *****
  • 2 567
    • Zobrazit profil
    • E-mail
Re:Levné hostování velkého množství dat
« Odpověď #11 kdy: 01. 02. 2024, 10:31:24 »
Ja bych se priklanel k torrentu - odstrani se tim zavislost na 1 centralnim uzlu - a pokud je to komunitne zalozeny, tak prece kazdy muze nechat pustenej svuj node. Jako failsafe muzes mit pripravenou VPS s kopii dat, kterou nahodis pokud se komunita rozpadne a nikdo nebude seedovat.

jjrsk

  • ****
  • 413
    • Zobrazit profil
Re:Levné hostování velkého množství dat
« Odpověď #12 kdy: 01. 02. 2024, 12:12:20 »
Ja bych se priklanel k torrentu...
Pochopil sem z toho ze se ta data prubezne meni, a to torrentem nevyresis, musel bys vsechny primet k tomu, aby si pravidelne data aktualizovali taktez = odnekud si pravidelne stahovali hash/.torrent. A pak bys jeste musel resit, jestli nova verze dat jde nahashovat pres starou nebo ne, a tudiz je treba to znova stahnout komplet.

Stejne tak tim nevyresis provoz, protoze ve skutecnosti tech zajemcu je malo. 10 mesicne, to je nanic. Aby to davalo smysl musel bys jich mit aspon stovky. Samozrejme muzem se bavit o tom, ze zajemcu je vic, ale nechteji vsechna data, jenze to je ve vysledku jeste horsi, protoze seedovat nebude nikdo.

Plus jako bonus narazis na to, ze 3/4 potencielnich zajemcu nema internet. A pasivni torrent je na kulovy.

Re:Levné hostování velkého množství dat
« Odpověď #13 kdy: 01. 02. 2024, 12:43:20 »
To nejde nějak zapakovat nebo překódovat? I při použití loseless audioformátů se dostaneš na desetinu.
Gréta je nejlepší.

Re:Levné hostování velkého množství dat
« Odpověď #14 kdy: 01. 02. 2024, 13:04:45 »
oslov někoho, poptej se velkých společností, operátorů. Tohle je paběrkování, není to moc dat. Navaž s někým spolupráci. Vím, že v T-mobilu jsem připravoval kdysi storage na data pro výzkumníky, nevím, jestli tam ještě takovouhle aktivitu mají.