Server pre CDN origin

bakalakadaka

Server pre CDN origin
« kdy: 16. 01. 2024, 14:33:30 »
Zhanam server ktory bude sluzit ako origin pre CDN. Z principu musi byt traffic zdarma a aspon gigova linka. Ulozisko musi mat dobre poriesenu redundanciu a mala by tam byt moznost rast - ci uz dynamicky, alebo pridavanim dalsich diskov. Ramka a cpu su pre mna irelevantne.

Nasiel som Wasabi kde je $6/TB lenze problem je s trafficom kde pocitaju cca 1:1 dl/up, coho sa obavam ze bude nerealne kedze kazdy CDN node si moze tahat akykolvek subor.

Potom som pozeral Hetzner a ich Storage Box kde sa da ist az na 2.4€/TB, traffic je zadarmo a disky sa daju dokupovat a mountnut ako sietovy disk. Na prvy pohlad presne to co hladam. Ale teraz som cital vo vedlajsom vlakne ze tie disky su pomale. Navyse HW raid je znacne drahy.

Napadlo ma skusit nejake lacne VPS a z neho potom uploadovat do nejakeho S3-idneho uloziska takze origin by sluzil len ako taka proxina. Lenze tie object storage su brutalne drahe a clovek tam plati aj za traffic aj za priestor a z dlhodobeho hladiska to bude sialene drahe proste. Takze chcem ostat pri vlastnom hw.

Na zaciatok by som rad nieco lacne s cim mozem postupne rast.

V konecnom dosledku asi skoncim kompletne pri vlastnom HW v datovom centre ale to je este velmi daleko a aktualne potrebujem nieco so zarukou redundancie a ochrany dat a co je financne dostupne a vie sa prisposobovat rastu.


Medo77

  • ****
  • 302
    • Zobrazit profil
    • E-mail
Re:Server pre CDN origin
« Odpověď #1 kdy: 16. 01. 2024, 15:10:42 »
Bojim sa, ze si si odpovedal v druhej casti poslednej vety.
Takto to nefunguje.
Riesim nieco podobne ale z druhej strany. Chceme rast, zalohy tak casto ako sa da, ziadne zaseky, ziadne vypadky, co najlepsia linka do netu, GEOIP, atd, support minimalne 8h/5d do 5 minut, ale to cele za 5 evri mesacne. Ak je to komercny projekt, tak to niekde/niekomu napocitaj ...
Bud niekde uberies z poziadaviek, aspon na zaciatok na rozbeh, alebo budes mat hlavu v smutku ...

bakalakadaka

Re:Server pre CDN origin
« Odpověď #2 kdy: 19. 01. 2024, 11:36:37 »
.
Bud niekde uberies z poziadaviek, aspon na zaciatok na rozbeh, alebo budes mat hlavu v smutku ...

Tak zatial to stale pada na ten hetzner lebo neviem najst nic lepsie.

Re:Server pre CDN origin
« Odpověď #3 kdy: 19. 01. 2024, 14:25:31 »
Popisujete svoje řešení, ne problém, který řešíte. Těžko vám někdo může poradit, když neví, jaký problém řešíte. Navíc vaše řešení je divné. CDN slouží k tomu, aby odstínila požadavky od uživatelů od původního zdroje – takže rychlost odpovědí řeší CDN, traffic řeší CDN, výpadky zdroje řeší CDN. Je trochu zvláštní, když to samé chcete i od toho zdroje. Vašemu „zadání“ vlastně nejlépe vyhovuje řešení, že byste CDN napojil na jinou CDN. To moc nedává smysl, že?

No a když nebudeme brát úplně vážně ty divné požadavky, splňuje zadání cokoli. Vlastní VPS, webhostingy jako Wedos, GitHub Pages, plány zdarma či placené u Vercelu, Netlify, Cloudflare Pages, uložení do S3 kompatibilního úložiště…

bakalakadaka

Re:Server pre CDN origin
« Odpověď #4 kdy: 19. 01. 2024, 15:00:45 »
Popisujete svoje řešení, ne problém, který řešíte. Těžko vám někdo může poradit, když neví, jaký problém řešíte. Navíc vaše řešení je divné. CDN slouží k tomu, aby odstínila požadavky od uživatelů od původního zdroje – takže rychlost odpovědí řeší CDN, traffic řeší CDN, výpadky zdroje řeší CDN. Je trochu zvláštní, když to samé chcete i od toho zdroje. Vašemu „zadání“ vlastně nejlépe vyhovuje řešení, že byste CDN napojil na jinou CDN. To moc nedává smysl, že?

No a když nebudeme brát úplně vážně ty divné požadavky, splňuje zadání cokoli. Vlastní VPS, webhostingy jako Wedos, GitHub Pages, plány zdarma či placené u Vercelu, Netlify, Cloudflare Pages, uložení do S3 kompatibilního úložiště…

Ja riesim vlastnu siet CDN a origin tu mieni zdroj suborov pre tieto CDN nody odkial si budu tahat subory. Origin nie je sucastou hlavnej aplikacie, preto sa vola origin. Myslim ze som moju otazku polozil dost zrozumitelne a ak su ju nepochopil, tak za tym hladas nieco viac nez na co sa pytam :)


bakalakadaka

Re:Server pre CDN origin
« Odpověď #5 kdy: 19. 01. 2024, 15:09:27 »
..ale asi ta poplietlo to ze v kontexte CDN si CDN siet stiahne subor raz a potom si ho sama distribuuje po vlastnej sieti, takze sa z "originu" siahne len raz. Takze asi tam zvniklo to nedorozumenie. Tak snad to dava teraz viac zmysel ked som doplnil ze riesim vlastnu CDN siet a teda origin bude mat zvysenu sietovu zataz a musi mat dostupny diskovy priestor s redundanciou ako ochrana proti poskodeniu/strate dat.

Re:Server pre CDN origin
« Odpověď #6 kdy: 19. 01. 2024, 15:24:51 »
Ja riesim vlastnu siet CDN a origin tu mieni zdroj suborov pre tieto CDN nody odkial si budu tahat subory. Origin nie je sucastou hlavnej aplikacie, preto sa vola origin. Myslim ze som moju otazku polozil dost zrozumitelne a ak su ju nepochopil, tak za tym hladas nieco viac nez na co sa pytam :)
Pokud používáte běžně používané termíny v jiném významu, nemůžete se divit, že vám nikdo nerozumí.

CDN je Content delivery network, tedy služba, která získá z nějakého zdroje (to je origin) soubory (nebo jiná data), nahraje si je k sobě (to je podstata té služby) a obsluhuje požadavky koncových uživatelů ze svých zdrojů.

Origin je původní zdroj těch souborů/dat pro CDN, tedy místo, odkud si je CDN bere, pokud soubor nemá nebo pokud nemá aktuální verzi. S nějakou aplikací nebo jestli je nebo není součástí aplikace to vůbec nesouvisí.

CDN má většinu trafficu odbavit ze svých zdrojů, takže by neměl být problém ani v případě, kdy provoz z originu bude měřený. Stejně tak rychlé poskytování dat koncovým uživatelům řeší CDN. Rychlost originu je zajímavá jen v případě, kdy si CDN potřebuje z originu aktualizovat data. Přičemž to záleží na způsobu fungování CDN – může soubory z originu stahovat až na požadavek uživatele, pak by pomalý origin brzdil požadavek prvních uživatelů. Nebo můžete změněné soubory na CDN natlačit, a pak pomalý origin jenom způsobí delší dobu aktualizace CDN, ale uživatelé to na rychlosti nepoznají.

No a protože CDN má soubory u sebe, nevadí jí ani kratší výpadky originu – takže ta redundance uložení dat na originu také není tak důležitá.

Pokud je otázka z vašeho pohledu srozumitelná, také to může znamenat, že nerozumíte problému, který řešíte.

Tohle fórum slouží jako poradna, ptají se tu lidé, kteří potřebují s něčím pomoci. Já jsem se jen snažil pomoci. Pokud pomoci nechcete, vaše věc. Nejste první ani poslední, kdo přišel do poradny a místo popisu problému popsal své řešení, které nedávalo smysl. Někteří z nich si nechali poradit a problém se rychle vyřešil. Někteří trvali na svém řešení – a 95 % z nich v poradně potkávám, když se ptají na další a další nesmysly, protože to jejich původní řešení jim zjevně nefunguje. Ale klidně si nějakou svou CDN, která nefunguje jako CDN, řešte úplně jinak, než jak to řeší všichni ostatní – to je vaše věc.

..ale asi ta poplietlo to ze v kontexte CDN si CDN siet stiahne subor raz a potom si ho sama distribuuje po vlastnej sieti, takze sa z "originu" siahne len raz. Takze asi tam zvniklo to nedorozumenie. Tak snad to dava teraz viac zmysel ked som doplnil ze riesim vlastnu CDN siet a teda origin bude mat zvysenu sietovu zataz a musi mat dostupny diskovy priestor s redundanciou ako ochrana proti poskodeniu/strate dat.
Ano, popletlo mne to, že jsem si myslel, že CDN myslíte CDN a originem myslíte origin.

Pokud stavíte vlastní CDN a ptáte se na uzly (nody) té CDN a ne origin, pak je to něco úplně jiného. Za prvé – pokud se na něco takového musíte ptát, nestavte vlastní CDN. Za druhé, principem CDN je to, že je dostupná v různých lokalitách po celém světě. takže asi nebudete hledat jednoho dodavatele, ale budete hledat různá datová centra po celém světě – podle toho, kde potřebujete POPy (point of presence).

Traffic zdarma je vždy zdarma jen v rámci nějakého limitu, ať už psaného nebo nepsaného. Když ho překročíte, poskytovatel vám nabídne jiné lépe placené služby, nebo se s vámi rozloučí.

Dokud nenapíšete, co doopravdy řešíte, těžko vám tu někdo poradí něco rozumného. Můžeme střílet spoustu nápadů, kam všude se dají na internetu uložit data, ale to vám asi nepomůže.

Re:Server pre CDN origin
« Odpověď #7 kdy: 21. 01. 2024, 18:03:01 »
OT,
Mal by som tiez teoreticku otazku ohladom CDN.
Ako funguju na internete OTT (Over The Top). Dnes su snad 100-vky poskytovatelov televiie po internete, ktore maju 100 000-e klientov. Predpokladam, ze multicasting v sieti internet asi nebude fungovat ako v LAN sietach, takze silne verim, ze poskytovatelia OTT si prenajimaju sluzby CDN.
Chcel by som len vediet princip. Napr. na CT je nejaky hokej a divaci sa rozhodnu, ze to budu pozerat cez OTT.
Verim tomu, ze streamy nepotecu od kazdeho poskytovatela OTT ku kazdemu zakaznikovi, ale pojdu k poskytovatelovi CDN, ktory je blizsie ku klientom OTT a stream pojde z CDN.
Za dalsie. Je asi blbost aby 100-vky prevadzkovatelov OTT posielali ten isty stream na CDN servery, ked im tam staci len 1 stream, ktory posielaju zakaznikom.
Ak je to tak ako pisem, preco existuju prevadzkovatelia OTT ? Myslim  si, ze technicky by pre poskytovatelov CDN nebolo zlozite vysielat a zaplatit za retransmisiu by im asi tiez nerobilo problem, kedze si to mozu dovolit omnoho mensi hraci.

Ak je to moc OT, tak prosim prelozit do noveho threadu.

alex6bbc

  • *****
  • 1 672
    • Zobrazit profil
    • E-mail
Re:Server pre CDN origin
« Odpověď #8 kdy: 21. 01. 2024, 18:32:00 »
Ak je to moc OT, tak prosim prelozit do noveho threadu.

je jedno jestli jde o videostream od ott, nebo webovky, nebo jakekoliv spojeni. loadbalancing lde delat pomoci dns, webservery umi loadbalancing requestu a tech metod bude vice.

bakalakadaka

Re:Server pre CDN origin
« Odpověď #9 kdy: 21. 01. 2024, 18:40:52 »
OT,
Mal by som tiez teoreticku otazku ohladom CDN.
Ako funguju na internete OTT (Over The Top). Dnes su snad 100-vky poskytovatelov televiie po internete, ktore maju 100 000-e klientov. Predpokladam, ze multicasting v sieti internet asi nebude fungovat ako v LAN sietach, takze silne verim, ze poskytovatelia OTT si prenajimaju sluzby CDN.
Chcel by som len vediet princip. Napr. na CT je nejaky hokej a divaci sa rozhodnu, ze to budu pozerat cez OTT.
Verim tomu, ze streamy nepotecu od kazdeho poskytovatela OTT ku kazdemu zakaznikovi, ale pojdu k poskytovatelovi CDN, ktory je blizsie ku klientom OTT a stream pojde z CDN.
Za dalsie. Je asi blbost aby 100-vky prevadzkovatelov OTT posielali ten isty stream na CDN servery, ked im tam staci len 1 stream, ktory posielaju zakaznikom.
Ak je to tak ako pisem, preco existuju prevadzkovatelia OTT ? Myslim  si, ze technicky by pre poskytovatelov CDN nebolo zlozite vysielat a zaplatit za retransmisiu by im asi tiez nerobilo problem, kedze si to mozu dovolit omnoho mensi hraci.

Ak je to moc OT, tak prosim prelozit do noveho threadu.

Ak narazas na zive vysielanie, tak to je rozkuskovane na male subory. Napriklad fragmentovane mp4, alebo .ts a podobne. A to  je linkovane z playlistu(m3u napriklad) ktory sa aktualizuje. Vola sa to HLS alebo MPEG-DASH. Takze klient si v kuse na pozadi taha kusky streamu. Kazdy kusok ma par sekund takze ak nemas mega pomale pripojenie budes mat hladke prehravanie. Samozrejme su aj rozne kvality pre pomalych klientov. Z principu je tam vzdy lag lebo v origine sa musi nabuferovat ten kusok, povedzme 5 sekund, ten sa nasledne najskor transkoduje do niekolkych kvalit(480p, 720p, 1080p, 4k..) a tieto kusky sa potom distribuuju do CDN aktivnych nodov odkial si ich klienti tahaju. Takze namiesto toh oaby bolo na origin napojenych 100k ludi, je to len 10  cdn nodov a kazdy obsluhuje 10k ludi. Takze sa rozlozi zataz a neofajci ti to origin.

Z hladiska CDN sa klient pripoji na CDN node(tzn vyziada si prvy kusok) a podla GEO DNS sa napoji na najblizsi cdn node. Ak ten node uz nie je aktivny pre dany stream tak si zavola origin a zacne si od neho tahat data ktore potom lokalne nejaky cas uchovava a posial ich klientom.

Ak sa napoji rovnaky klient na ten isty CDN node tak ten uz tie data ma takze sa nemusi napajat na origin od znovu ale uz je napojeny a teda len serviruje tie iste data co serviruje prvemu divakovi.

Zalezi na konfiguracii ale prakticky ten CDN node si moze uchovat v ramke napriklad len tri segmenty, 15 sekund, a tie serviruje. Takze celkova zataz na system je minimalna a je tam len limitacia ramkou a sietou.

Ak sa ale bavime o streamovani existujuceho videa tak to je len jeden video subor ktory sa streamuje ako celok. Cize cdn node si ho musi cely stiahnut. A rozkuskovanie sa riesi potom range requestami.

Re:Server pre CDN origin
« Odpověď #10 kdy: 21. 01. 2024, 21:35:14 »
OK, staci, dik za objasnenie

Re:Server pre CDN origin
« Odpověď #11 kdy: 26. 01. 2024, 12:55:43 »
Rozumím tomu, že CDN funguje tak, že streamy jsou rozděleny na malé části, které se nazývají segmenty. Tyto segmenty jsou pak distribuovány do CDN uzlů, které jsou rozmístěny po celém světě. Klienti OTT se pak připojují k nejbližšímu CDN uzlu, kde si tyto segmenty stahují.

petersveter

Re:Server pre CDN origin
« Odpověď #12 kdy: 25. 02. 2024, 15:46:03 »
Tak po absurdnej skusenosti s Hetznerom som sa rozhodol pre Wasabi. Lenze po dopyte na podpore som sa dozvedel ze zrejme nemaju absolutne ziadnu redundanciu pre ochranu dat. Co mi pride uplne smiesne a podozrievam skor neschopnu/neznalu podporu vykomunikovat realitu aj na 4 emaily, kedze nikde na webe nemaju ziadne informacie o tom. Ale proste riskovat sa mi to nechce.

Takze zatial je alternative BackBlaze kde maju redundanciu na webe uvedenu akurat ze maju spolatneny egress ak clovek prekroci 3x mesacny priemer ulozenych dat(cize 1TB ulozeny a 3TB download mesacne je zdarma, potom 1 cent za kazdy giga). Ale myslim ze to bude v pohode. Prekodil som CDN nody taby si tahali data najprv od seba a az potom z originu, takze by to malo byt ok. Zatial som neni ale na 100% rozhodnuty, len pozeram moznosti a budem testovat v blizkej dobe.