Hardware na server pro streamování živého videa

[hknmtt]

Samozrejme ide primarne o transkodovanie do roznych datovych tokov, nie len 1:1.

Google ma vlastny Argos VCU s podporou AV1. Je na beznom trhu nejaka alternativa z coho sa da vyskladat server?

[Reklama]

[RDa]

Nejprve si ujasnete, co chcete delat: zminujete zive video (live, online), ale pak davate za priklad offline transkodovaci kartu. Typicky je live streaming z neceho jineho (napr. zachytavaci karty, externiho video vstupu), nez ze souboru.

A pak jste vubec nerekl nic o rozliseni, kodeku, bitratu ktery chcete dosahnout. Ma jit o HDR, nebo obyc SDR..

(jste jako - poradte mi auto, soused ma skodovku, existuje neco jineho?)

[hknmtt]

Nejprve si ujasnete, co chcete delat: zminujete zive video (live, online), ale pak davate za priklad offline transkodovaci kartu. Typicky je live streaming z neceho jineho (napr. zachytavaci karty, externiho video vstupu), nez ze souboru.

A pak jste vubec nerekl nic o rozliseni, kodeku, bitratu ktery chcete dosahnout. Ma jit o HDR, nebo obyc SDR..

(jste jako - poradte mi auto, soused ma skodovku, existuje neco jineho?)

vobec nie, to len ty to komplikujes.  ked nechapes, nepis.

[_Tomáš_]

chybí to podstatné, alespoň jaký máš rozpočet a kolik těch videí bude.

Na těch menších portálech, kde jsem se podílel tak se to staví převážně z AMD (ideálně ryzen 3990X), spoustou nvme disků, spoustou paměti a takový server zvládne ukočírovat as 2 x 40gbps tok, pokud není daný kodek akcelerovaný na cpu, tak dobrý poměr cena výkon mají třeba grafické karty nvidia quadro rtx 4000, které jsem do několika serverů úspěšně umisťoval. Náklady cca 500 tis na server.

Pokud jsi menší, lepší je si takový server pronajmout, poskytuje je OVH nebo třeba https://www.serverroom.net/transcoding/, tady je nejlepší začínat u malých projektů, to je asi tvůj případ.

Pak také můžeš koupit specialiované krabice na transcokodání videa. Mohu pár značek poskytnout, ale nemám teď po ruce přesná označení.

Hlavní problém a náklady ale nebývá na server, ale na jeho konektivitu. 10GB linka tě prostě na pár tisíc měsíčně výjde.

[hknmtt]

chybí to podstatné, alespoň jaký máš rozpočet a kolik těch videí bude.

Na těch menších portálech, kde jsem se podílel tak se to staví převážně z AMD (ideálně ryzen 3990X), spoustou nvme disků, spoustou paměti a takový server zvládne ukočírovat as 2 x 40gbps tok, pokud není daný kodek akcelerovaný na cpu, tak dobrý poměr cena výkon mají třeba grafické karty nvidia quadro rtx 4000, které jsem do několika serverů úspěšně umisťoval. Náklady cca 500 tis na server.

Pokud jsi menší, lepší je si takový server pronajmout, poskytuje je OVH nebo třeba https://www.serverroom.net/transcoding/, tady je nejlepší začínat u malých projektů, to je asi tvůj případ.

Pak také můžeš koupit specialiované krabice na transcokodání videa. Mohu pár značek poskytnout, ale nemám teď po ruce přesná označení.

Hlavní problém a náklady ale nebývá na server, ale na jeho konektivitu. 10GB linka tě prostě na pár tisíc měsíčně výjde.

Diky, zatial nic neriesim ale asi v ramci roku budem pridavat do projektu ktory teraz vyvijam podporu pre vysielanie ziveho videa a tam bude nutne za behu riesit transkodovanie do mensich datovych tokov.  Hlavne by som rad isiel cestou AV1 uz ktore ma, myslim ze aj VP9 uz, Scalable Video Coding(SVC) kde je jeden datovy tok z ktoreho sa iba "odsekavaju" nadbytocne data ktore klient nemoze spracovat(pomale spojenie) takze de facto nemusim riesit 1080p, 720p, 480p.. ale mam len originalny AV1 zdroj, ktory mozem duplikovat na video cdn nody a odtial sa posiela klientom datovy tok ktory zvladaju. Cim sa usetri obrovsky kus dat ktory by sa inak musel distribuovat pre kazdu "kvalitu" navyse.

Preto by ma zaujimalo ako postavit hardverove riesenie ktore toto zvladne. Ratam ze tych masin bude zopar ako ingres a egress je potom uz brnkacka. Nejdem sa hrat na youtube takze moje naroky nie su velke ale zase ak mam investovat do hw tak chcem aby to aj stalo za to. Spominany goglacky chip je riesenie na mieru a preto by ma zaujimali na trhu dostupne alternativy, lebo co sa pouzivaju graficke karty tak maju dost slaby vykon v porovnani s nim. Tak ratam ze snad je na trhu nieco dedikovane na to kedze video je dnes dost popularne.

Zatial do toho financne nejdem a budem to riesit s VBR, ABR alebo CRF namiesto CBR ktory ide vzdy na max a na zive vysielanie je to hovadina. Ale ako som pisal, skor ci neskor ten hw riesit budem, tak chcem mat prehlad.

Co sa prevadzky tyka, nasiel som dost hostingov ktore maju 1-2 giga bez limitu takze tam problem zo zaciaktu nebude a mozem to riesit stremovanim 1:1, ale inak ked pojdem do hw tak kolokacia je jedine riesenie.

[Reklama]

[_Tomáš_]

tak 1 - 2GB linky ti upočítají nejspíš procesory, tam nemá smysl dávat něco extra. Mysli na to, že běžné hostingy nemají rádi, když jim ty linky vytěžuješ soustavně.

Google těch výpočetních karet potřebuje haldu, takže se mu vyplatí mít své, jinak je to nouze. Disney třeba renderuje na nvidia kartách. Vzpomněl jsem si, Blackmagic dělá video stream boxy, mají to třeba ve vysílacích vozech.

Jinak teď mají kolegové pro jeden projekt na stole Mac počítači a zkouší, jestli zvládne zpracovávat streamy z živého vysílání pro jedenu televizi a vypadá, že toho upočítá haldu a s malou spotřebou.

[hknmtt]

tak 1 - 2GB linky ti upočítají nejspíš procesory, tam nemá smysl dávat něco extra. Mysli na to, že běžné hostingy nemají rádi, když jim ty linky vytěžuješ soustavně.

Google těch výpočetních karet potřebuje haldu, takže se mu vyplatí mít své, jinak je to nouze. Disney třeba renderuje na nvidia kartách. Vzpomněl jsem si, Blackmagic dělá video stream boxy, mají to třeba ve vysílacích vozech.

Jinak teď mají kolegové pro jeden projekt na stole Mac počítači a zkouší, jestli zvládne zpracovávat streamy z živého vysílání pro jedenu televizi a vypadá, že toho upočítá haldu a s malou spotřebou.

Tak, pokial je tam hardverove enkodovanie tak to nema preco neutiahnut. Hlavne ak ide o h264 co ma dnes plnu podporu uplne vsade. Ale to je jeden stream. Ja budem riesit desiatky az stovky.  Ratam ze 3 mb/s by malo na jeden stream stacit. Takze pri 1Gbit broadband to je 341 streamov(respektive polka lebo up+down), pohoda. Ide mi prave o ten hw a ako to ovplyvni realnu kapacitu serveru. Realne tam disk do toho nepride, cele to pobezi v ramke. Ak si vezmem ingress ze bude 5 mb/s h264 a egress bude av1 3mb, to je 128 streamov s 671MB ingres a 402MB egress.

Tu pisu ze nvidia titan rtx da 672Mb/s cize presne to zmakne 1Gbit spojenie obsluzit. A to je stara karta dost uz. Cize ono asi hw pre mna nebude problem len potom teda serverovu grafiku riesit(spolahlivost...) a tiez to as do racku len tak nedam. Neviem ci su nejake specialne skrine na to alebo blby atx desktop

[RDa]

Ja budem riesit desiatky az stovky.  Ratam ze 3 mb/s by malo na jeden stream stacit. Takze pri 1Gbit broadband to je 341 streamov(respektive polka lebo up+down), pohoda.

A vas GbE je half-duplex, no to snad ne!?

Tu pisu ze nvidia titan rtx da 672Mb/s cize presne to zmakne 1Gbit spojenie obsluzit

Moreover, you can transcode over 48 1080p streams into 720p streams using Titan RTX.

Tak 48 ma jako hodne daleko do vasich 341 nebo 128 per node. A tolik grafik do jednoho stroje ani nedate, natoz aby to davalo ekonomicky smyls.

Jdete na to ale hodne spatne. Pokud to ma byt VOD / streaming ze souboru, tak si predpocitejte ten obsah - netreba online transkodovani. Pokud to ma byt "video ustredna" (many to many), tak je nesmysl aby zdroj dat poskytoval lepsi obsah, nez jak zvladne prijemce stahnout/zpracovat a ktery je nutno prekodovat.

Porad jste nam nerekl co vlastne chcete postavit a jake to ma mit parametry.. to se pak jenom vari z vody.