Příspěvky

16

Hardware / Re:PC pro CPU výpočty, nejlepší poměr cena/výkon?

« kdy: 29. 08. 2021, 15:00:10 »

Ty vidis svuj problem v potrebe nakupu CPU, ja vidim ze CPU ani nepotrebujes, jestli je ukol JENOM dekodovani. Proto se ptam - co s tim chces jako delat pak ?

Tak předně dodávám že tohle je můj side projekt abych se naučil víc kolem všeho co k tomu využiju.
Prakticky potřebuju ze vstupního videa udělat framy kde je porovnám mezi sebou, na což by mi stačilo je mít v rozlišení 8x8 nebo 16x16 grayscale, což i samotné převedení dost urychluje a nejspíš potvrzuje co píšeš. Pak promažu ty kde se nic nehýbe porovnáním těch zmenšenin, aby z každé takové situace zůstal jen jeden frame. To mi třeba počet 150k framů zmenší na 10-30k, což bude pokaždé jinak. Jenže pak ty zbylé chci zase ve větším rozlišení kde na ně budu aplikovat nějake operace, které už by měly bežet na GPU. Takže je vlastně otázka jestli to tím prohnat 2x, protože někdy to zmenšování na 8x8 jelo i 1500-3000 FPS, ale HD jede tak 500 max at z nich dělám 8x8 nebo 640x360... pak si udělat list jen toho co nechávám a vyzobat to zvlášt ve větším rozlišení. A nebo to vše převést najednou a promazat.

třeba by to šlo nějak chytřeji porovnat abych se vyvaroval zbytečnému zmenšování a převádění všeho když ve finale potřebuju 10-15% originalu.

17

Hardware / Re:PC pro CPU výpočty, nejlepší poměr cena/výkon?

« kdy: 29. 08. 2021, 14:23:42 »

taky to vidim kriticky, ze chces softwarovy problem resit hardwarove nakupem nejrychlejsiho CPU.
kdyby sis to vic promyslel, tak bys treba prisel jak lepe vyuzit paralelizaci a treba i GPU.

Já ale chci at ten můj side projekt neobtěžuje na pracovních PC, tak prostě proč nechtít lepší CPU, ať na tom má bežet cokoliv.
Grafiky tu mám několik kusů, "výpočty" na nich mě živí. Ano zvažuju jak je využít, ale podle všeho nic rychlejšího než ffmpeg není a ten po zapnutí GPU podpory jede vícemeně stejně rychle, jen se grafiky vytíží místo 0 na 15% a CPU jede na 100% stejně jak před tím. Takže na základě toho předpokládám že mi v tom případě nepomůže aby ffmpeg bežel několikrát a každý dělal jinou část. A taky to PC/CPU nekupuju hned bezhlavě, třeba to není bottleneck a proto mi to kámoš který shodou okolností má to 5900X otestuje jak to pojede u něj. Kdyby mu to jelo stejně rychle, tak je bottleneck jinde.

18

Hardware / Re:PC pro CPU výpočty, nejlepší poměr cena/výkon?

« kdy: 29. 08. 2021, 04:38:50 »

Pokud ti jde o "všeobecný výkon" definovaný třeba tak, že pustíš nějakou kompilaci atd..., tak určitě nějaký Ryzen, pokud potřebuješ AVX-512, tak zatím na výběr moc nemáš

Já ani nevim kde se AVX-512 využívá, zřejmě to nepotřebuju, to co dělám jede na všem. Momentálně na tom chci zpracovávat terabajty videí a následne v z toho něco počítat a když něco pujde offloadovat na grafiky tak to udělám, ale taky by to měl byt univerzální stroj když budu třeba dělat něco jiného.

Takze uzivatel co ma pitome dotazy je zpet. Nic nevi ale chce to

Rozdil mezi CPU a GPU akceleraci v podobnych video ulohach (ackoliv nevime co vlastne delas) je cca 1:10 (memory bound problem), takze sis neudelal poradnou pripravu a nakupujes zbytecna CPU, namisto optimalizace aplikace.

Na pitomé dotazy pitomé reakce?
Ano nevíš co dělám, nevíš jestli CPU budou zbytečná a nevíš co už mám vyzkoušeno, jen jsi si přišel rejpnout. Napřed mi řekneš že sleduju špatnej benchmark 3D a DSP aplikace, aniž bys věděl na co to chci, když vlastně 3D a zpracování obrazu je to hlavní co s tím budu dělat. Teď máš pocit že jsem z nějakého důvodu neprokázal své znalosti a proto se ptám na pitomosti? Ptám se ostatních na zkušenosti s PC, které se vyplatí z hlediska vykonu a ceny, což neautistickej člověk pochopí, aniž by se cokoliv víc vysvětlovalo. Já to teď nesleduju. Několik lidí dokázalo normálně k věci odpovědět, z toho usuzuji že ten dotaz byl asi ok. A i kdybych se i hloupě ptal, je třeba člověka urážet? Musí mít každej znalosti pana RDa aby měl právo se zeptat na něco co neví?
 
Grafika může něco počítat třeba 10x rychleji, kdo tohle neví? Jenže v mem případě na tom nezáleží já chci z videí data v RGB, což můžeš vědět z mého předchozího threadu ohledne ffmpeg kde jsi se taky vyskytoval. Co mám optimalizovat? Stahnout zdrojaky FFmpeg a optimalizovat je? Zatím jsem řešil jak vubec nejrychleji ty data dekodovat aby z toho bylo datové pole snímků.. i s HW akcelerací se tam GPU moc neangažuje, protože samotné dekodování problem není ale spíš jak to dostat dál. Ono GPU není všespásný a posílat tam malý operace a vracet je zpátky taky není optimální...

19

Hardware / Re:PC pro CPU výpočty, nejlepší poměr cena/výkon?

« kdy: 28. 08. 2021, 21:31:29 »

Pokud ti jde o "všeobecný výkon" definovaný třeba tak, že pustíš nějakou kompilaci atd..., tak určitě nějaký Ryzen, pokud potřebuješ AVX-512, tak zatím na výběr moc nemáš

Já ani nevim kde se AVX-512 využívá, zřejmě to nepotřebuju, to co dělám jede na všem. Momentálně na tom chci zpracovávat terabajty videí a následne v z toho něco počítat a když něco pujde offloadovat na grafiky tak to udělám, ale taky by to měl byt univerzální stroj když budu třeba dělat něco jiného.

20

Hardware / Re:PC pro CPU výpočty, nejlepší poměr cena/výkon?

« kdy: 28. 08. 2021, 20:43:31 »

Vykon v cem?
Protoze porovnavat benchmark zamereny na 3D nebo DSP co zere AVX512 je nesmysl napr. pri pozadavku na rychlou kompilaci v gcc :-)

Myslím všeobecný výkon. Ale to co budu používat já se vícemeně shoduje s tím 3D výkonem, že tam je lineární nárust s počtem jader nebo frekvencí. Když bych chtěl něco jiného tak benchmarkuju jinak.

21

Hardware / Re:PC pro CPU výpočty, nejlepší poměr cena/výkon?

« kdy: 28. 08. 2021, 20:26:13 »

Jak by výkonově vyšel cluster s 16 Raspberry Pi? 64 jader by také něco zvládlo a odběr nebude velký.

16 RPi4 by mohlo pracovat lehce rychleji než to HP Z620, ale aby se to vyplatilo by se muselo kupovat jen ta 2GB verze, mají na rpishopu za 900 kč teď, jenze pak je třeba zdroj a SD karta, to je dalších 500.
Mám tu dvě Pi4 a jedno když jede na 100% na všechny jádra tak má výkon asi jako jedno jadro na i7 z roku 2015... takže 6 kusu na 6 jadrovou i7-5930k co tu mám. Na ten ryzen mi to vychází 24 kusu. Hlavne ted můžou každou chvíli oznamit RPi5 který třeba zase bude 2x rychlejší. Ale určitě by to byla větší zábava a zkušenost než s jedním desktopem.

22

Hardware / Re:PC pro CPU výpočty, nejlepší poměr cena/výkon?

« kdy: 28. 08. 2021, 18:58:32 »

Ty HP desktopy nejsou špatné (vlastní zkušenost s dlouhodobým použitím pro výpočty), ale i výkon 8-jádrových Ryzenů (16 vláken) z první řady je násobně jinde než tahleta i5 CPU.  A energetická efektivita taky.  Takže při daném rozpočtu bych taky šel tam někam (bazarové nevím jestli už jsou).

Ani nevím jestli to HP chci prodat... ono právě má i docela dobrej výkon, 2x E5-2670, ale proti tem ryzenům to na stejnej vysledek sežere 3x víc elektriky, ale zase se to nevysere kdyby to jelo 14 dni v kuse na 100%, což o nějakým AMD PC z levných komponent neřeknu.
kamarád má ten 5900X, tak prej mi to otestuje s čím potřebuju.
Jinak teda ted nic lepšího neexistuje? Asi ne. Intel 5 let spal.

23

Hardware / Re:PC pro CPU výpočty, nejlepší poměr cena/výkon?

« kdy: 28. 08. 2021, 17:22:41 »

Nám vycházely před rokem nejlíp nejvyšší desktopové Ryzeny (Ryzen 9 3950X, Ryzen 9 5900X). Problém je pokud chceš ECC, to prý nějak podporuje na některých deskách, ale taky vlastně ne. Porovnával jsem to podle https://www.cpubenchmark.net/high_end_cpus.html.

Ty vypadají dobře cenově a výkonově, ten 5900X má i dobry skore na single core. Mě nenapadlo ani o AMD přemýšlet protože ona nějaká ta starší řada dokazala v jednom softwaru jet jen na 60-70% a autor softwaru říkal že to je proto, že jak to je z čipletů, tak se to chová jako nepřiznany dual CPU stroj a je tam problem v současným přístupu do RAM, ale to už by na te 5900X nemusel být problem. Diky. Ještě najít nějakou malou desku a case aby to nezabíralo místo a bylo by to možná ideální. ECC asi nepotřebuju, protože ani nevím v čem je ve výsledku rozdíl, jestli s tou kontrolou to pak méně často padá? Mam tu HP Z620 a to ECC má a chová se to víceméně stejně.

24

Vývoj / Re:AI a poker

« kdy: 28. 08. 2021, 17:03:03 »

Automaty a online kasina nejsou podvody, kontrolujou je finančáky vcelku často. Jen to chce vědět jak to funguje.
Pokud si to pamatuju správně, co mi říkal jeden technik co spravuje automaty cca 12 let zpátky, tak neživá hra tj. automaty a online hra bez lidí má ze zákona mít nastaveno:
u zaplivaných sportbarů, hospod výhernost minimálně 60% a více (dává se spíš více 80-85, protože by to nikdo jinak nehrál "že nedává" )
u automatů v oficiálních kasínech výhernost min 96%
u automatů online výhernost min 98%

tu výhernost nechápejte jako že to je šance co vyhraje 1 hráč, Ale že to je rozloženo mezi všechny hry v nějakém čase a 96% vkladů musí bedna vrátit na výhrách, ale už je na ní komu a v jakém množství... Může se dostat i do minusu a třeba se rok dostává na 0, ale to je kompenzováno tím že těch automatů je v kasině třeba 100 a prostě v prumeru mají ty 4% jistý.

25

Hardware / PC pro CPU výpočty, nejlepší poměr cena/výkon?

« kdy: 28. 08. 2021, 16:35:22 »

Dal jsem si budget 20-25000 kč a sehnat za to co nejvíce CPU výkonu. zajímalo by mě co se dneska vyplatí třeba i z bazarového zboží nejvíce pro CPU výpočty s ohledem na co nejnižší cenu? Ale bude to v bytě takže to nesmí moc hučet.
Dám pár příkladů a skore z benchmarku. Většinou koukám na skore Cinebench R15 na https://www.cpu-monkey.com  protože už mám zažitou tu stupnici a meří to víceméně lineárně výkon při 100% zatížení a navíc se ted i povedlo že to skore v bodech témeř odpovídá cenám PC v Kč 1:10. Takže např mě bude stačit konfigurace s 8GB a sehnat se dá následující.

HP Elitedesk 800 G2 s i5-6500T má skore 464 b. a cena 4500-5000 na ebay nebo bazarech
HP ProDesk 400 G4 s i5-8500T má skore 751 b. a cena 7-8000 na ebay.
Pak jsem si vzpomněl že PS4 jsou docela levné a že to někdo na ukrajině používal na těžení crypto, což ale je GPU a dohledal jsem že to v tom benchmarku má skore asi 330 b s CPU. a ty ceny jsou kolem 4-5000, takže kvuli CPU se to nevyplatí.

A teď pointa. Už jsem se chystal že pořídím třeba 4ks s i5-6500T nebo jiné použité, že mě ani nenapadlo že by se mohlo vyplatit kupovat nové. A pak jsem narazil na tohle https://www.alza.cz/hp-prodesk-400-g5-micro-tower?dq=6264864 v tom je i5-10500T se skore 1245 b. a stojí to opět přesně v tom poměru 1:10 a to 12590 kč. Dva kusy by tak měly výkon jako i9-11900KF (2575 b.), který ale sám o sobě stojí necelých 15000 Kč a z co nejlevnějších komponent jsem poskládal PC na CZC a vyšlo by na 22-24k(24 pokud sečteme RAM a SSD prostor), jenže by to bylo vetší, hlasitější a bylo by z nejlevnějších šuntovních komponent. S HP Workstationy Z620 mám dobrou zkušeost a ta málá PC jsou dle recenzí velmi kvalitní.

Zajímalo by mě zda máte někdo povědomí o lepším řešení? Netrvám si na těch mini PC, ale v případě HP chodí i s klávesnicí a myší a ted to pro mé potřeby vypadá nejlépe když bych pořídil 2ks. Za případné reakce díky.
 

26

Software / Re:Převod MP4 na JPG sekvence (nebo datové pole) co nejrychleji

« kdy: 28. 08. 2021, 00:33:14 »

koukám že to plive rovnou do konzole jako byty v ASCI takže python to přes stdout pochytá a udělá pole, to jsem vůbec neznal tohle.

Ano, takhle UNIX funguje. Bohužel to poslední dobou lidé zapomínají/nevědí a tahle krása se pak vytrácí.

Tak otestováno i7-5930k (cca 2x rychlejší než ten notebook)
ukládání do JPG na disk jede SD 20x (480 FPS) a HD 5-8x (120-190 FPS), což jen ten základ, co jsem chtěl zrychlit..
ten příkaz s RAW a -pix_fmt rgb24 jede víceméně přesně 1,5x rychleji
bez toho pix_fmt to jede 4x rychleji tj SD skoro 2000 FPS a HD 500FPS ale ještě nevím co je to za data
a pak když to dám do pythonu tak s tím rgb24 to jede stejně jak kdybych ukladal JPG na disk a bez toho to jede jen 2,5x rychleji
Ráno se na to podívám... alespon jsem se posunul dál že vím že to dekoduje i 4x rychleji a ted z toho ty data nějak bez zpomalení pochytat. Diky

27

Software / Re:Převod MP4 na JPG sekvence (nebo datové pole) co nejrychleji

« kdy: 27. 08. 2021, 23:44:39 »

smazano duplicitní příspěvek

28

Software / Re:Převod MP4 na JPG sekvence (nebo datové pole) co nejrychleji

« kdy: 27. 08. 2021, 23:42:00 »

Náhodou, kluci, umí nějaké (laciné) kamery posílat surový (nekomprimovaný) stream z kamery? USB3.0 už by nemuselo být úzké hrdlo ne? Jsou UHD 4K kamery, ale mně by stačilo i míň než FHD. Mám aplikaci hrozně citlivou na artefakty spojené s kompresí a nevím, co s tím. Zatím to mám v šuplíku.

(Drahé, průmyslové, kamery umí zpracovávat obraz přímo v sobě, ano.)

Tak spousta kamer posílá ven live nekomprimovaný obraz bez artefaktů, Panaosnic GH5 a nebo Blackmagic kamery z těch "levnějších" ale to je vždy po HDMI, případne SDI, na USB se to nepřevádí, ale existujou různý převodníky, ale tam to bude trpět tim ukládáním na konci... to se pak používá Prores kterej je pomalej. Jinak nejsem si jisty ale Raspberry Pi kamera umí RAW ale možná jen fotky u videa nevím... a tam jsou Sony IMX senzory, ty mají kvalitní obraz. A Canon fotaky se dají hacknout že točí RAW do Cinema DNG ale to je offline po snímcích, to se jmenuje magic lantern.
https://www.strollswithmydog.com/open-raspberry-pi-high-quality-camera-raw/

29

Software / Re:Převod MP4 na JPG sekvence (nebo datové pole) co nejrychleji

« kdy: 27. 08. 2021, 23:13:31 »

Mezikrok přes JPG je nesmysl, jeho enkódování a dekódování sežere nejspíš víc než dekódování videa.

...a asi to i vnáší cca 10-20% šumu... ne?
Výstup sypat někam na ramdisk, tenhle provoz by asi spolehlivě vydojil i enterprasové SSD

PS: Dobře ty! Tohle se mi totiž shodou okolností dost hodí.

ty JPG by nevadily že budou lehce horší, klidně bych mohl zmenšit i rozlišení. V tyhle fazi to má vyházet stejný nebo velmi podobný obrázky a nechat jen ty co se liší. Aby se pak to náročnejší zpracování dělalo jen tam kde je to potřeba.

30

Software / Re:Převod MP4 na JPG sekvence (nebo datové pole) co nejrychleji

« kdy: 27. 08. 2021, 23:04:08 »

Kód: [Vybrat]

ffmpeg -i test.mp4 -pix_fmt rgb24 -f rawvideo -y -

Plive to rovnou RGB framy.

koukám že to plive rovnou do konzole jako byty v ASCI takže python to přes stdout pochytá a udělá pole, to jsem vůbec neznal tohle. Jdu zkusit. Dík