Příspěvky

1

Hardware / Re:Software testující hardwarové limity pro jiný software

« kdy: 04. 07. 2020, 17:01:20 »

Diky, tohle je idealni zdroj informaci.

Doporučuji kouknout na tento web: http://www.brendangregg.com/linuxperf.html

Hezké, ten diagram je dobrý tahák k vytištění a pověšení nad stůl

2

Hardware / Re:Software testující hardwarové limity pro jiný software

« kdy: 02. 07. 2020, 20:51:51 »

Dekuji za reakce. Je to software MS-DIAL z Japonska http://prime.psc.riken.jp/compms/msdial/main.html
C++ / .NET, ale prepisuje se na ostatni platformy. Ucel programu je hledani, srovnavani, pocitani, zobrazovani dat.

Cas: pri male nalozi dat se HW limity nepozoruji, ale pri vysokem vykonu (vice vstupnich dat nez je k dispozici vlaken, jednotky milionu zaznamu v db), nekdy nestiha. Vnejsi omezeni nejsou.

Vykon na jedno vlakno lze jen castecne simulovat na virtualnim stroji. Pocet pouzitelnych vlaken se definuje na pevno. VCPU se nechova jako CPU nebo jako vlakno, takze se spatne predikuje, jestli koupit Threadripper.

Pokud je program zaseklý a nevidíte ani přetížení disku, ani zaplnění ram a ani vytížení CPU - ani v userspace (proces programu) ani systemspace (kernel), pak program buď na něco čeká (síť, zámky na disku...) nebo hnije synchronizace mezi vlákny (která se blokují...). Pak nepomůže hrát si s hardware, je potřeba nejdříve dosáhnout plného vytížení počítače a ideálně vyváženého - IO, RAM, CPU.

To je ta zahada - vseho ma dost, ta cast procesu je jen jednoprocesorova, nacita do pameti, a pak proste nekdy prestane a nekdy dobehne do konce.

Muzete prosim doporucit nejaky profiler? Nejlepe takovy, ktery se da pouzit v linuxu i ve Windows. Jiz drive jsme u podobneho softwaru dosli k zaveru, ze multithreading funguje jen u Intelu a ne u AMD (asi kvuli instrukcnim sadam), protoze na AMD platforme padal s chybou o neuspesnem navazani vlaken pri n=64+.
Idealne abych mohli zjistit, co nefunguje pro nase pouziti, a pozadat autora, aby to vcas behem portovani opravil.

3

Hardware / Re:software testujici hardwarove limity pro jiny software

« kdy: 02. 07. 2020, 16:07:18 »

Mel jsem na mysli sofistikovanejsi pristup. Improvizovat mohu, ale jedno zpracovani data aplikaci trva cca 12 hodin, HW na prohazovani nemam, atd.
Pokud je tam SW problem, tak to nikdo neopravi, a ja jen potrebuji najit optimalni parametry pro beh (minimalizujici celkovy cas zpracovani ulohy).

4

Hardware / Software testující hardwarové limity pro jiný software

« kdy: 02. 07. 2020, 13:20:02 »

Zdravim,
potreboval bych poradit, jestli existuje software (benchmark), ktery by dokazal sledovat beh jineho softwaru, a vyhodnotit, kde lezi limity hardwaru ci nastaveni. Nejlepe nezavisly na platforme. Cilem je ziskat informaci, jakou cast hardware je potreba posilit.

Prakticky:
Software uklada pri zpracovavani hodne malych souboru (~1 milion za 10 minut). Je ve stavajicim stavu limitujici rychlost zapisu na disk a nebo je to v software? Ma se poridit NVMe?
Software nasledne male soubory prohledava, spojuje, zobrazuje. Je limitem pamet? Nebo rychlost cteni/zapis na disk?
Software natahuje data z disku na zobrazeni, zabere 20 GB RAM z 64 GB, a pak se (treba zrovna dnes) zasekne. Co mu chybi, kdyz procesor volny je, pamet volna je, disk pracuje na 10% schopnosti?
Software pouziva paralelni procesovani - az do kolika extra vlaken existuje realny prinos?

Diky za rady,
O.