Těžíte XCH (Chia) ?

[Mirek Prýmek]

Podle me pauzovani procesu nema smysl - jen to snizuje vykon.[...] Klasicky pipelining.

No pokud pipelina neni ve vsech castech stejne tlusta (coz u chia plottingu neni), tak se musi cekat na zamek. A jedinej robustni zpusob je freezer. Je to relativne pomaly, ale o nekolik radu pod sekundou, takze to v celkove dobe plottingu absolutne nehraje roli.

Co me nejvic stve na tom reseni je, ze to neumi zastavit a pokracovat (napr. udelat reboot v te staggered pipeline, znacne snizi vykon, nebo promrha prostredky jestli se to utne).

To jo. Ja na to mam castecnou odpoved v tech FS semaforech - tim, ze je semafor na disku, se da procesu rucne ukrast. Tj. worker bezi, ja mu ukradnu zamek, kterej vlastni, a jakmile skonci, nema ho, takze ho nemuze vratit. Timhle postupem je mozny nechat postupne vsechny workery skoncit a restartovat potom. Neni to idealni, protoze se postupne snizuje vytizeni, ale je to asi lepsi nez zahodit rozdelanou praci...

A pak, ze to je treba hlidat na dva chybove stavy: bud to zustane viset v nekonecny smycce (a nic se nedeje, jen zere cpu), nebo to spadne a tim se omezi prostor v tempu nevyuzitelnym bordelem.

CPU se da prave pomoci cgroups zastropovat (to nemam, protoze jsem to zatim akutne nepotreboval).

Bordel v tempu resit umim - ze stdout se vyparsuje ID plotu a pokud worker skonci neuspesne, muzou se tempy automaticky smazat.

[Reklama]

[RDa]

Co me nejvic stve na tom reseni je, ze to neumi zastavit a pokracovat (napr. udelat reboot v te staggered pipeline, znacne snizi vykon, nebo promrha prostredky jestli se to utne).

To jo. Ja na to mam castecnou odpoved v tech FS semaforech - tim, ze je semafor na disku, se da procesu rucne ukrast. Tj. worker bezi, ja mu ukradnu zamek, kterej vlastni, a jakmile skonci, nema ho, takze ho nemuze vratit. Timhle postupem je mozny nechat postupne vsechny workery skoncit a restartovat potom. Neni to idealni, protoze se postupne snizuje vytizeni, ale je to asi lepsi nez zahodit rozdelanou praci...

Tak jako zastavit to mezi plotama taky umim, protoze tam mam cyklus ve kterem se tvori jen 1 plot a pak to kontroluje STOP flag (test existence souboru v dev/shm). Vadi me ze to nejde zatavit (resp. zrestartovat) v jakekoliv mezi-bucketove pozici, aby to pokracovalo po rebootu.

Druha vec co me jeste stve - na bash skriptovani - je, ze to nacitava soubor od posledni byte-pozice snad mezi prikazama? To je celkem opruz protoze nejde editovat skripty za behu a nenasel jsem na to slusne reseni.. prepisovat to do meho oblibeneho PHP uz ale nebudu.

[Mirek Prýmek]

Vadi me ze to nejde zatavit (resp. zrestartovat) v jakekoliv mezi-bucketove pozici, aby to pokracovalo po rebootu.

Jasný, ja ti rozumím. Tohle by teoreticky pomocí toho freezeru mělo jít taky, ale nebude to triviální a nechce se mi s tím babrat, protože ďábel bude určitě v detailu...

The cgroup freezer will also be useful for checkpointing running groups
of tasks. The freezer allows the checkpoint code to obtain a consistent
image of the tasks by attempting to force the tasks in a cgroup into a
quiescent state. Once the tasks are quiescent another task can
walk /proc or invoke a kernel interface to gather information about the
quiesced tasks. Checkpointed tasks can be restarted later should a
recoverable error occur. This also allows the checkpointed tasks to be
migrated between nodes in a cluster by copying the gathered information
to another node and restarting the tasks there.

https://www.kernel.org/doc/Documentation/cgroup-v1/freezer-subsystem.txt

Taky jsem ještě nezkoumal detaily toho, jak ten hpool-plotter pracuje s tou ProofOfSpace binárkou - jestli ji spouští jenom jednou a ta běží až do konce, nebo jestli ji třeba nestartuje víckrát s různými parametry. Pokud by to bylo to druhý, tak aspoň mezi těmi execy by to mělo jít pořešit. Ale z mýho pohledu je to zbytečná námaha. Navíc HPool plotter bude s příchodem oficiálních poolů obsolete...

Druha vec co me jeste stve - na bash skriptovani - je, ze to nacitava soubor od posledni byte-pozice snad mezi prikazama? To je celkem opruz protoze nejde editovat skripty za behu a nenasel jsem na to slusne reseni.. prepisovat to do meho oblibeneho PHP uz ale nebudu.

Já to mám udělaný tak, že co worker, to samostatný proces. Takže reload nové verze by nebyl problém (po skončení plotu). Ale taky jsem tuhle potřebu nijak zvlášť nepocítil

[Jan Fikar]

Jestli jste ještě nezaregistrovali, tak je tu nový o dost rychlejší plotter https://github.com/madMAx43v3r/chia-plotter, který využije všechny jádra již při jednom plotu

V podstatě už asi nemá cenu plotovat paralelně, možná jen pokud je úzké hrdlo úložiště, ale máte jich víc

Snad by se měl časem dostat do oficiální chia

[RDa]

Jestli jste ještě nezaregistrovali, tak je tu nový o dost rychlejší plotter https://github.com/madMAx43v3r/chia-plotter, který využije všechny jádra již při jednom plotu

Ma to sekce, kde to neni optimalni, dle meho mereni to dava 66% za celej beh, tudiz je porad lepsi mit 2 staggered ploty.
Prinosem ale je, ze nemusite cekat tech 8-12h na nabeh/dobeh, postaci mensi kapacita (rychleho uloziste), protoze jsou rozdelane jen 2 ploty a ne 18 (na 12C/24T).

A pokud nepotrebujete 100% vykonu a staci ty 2/3, lze to provozovat s 256GiB ram ciste v pameti.
(jen se vam nesmi probudit slozitej task z cronu a system musi byt fakt minimalni.. je to velice na hrane)

[Reklama]