Fórum Root.cz

Hlavní témata => Software => Téma založeno: Pivotal 30. 01. 2020, 12:06:01

Název: Chromium dává kouř paměťové kartě
Přispěvatel: Pivotal 30. 01. 2020, 12:06:01
Všiml jsem si podivné věci, po nějaké době, co mám spuštěný chromium 75, rozhodne se že pořádně zatopí systému:
neustále čte z úložného zařízení (iostat hlásí 400 read operací za sekundu permanenentně ,odpovídající  5-12 MB/s, IO aktivní čas 99,2% až 100,02%) Nemusím říkat, že se systém extrémně zpomalí, například zavírání okna jiného programu trvá 5 sekunud a je vidět, jak obdélník okna mizí rychlostí 40 pixelů zas sekundu vertikálně)

V případě že zapnu swap, se začne pomalu ale jistě zaplňovat. Sice ustane permanentnní čtení, ale občas dělá i velké zápisy) Když se blíží k zaplněnení se systém zpomalí tak jako tak.

Ram je sice obazená (tak 550MB z 980) ale ne pln


Zajímalo by mě, proč  chromium takhle drtí disk a za druhé co je ten spouštěč tohodle škodění.
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: Filip Jirsák 30. 01. 2020, 12:32:57
Obvykle je síťová komunikace pořád to nejpomalejší médium, takže prohlížeč se snaží maximum věcí kešovat – netahat je po síti, ale mít je blíž, na disku, v RAM. Určitě jste radši, když vám zobrazí soubor z lokálního disku, než když ho musí tahat ze sítě. O to víc budete radši, pokud máte připojení účtované podle přenesených dat. No a udržovat cache tak, aby byla co nejefektivnější, je samozřejmě docela náročné. Nejlepší je samozřejmě mít vykreslenou stránku v RAM, jenže RAM není nekonečná, takže někdy se vyplatí mít v RAM jenom zdrojové soubory a teprve z nich v případě potřeby vykreslovat. Jenže i tak dokážete RAM rychle zaplnit, ale pořád je lepší mít ty soubory na disku než je nemít vůbec. Takže prohlížeč musí na základě toho, co děláte, s tou keší neustále pracovat – nahrávat do RAM to, co asi budete potřebovat, odkládat na disk to, co teď potřeba nebude, mazat z disku soubory, které jsou staré nebo jste je dlouho nepotřeboval.

Mít cache prohlížeče na paměťové kartě rozhodně není dobrý nápad, na desktopu se to dá srovnávat asi jenom se swapem (ono je to vlastně i funkčně hodně podobné).
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: kotelgg 30. 01. 2020, 13:05:37
Řešil jsem to samé v chrome a vytěžuje to extrémně disk i jen při přehrávání videa. Přitom paměti je dost. To je jasný bug nebo úmysl (kontrola dat?).
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: Křišťan Surname 30. 01. 2020, 13:49:05
Bohužel je to stejné i s Firefoxem. Oba prohlížeče, máte-li aktivní session management, periodicky ukládají stav otevřených stránek. Nejen URL, ale i stav všech prvků na nich, aby např. po restartu zůstaly otevřené UI prvky, vyplněné formuláře, atd. U statických stránek, kde jediným zdrojem změn je uživatel, to je v pohodě. Bohužel dnes i na jednoduchých webech běží javascripty, které manipulují se stavem DOMu i bez přičinění uživatele (typicky různý polling datových zdrojů, live chaty na většině eshopů a tak).

Diskuze např. na https://bugzilla.mozilla.org/show_bug.cgi?id=1304389 o jednotkách TB/rok.
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: Wangarad 30. 01. 2020, 14:03:18
Pozor pozor Pivotal troll znova na scene.

Pouzivas to na svojom  RPI s nedostatocnim napajanim pritom pretaktovanim a s custom OS? Alebo to cele bezi na Windows XP?

Zasa si nepozil google lebo by si vedel ze je to hned prvy odkaz ?
https://www.raspberrypi.org/forums/viewtopic.php?t=221967

Je to pre teba zabavne zaplnat forum otazkami ktore su uplne jednoducho dohladatelne alebo si len tak primitivny ze nevies googlovat, pripadne lenivec co sem len nieco napise s tym ze "ved to za mna niekto spravy" ?
Na 10 s 10 tvojich otazok najdes odpoved po par sekund googlovania. Nie su nicim specialne , su to dookola opakujuce sa problemy.....
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: Pivotal 30. 01. 2020, 15:15:02

Zasa si nepozil google lebo by si vedel ze je to hned prvy odkaz ?
https://www.raspberrypi.org/forums/viewtopic.php?t=221967

Tam ale není odpovědi na mé dotazy
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: Filip Jirsák 30. 01. 2020, 16:18:49
Řešil jsem to samé v chrome a vytěžuje to extrémně disk i jen při přehrávání videa. Přitom paměti je dost. To je jasný bug nebo úmysl (kontrola dat?).
Je to úmysl – dobré fungování prohlížeče, plynulé vykreslování a používání. Nejlepší využití paměti není takové, kdy ji zaplníte až po okraj. Navíc o využití paměti nerozhoduje aplikace, ale operační systém – takže prohlížeč musí počítat i s tím, že musí nějak „vyjít“ i s operačním systémem.
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: Fuki Fuki 30. 01. 2020, 17:06:27
Ram je sice obazená (tak 550MB z 980) ale ne plna

Zvys RAM tak na cca 16GB a bude po probleme. Chrome je zrut a kazdy tab alebo iframe je iny thread. RAM je stale to najrychlejsie ulozisko. Ked sa musi riesit kesing na disk tak to uz je zle.
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: hugochavez . 31. 01. 2020, 19:34:14
Bohužel je to stejné i s Firefoxem. Oba prohlížeče, máte-li aktivní session management, periodicky ukládají stav otevřených stránek. Nejen URL, ale i stav všech prvků na nich, aby např. po restartu zůstaly otevřené UI prvky, vyplněné formuláře, atd. U statických stránek, kde jediným zdrojem změn je uživatel, to je v pohodě. Bohužel dnes i na jednoduchých webech běží javascripty, které manipulují se stavem DOMu i bez přičinění uživatele (typicky různý polling datových zdrojů, live chaty na většině eshopů a tak).

Diskuze např. na https://bugzilla.mozilla.org/show_bug.cgi?id=1304389 o jednotkách TB/rok.

Jo, tohle se tady svyho casu resilo https://www.root.cz/clanky/firefox-pozira-vase-ssd-zapisuje-desitky-gb-denne/
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: k3dAR 01. 02. 2020, 04:18:02
moznosti je spousta, neverim ze si ani na jedno nenarazil na prvni strance vysledku ve vyhledavaci...

1. poridit kvalitni/industrial microSD kartu co ma lepsi iops

2. zrusit cache na disk

3. presmerovat disk cache do ram(tmpfs)

4. misto microSD pouzit USB-SSD (s nebo bez /boot ci rootfs na microSD)

5. upravit parametry pripojeneho oddilu kde je cache, pripadne pro ni udelat zvlast oddil a klidne bez journalu

... atd...
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: Pivotal 15. 02. 2020, 12:08:08
Vždyť ani nejnovější raspberry pi nemá víc jak 4GB

1. mám High endurance microSD kartu, ale paradoxně má nižší IOPS, prý je to normální. (https://forum.root.cz/index.php?topic=22206.msg322028#msg322028) zápis 25 MB/s, čtení neomezeně, nevíc microSD na RPI nedá víc jak 29MB/s(Nezodpovězeno)

2. Když zruším  cache na disku, do problémů se dostanu dříve (v čase) sice se ne zapisuje ale neustále se čte 16MB/s (450 requestů za sekundu). Když cache systemctl start dphys-swapfile zapnu, tak se to oddálí, než dojde k zaplnění swapu a to pak ten kouř je obousěrný - na kartu se navíc i neustále zapisuje a i když jde o max 2MB/s tak to způsobuje v iostatu write request delay v řádu 500-2000 ms,což je mnohem horší než když se jen čte,protože i při takto intenzivním čtení je read requst delay kolem 100-200 ms (což souvisí s vlastností NAND - jednoduché čtení, pro zápis nutno erase.
- Je to umocněno tím při zápisu je average write size kolem 5kB, zatímco u čtení 30kB

3. to mi nepřipadá jako dobrý nápad na 1GB stroji, kde je permanentně nedostatek volné RAM

4. Možná to tak dopadne, ale tím se ztrácí kompaktnost celého zařízení, snad jen takové ty piko flashky o velikosti USB vysílače k bezdrátovým myším, to ale není SSD.

5. Proč to takhle vůbec autoři raspbianu neudělali, vždyť jde o Tradiční řešení swapovské otázky na linuxu, že se používá swap oddíl a ne swap soubor...?
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: Filip Jirsák 15. 02. 2020, 13:25:01
Já myslím, že odpověď na původní dotaz už tu dávno zazněla – Chrome je napsané tak, aby používání moderních webů na moderním desktopu bylo pro uživatele co nejpříjemnější, což znamená především to, aby web reagoval rychle. K tomu hrome využívá zdrojů, které mají dnešní desktopy dostupné. Takže na počítači s 1 GB RAM to rozhodně nebude fungovat uspokojivě, a není žádný trik, kterým byste tu chybějící RAM mohl nahradit.
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: e3k 15. 02. 2020, 21:16:16
mne sa osvedcil noscript. je to sice do ohnivej lisky ale mozno to ma aj chromium...
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: k3dAR 15. 02. 2020, 22:12:12
mne sa osvedcil noscript. je to sice do ohnivej lisky ale mozno to ma aj chromium...
tak mit doplnky uBlockOrigin a PrivacyBadger povazuju za samozrejmost, ale to resi caste cteni/zapis cache uloziste jen castecne
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: Pivotal 17. 02. 2020, 11:18:36
mne sa osvedcil noscript. je to sice do ohnivej lisky ale mozno to ma aj chromium...
tak mit doplnky uBlockOrigin a PrivacyBadger povazuju za samozrejmost, ale to resi caste cteni/zapis cache uloziste jen castecne
To je samozřejmost, ale z jiného důvodu, že jinak je prohlížení webu na blití, vedlejší efekt (ačkoliv také jeden z důvodů využívat blokátor) je právě úspora zdrojů- cpu a RAM, což zde sedí jak butock na hrnec.  Příčinu to ale neřeší vůbec. 

Po jakém jiném browseru se poohlédnout? V tom duchu jak psal Jirsák, že chromium je optimalizováno pro nejvyšší rychlost a předpokládá hodně paměti a snaží se spoustu věcí dělat dopředu podobně jako procesory intel, kterým Spectra a meltdown zlomil vaz. Zde prohlížeči zlomil vaz nedostatek prostředků, na které je dělaný. (Přirovnání je tak trochu jako  hodinky a holinky)
Takže nějaký úsporný prohlížeč, který se snaží s pamětí šetřit, prostě aby priorita nebyla rychlost, ale úspornost.

O tomhle  (https://www.zive.cz/clanky/komunita-si-dela-legraci-zchromu-i-na-nejnabusenejsim-macu-pro-dokaze-zabrat-pres-14-tb-operacni-pameti/sc-3-a-202428/default.aspx)si mohu nechat zdát. nebo si z toho také mám dělat legraci, že po 10 tabech je zaplněný?
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: RDa 17. 02. 2020, 11:43:54
A ktere weby musis mit na tom RPi otevrene zaroven v zalozkach? At si udelame predstavu co od toho jako ocekavas.

Nejmene narocny browser bude Lynx, protoze nema JavaScript ani obrazky, takze nema proc zrat zbytecne prostredky :-)
https://en.wikipedia.org/wiki/Lynx_(web_browser)
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: Wangarad 17. 02. 2020, 15:02:29
A Pivotalov trollyng pokracuje  ::) ::)
Tak si to zhrnieme -
Pivotal ma custom system, pretaktovany s nedostacujucim zdrojom , ktory je vsetko ale nie stabilny. Viz. ine jeho vlakna.
Nepouziva SSD. Chcel by pomalicky prehravat 4K video na 40 taboch a to cele na RPI 3 (Kedze nepise na akom RPI bezi a najcastejsie spomina RPI3). Boh vie ci tam ma vobec nieake rozumne chladenie.... To sa este nasiel hlupak ktory sa chyta a odpoveda mu na to???
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: Pivotal 17. 02. 2020, 19:53:37
Samozřejmě že tam mám chlazení - malý Al Blok. Teplota nepřesahuje 66°C v nejhorším  případě, například při sw přehrávání videa je 61°C  ;  k throttlingu kvuli undervoltage dochází i při libovolné teplotě, a k swapovacímu záseku dochází taký při libovolné teplotě, resp, když se to stane, teploty ani nemusí být 55°C. Jak význam asi tak chlazení asi pro mé problémy má?
Asi nakonec to SSD vyzkouším, i kdyby to měl být nevzhledný kus krámu propletený redukcemi a kabely, abych tam ten božský SSD dal. Třeba SSD bude to nejlepší, co RPI potká po přechodu na napájení z GPIO-
Zdroj dává 5.2V a nad 2A. při 1A vpohodě 5.1V. Jenže i po napájení přes GPIO a se něco ztratí v drátech a i když na gpio pinech je 5.05V, tak hlásí undervoltage.
Přetaktování už nemám, problému s undervoltage ubylo o 20% asi, ale stále jsou obtěžující.

A 4K nekomentuji, nejen že to neumí hardwarově, ale v chrome z nějakého důvodu nejde hardwarově akcelerované video jakéhokoli rozlišení, s tím bych potřeboval pomoc, aby to šlo přímo v chromium nebo nějakém  špecial browseru (ne playeru, na to je omxplayer
), který si rozumí s raspberry pi.
Název: Re:Chromium dává kouř paměťové kartě
Přispěvatel: RDa 17. 02. 2020, 23:12:49
A Pivotalov trollyng pokracuje  ::) ::)
Tak si to zhrnieme -
Pivotal ma custom system, pretaktovany s nedostacujucim zdrojom , ktory je vsetko ale nie stabilny. Viz. ine jeho vlakna.
Nepouziva SSD. Chcel by pomalicky prehravat 4K video na 40 taboch a to cele na RPI 3 (Kedze nepise na akom RPI bezi a najcastejsie spomina RPI3). Boh vie ci tam ma vobec nieake rozumne chladenie.... To sa este nasiel hlupak ktory sa chyta a odpoveda mu na to???

Tak nekdy takovy mistni sasek obzvlastni diskuzi. Ale nechapu co ma byt jeho podpis.. pusobi jako ovce-aktivista s transparentem :P

Zrejme ale nema dostatecne IQ aby pochopil, ze od proste hracky pro decka na zakladce nemuze cekat zazraky a provozovat na tom dnesni online desktop. Anebo to je duchodce co draze nakoupil jinak smejdarske hrnce (coz RPi tak nejak lze povazovat.. kdyz zacnete dokupovat prislusenstvi aby to vubec fungovalo, jste v tom za vic nez kdyby jste poridil normalni low-end notebook co udela lepsi praci nez RPi).