Zobrazit příspěvky

Tato sekce Vám umožňuje zobrazit všechny příspěvky tohoto uživatele. Prosím uvědomte si, že můžete vidět příspěvky pouze z oblastí Vám přístupných.


Témata - scientific

Stran: [1] 2 3
1
Software / Delay při výstupu
« kdy: 31. 08. 2020, 11:58:08 »
Ahoj všem, prosím o zřejmě základní radu, nenapadá mě, jak si s tím poradit.

Mám příkaz:
Kód: [Vybrat]
openssl s_client -connect domena.example:443 2>/dev/null |  openssl x509 -noout -modulus | openssl md5 | grep stdin
Problém je, že tento příkaz zablokuje CLI, jako kdyby čekal na vstup, ale nečeká. Pomůže stisknutí např. klávesy [ENTER], což zpracování odmrzne a výsledek se vypíše ihned. Bez stisknutí klávesy [ENTER], se na vápis výstupu čeká až několik minut.

Jak příkaz formulovat správně, aby nedocházelo ke zbytečnému delay?

Děkuji za tipy.

2
/dev/null / Stažení stránky wget/curl
« kdy: 17. 08. 2020, 22:25:24 »
Ahoj všem,

prosím o radu. Je web, ze kterého bych chtěl pro soukromé účely analýzy stáhnout data za cca. 30 stránek a nechce se mi to dělat ručně. Navís nestačí základní stažení zdrojového kodu, je tam nějaký AJAX. Data ve zdrojovém kodu [CTRL] + u nejsou, pouze skripty, které data vykreslují na straně klienta až v prohlížeči.

Ruční postup je takový:
  • Přistoupit na stránku
  • Skrolovat půl hodiny, urvat mezitím kolečko z myši a vzít z krabice další myš. (Skrolování skript načítá další "historické" řádky tabulky, nelze je zobrazit najednou (člověk se musí proscrollovat nakonec).)
  • Jakmile se dostanu až na konec a již nejsou žádné data k vypsání, podívám se do zdrojového kodu a stáhnu ho do textového souboru.
  • Nad textovým souborem spustím cat source.txt| sed | grep | awx | masakry > data.txt
  • Soubor data.txt proženu bash skriptem, který ty data naláduje do databáze.
  • Nyní si mohu hrát s SQL dotazy, vytvářet funkce pro analýzu těch dat.

Automatický postup:
  • wget/curl/něco https://domena.example/neco --nejaký masakry pro načtení všech dat (skrolování) :-D > source.txt
  • Pokračovat jak je výše uvedeno

Myslíte, že je to nějak řešitelné, možná nějaký emulátor prohlížeče nebo nodeJS, napadá Vás něco?

Díky moc za každý nápad.

3
Software / Hrátky s textem
« kdy: 16. 08. 2020, 00:20:17 »
Ahoj všem, prosím o banální radu.

Potřebuji poradit, jak upravovat řádky v souborech, jak potřebuji, viz příklad níže. Je mi jedno, jestli to bude sed, awk, tr, nebo co já vím. :-)

Mám soubor s řádky:
  • jmeno:Michal;neco neco2 neco3;prijmeni:Novak
  • jmeno:Marta;neco;prijmeni:nesladkova
  • ...
  • jmeno:Marek;neco neco2 neco3;prijmeni:Stastny

Chtěl bych výstup takto (odstranění nezajímavého balastu mezi dvěma slovy/stríngy/znaky (v našem případě znak středník z obou stran)):
  • jmeno:Michal;;prijmeni:Novak
  • jmeno:Marta;;prijmeni:nesladkova
  • ...
  • jmeno:Marek;;prijmeni:Stastny

Děkuji všem.



4
Software / Jaká je výchozí hodnota kernel.sem.semni?
« kdy: 27. 05. 2020, 16:12:06 »
Ahoj všem,

zkouším si hrát s nastavením semaforu. Jak by měla být nastavena ideálně hodnota SEMMNI?

Teď se neptám na to, jak testovat. Spíše na nějakou obecnou poučku, jak se má za to, že je konfigurace  ve většině případů správně.

Jak byste mi doporučili hodnotu nastavit v případě, že má VPS k dispozici 3 GB, 4 GB a 8 GB RAM. Z toho si klidně už sám pak odvodím nějaký obecný vzorec.

Když SEMMNS = SEMMSL * SEMMNI,
tak SEMMNI = SEMMNS / SEMMSL,
s tím, že SEMMSL by mělo být asi SEMMSL=1*250

Děkuji všem za pomoc/radu.


5
Distribuce / Jak nainstalovat WiFi ovladač
« kdy: 06. 05. 2020, 08:32:26 »
Ahoj všem,

mám tu starý korporátní počítač, do kterého se do desky vloží WiFi karta s takovou externí anténou.

Problém je v tom, že mi CentOS 8 hlásí v nastavení: "No Wi-Fi Adapter Found Make sure you have a Wi-Fi adapter plugged and turned on".

1. Napadlo mě, že by mohlo být potřeba nainstalovat ovladače.
2. Vylistoval jsem si v připojených zařízeních (/sbin/lscpi) o jaké zařízení se jedná: 01:00.0 Network controller: Broadcom Inc. and subsidiaries BCM43228 802.11a/b/g/n
3. Vylistoval jsem si jeho vendor a device ID (/sbin/lscpi -n | grep "01:00.0")
14e4:4359
4. Snažil jsem se marně dohledat, jaký balíček z elrepo mám doinstalovat. Poradíte mi prosím jak dál?

Děkuji všem, za nasměrování k dalšímu postupu.

6
Software / fail2ban - jak vytvořit blocklist/blacklist
« kdy: 16. 04. 2020, 08:44:46 »
Ahoj všem,

prosím si o pomoc s nalezením příčiny, proč mi nefungují jinak poměrně jednoduché návody an vytvoření blacklistu/blocklistu pro fail2ban.

Zkoušel jsem několik návodů:
https://blog.agood.cloud/posts/2019/09/08/fail2ban-setup/
https://dev-notes.eu/2018/04/persistent-banning-of-ip-addresses-with-fail2ban/
https://www.gbonny.nl/index.php
https://looke.ch/wp/list-based-permanent-bans-with-fail2ban
https://wireflare.com/blog/permanently-ban-repeat-offenders-with-fail2ban/
https://gist.github.com/sgnn7/71624a20026bb8dd29f8f7acb0bec3c1

nic mi ale nefunguje, přestože jinak mi fail2ban funguje a banuje, např., když se zabanuji ručně, věřím že funguje i automatickým banování. Ale banovat ip adresy ze souboru prostě podle těch návodů nezvládám rozjet.

Máte prosím někdo tip, jak zjistit v čem je problém? ve fail2ban nic neobvyklého nevidím? Kdy se má blocklist a IP adresy v něm zabanovat? Zkoušel jsem i restart služby. Případně, kdybyste měl někdo pro mě nějaký ověřený návod, budu rád, ale nemyslím si že je to návodem. Děkuji všem moc.

7
Software / iptables - jak vytvořit blocklist/blacklist
« kdy: 15. 04. 2020, 13:38:22 »
Ahoj všem,

chtěl bych umět permanentně blokovat IP adresy ze souboru, kde na každém řádku je jedna IP adresa.

Ideálně prostřednictvím fail2ban, ale řešení typu https://blog.agood.cloud/posts/2019/09/08/fail2ban-setup/ nebo https://dev-notes.eu/2018/04/persistent-banning-of-ip-addresses-with-fail2ban/ mi nefungují (nepřidávají pravidla do iptables ani s restartem fail2ban).

Případně bych rád věděl jak by to bylo v iptables alternativně k jednoduchému řešení, které lze ve firewalld:
Kód: [Vybrat]
firewall-cmd --permanent --ipset=networkblock --add-entries-from-file=/path/to/blocklist.txt
firewall-cmd --reload

Nemohu sehnat alternativní řešení k iptables --add-entries-from-file=/path/to/blocklist.txt. Nevíte prosím, jak by se to dalo zařídit?

S tím, že používání nějaký nesystémových skriptů, cron úloh apod. by měla být až poslední možnost.

Děkuji moc všem za tipy.

8
Ahoj všem, řeším tu problém, kdy CRON nemůže spustit okenní aplikaci, bez toho, abych se přihlásil.

V logu mám:
  • Unable to init server: Could not connect: Connection refused
  • Error: cannot open display: :0

Okenní aplikace se spustí až po přihlášení v GUI.

Jde nějak zajistit, abych se nemusel přihlásit, či zautomatizovat automatickým přihlášení po startu?

Děkuji všem za rady.

9
Hardware / Restart pomocí klávesnice (magické zkratky)
« kdy: 19. 03. 2020, 21:33:38 »
Ahoj všem,

restartoval jsem počítat pomocí zkratky ctrl +
 prtsrc + b
a zase sem si oddělal FS :-D Oprava je většinou jednoduchá, nic zásadního, jen je tam něco jako nekonzistence při záspisu do logu nebo tak něco.

Nedá se prosím restartovat takhle přímo jádrem, ale šetrněji (jinou zkratkou), aby se mi už nezničil XFS?

Děkuji moc za radu.

10
Hardware / Server občas přestane komunikovat
« kdy: 08. 03. 2020, 10:49:04 »
Ahoj všem, prosím o radu, mám PC s CentOS jako homeserver. Začalo se mi ale stávat to, že se mi po několika dnech od spuštění nedaří probudit monitor (stisknutím libovolné klávesnice ani jinak) , ten píše "no signal".

Další zvláštnost je taková, že při běžném stavu se dá krátce stiknout power button a PC se uspí, dalším kliknutím se zase probudí. V popsaném případě, kdy PC s monitorem nekomunikuje (přestože běží) krátké stiknutí power button nefunguje a je nutné tlačítko podržet dokud se na tvrdo nevypne, čímž tak jednou z 5 pokusů zničím XFS.

Prosím, jak to diagnostikovat? Děkuji za tipy.

11
Server / Jak zjistit reálný výkon CPU u VPS?
« kdy: 29. 01. 2020, 13:11:26 »
Ahoj všem,

prosím si o radu, pokusím se být stručný.

Cíl
Omezit CPU profilem jednotlivé VPS tak, aby při přetížení libovolného VPS nedocházelo k přetížení hostujícího fyzického serveru. Přičemž CPU profil umožňuje nastavit limit vCPU VPS pro využívání CPU fyzického serveru (např VPS1 smí využívat při uvažované utilizaci maximálně 12 % celkového výkonu fyzického CPU).

Co jsem zkusil
  • Vypočítal jsem si dle fyzického CPU, že na každou jednu vCPU připadá cca. 3 % CPU fyzického serveru.
  • Nasadil jsem profil 12 % CPU na VPS 4x vCPU.
  • A pozoroval jak unlimited server je podstatně rychlejší, než ten s aplikovaným CPU profilem s limitem 12 % CPU.

Potřebuji poradit
Jak ověřit, zda mnou vypočítaná hodnota 3 % je správná. Jak ověřit v jaké míře je VPS při konfiguraci 4x vCPU schopný využívat fyzicky CPU.


Všechny bechmarky co jsem našel fungují stylem, že zatěžují pomocí dd I/O spíš než CPU (jako třeba tar) a počítají za jak dlouho se příkaz dokončí. Já bych potřeboval spíše dokázat měřit, jak simulovat, kolika vlákny umí VPS komunikovat.

Děkuji všem zkušenějším za rady.

12
Software / Firefox - Problém s proxy (možná cache)
« kdy: 23. 01. 2020, 17:25:31 »
Hezký večer, přeji všem,

používám souběžně dva profily firefoxu, každý z nich je připojen k proxy serveru jiným účtem (každý z nich má jinou IP adresu).

Problém je v tom, že se mi stává, že když jdu na mojeip.cz, tak často mají oba profily stejnou adresu, přestože reálně na serveru mají konfigurovanou IP adresu jinou.

Mám podezření, že by to mohlo mít na svědomí něco jako proxy server cache. Protože cache prohlížeče to není, protože cache je v rámci oddělených profilů nezávislé.

Zkusil jsem:
Vytvořit vlastní "mojeip.cz" web a to hned dvakrát něco jako http://ip1.mojeip.cz/ a http.//ip2.mojeip.cz/ to proto, aby každý z dvou používaných proxy účtů nesdíleli jeden IP checker. A potvrdilo se mi co jsem tušil:

1. testy (univerzální stránka pro testování obou proxyn)
http://mojeip.cz/ - Přístup z profilu X ukazuje správně IP adresu profilu X
http.//mojeip.cz/ - Přístup z profilu Y ukazuje špatně IP adresu profilu X

2. testy (pro každou proxynu stránka s vlastním doménovým aliasem)
http://ip1.mojeip.cz/ - Přístup z profilu X ukazuje správně IP adresu profilu X
http.//ip2.mojeip.cz/ - Přístup z profilu Y ukazuje správně IP adresu profilu Y

A jelikož veškeré cache, session, cookies apod. jsou zřejmě vždy vázané k doméně, tak to odpovídá, že by to mohlo být kvůli cache serveru.

Nechal jsem si tedy v olihni nastavit, ale ničemu to nepomohlo, a nemám žádnou představu, kdy třeba ta cache expiruje, třeba potom už by to šlo:
Kód: [Vybrat]
acl X proxy_auth X
tcp_outgoing_address XXX.XXX.XXX.XXX X
cache deny X

acl Y proxy_auth Y
tcp_outgoing_address YYY.YYY.YYY.YYY Y
cache deny Y

Podle mě: Jelikož používám dvě proxyny ze stejného proxy serveru, tak podle starého článku zde na rootu o kešující proxy olihni, jsem pochopil, že cache proxy serveru je sdílené přes všechny uživatele. Což mi právě dělá bordel.

Děkuji všem moc za tipy, rady a nápady, jak to dát do kupy, aby se ty dvě proxyny vzájemně neovlivňovali.

13
Ahoj všem,

prosím o radu, či se vám někomu nepodařilo to nějak vychytat automatické přihlášení do Proxy ve Firefoxu, nebo to jen takhle zlobí mě?

Problém: Po nastavení proxy serveru ve Firefoxu mě prohlížeč s každým spuštěním otravuje, aby se znovu přihlásil uživatelským jménem a heslem. Musím tedy používat doplně FoxyProxy, který si heslo pamatuje a sám se přihlašuje se spuštěním, aby mě to neotravovalo.

Cíl: Naučit se nakonfigurovat Firefox tak, aby fungovalo automatické přihlašování k proxy serveru i bez vynuceného ručního zadávání jména a hesla v rámci HTTP autentizace s každým spuštěním Firefoxu a bez používání doplňku FoxyProxy.

Děkuji moc všem za rady a tipy.

14
Software / Část skriptu je ignorována
« kdy: 19. 01. 2020, 11:37:29 »
Ahoj všem,

cronem spouštím skript, u kterého se poslední kousek skriptu neprovádí, ale když skript spustím ručně, tak se provede celý.

Skript spouští 3 aplikace, a nefungujicí konec skriptu má ty spuštěné aplikace na ploše seřadit pod sebe, aby byly všechny tři aplikace hezky vidět a nepřekrývali se. Při ručním spuštění funguje celý skript a při spuštění kronem funguje vše až na to poslední seřazení.

Jde o tento konec skriptu který se neprovádí při spouštění celého skriptu cronem:

echo fungující bla bal bal
echo níže už to nefunguje

Kód: [Vybrat]
sleep 30 # cekani na spusteni oken
 
wid1=`wmctrl -l | cut -d " " -f 1 | sed '1q;d'`
wid2=`wmctrl -l | cut -d " " -f 1 | sed '2q;d'`
wid3=`wmctrl -l | cut -d " " -f 1 | sed '3q;d'`
 
echo $wid1
echo $wid2
echo $wid3
 
wmctrl -i -r $wid1 -e 1,0,0,500,240
wmctrl -i -r $wid2 -e 1,0,270,500,240
wmctrl -i -r $wid3 -e 1,0,520,500,240
 
done

Jestli není potřeba zase něco jako export env nebo tak, nikdy jsem nepochopil jak to funguje.

Děkuji všem za tipy.

15
Software / Jak spouštět bash script CRON
« kdy: 02. 01. 2020, 09:43:13 »
Ahoj všem,

prosím o radu, jak pomocí CRON automaticky spouštět BASH skript. Na internetu je to na každé stránce jinak.

Co je z toho správně a jak byste úlohu konfigurovali vy?:
* * * * * /root/path/to/script.sh
* * * * * ./root/path/to/script.sh
* * * * * cd /root/path/to/ && ./script.sh
* * * * * . cd /root/path/to/; bash -lc ./script.sh
* * * * * . /root/path/to/; bash -lc ./script.sh
* * * * * cd /root/path/to/; bash -l -c ./script.sh
* * * * * . /home/username/.bashrc && yourcommand all of your args

Někdy mi přišlo, že se skript spustil, ale nevykonal se celý, nějaké jeho části byly ignorovány. Za to možná může prostředí env. Mělo by se to údajně řešit něčím jako definováním ENV (přímo do crontabu nebo do jednotlivých skriptů) nebo exportováním PATH a definoním SHELL.

Něco jako:
SHELL=/bin/bash
ENV=
EXPORT_PATH=

Jak to má být? Hádám, že env se dá nějak vypsat přes příkaz "env" a path přes "pwd", ale nevím kde jakou cestu si nechat vypsat a kam ji dát. Jestli env proměnnou přidat do crontabu. Mám v tom asi dost bordel, ale nemám v plánu být serveradmin, tak mi to snad odpustíte.

Děkuji všem za vysvětlení a rady.

Stran: [1] 2 3