Fórum Root.cz

Hlavní témata => Software => Téma založeno: scientific 23. 01. 2020, 17:25:31

Název: Firefox - Problém s proxy (možná cache)
Přispěvatel: scientific 23. 01. 2020, 17:25:31
Hezký večer, přeji všem,

používám souběžně dva profily firefoxu, každý z nich je připojen k proxy serveru jiným účtem (každý z nich má jinou IP adresu).

Problém je v tom, že se mi stává, že když jdu na mojeip.cz, tak často mají oba profily stejnou adresu, přestože reálně na serveru mají konfigurovanou IP adresu jinou.

Mám podezření, že by to mohlo mít na svědomí něco jako proxy server cache. Protože cache prohlížeče to není, protože cache je v rámci oddělených profilů nezávislé.

Zkusil jsem:
Vytvořit vlastní "mojeip.cz" web a to hned dvakrát něco jako http://ip1.mojeip.cz/ a http.//ip2.mojeip.cz/ to proto, aby každý z dvou používaných proxy účtů nesdíleli jeden IP checker. A potvrdilo se mi co jsem tušil:

1. testy (univerzální stránka pro testování obou proxyn)
http://mojeip.cz/ - Přístup z profilu X ukazuje správně IP adresu profilu X
http.//mojeip.cz/ - Přístup z profilu Y ukazuje špatně IP adresu profilu X

2. testy (pro každou proxynu stránka s vlastním doménovým aliasem)
http://ip1.mojeip.cz/ - Přístup z profilu X ukazuje správně IP adresu profilu X
http.//ip2.mojeip.cz/ - Přístup z profilu Y ukazuje správně IP adresu profilu Y

A jelikož veškeré cache, session, cookies apod. jsou zřejmě vždy vázané k doméně, tak to odpovídá, že by to mohlo být kvůli cache serveru.

Nechal jsem si tedy v olihni nastavit, ale ničemu to nepomohlo, a nemám žádnou představu, kdy třeba ta cache expiruje, třeba potom už by to šlo:
Kód: [Vybrat]
acl X proxy_auth X
tcp_outgoing_address XXX.XXX.XXX.XXX X
cache deny X

acl Y proxy_auth Y
tcp_outgoing_address YYY.YYY.YYY.YYY Y
cache deny Y

Podle mě: Jelikož používám dvě proxyny ze stejného proxy serveru, tak podle starého článku zde na rootu o kešující proxy olihni, jsem pochopil, že cache proxy serveru je sdílené přes všechny uživatele. Což mi právě dělá bordel.

Děkuji všem moc za tipy, rady a nápady, jak to dát do kupy, aby se ty dvě proxyny vzájemně neovlivňovali.
Název: Re:Firefox - Problém s proxy (možná cache)
Přispěvatel: Jan Malaník 24. 01. 2020, 07:30:00
Je možné spustit dvě instance olihně a každou nabindovat na konkrétní IP/port?
Název: Re:Firefox - Problém s proxy (možná cache)
Přispěvatel: scientific 24. 01. 2020, 07:44:02
Poskytovatel by tak měl zřejmě zbytečně náročnější správu, nebo nevím, zkrátka to možnost není. Jinak tip dobrý, děkuji. kdyby tě napadlo něco jiného, dej prosím vědět.
Název: Re:Firefox - Problém s proxy (možná cache)
Přispěvatel: Filip Jirsák 24. 01. 2020, 07:59:49
Prohlížeč běžně používá opakovaně spojení k jednomu serveru, protože navázání spojení je relativně drahá operace (zejména s HTTPS). Nevím, jakým způsobem přepínáte ve Firofoxu profily proxy, ale je možné, že tím nedojde k ukončení již navázaných spojení. Dalo by se to odsledovat např. pomocí tcpdumpu nebo WireSharku.
Název: Re:Firefox - Problém s proxy (možná cache)
Přispěvatel: scientific 24. 01. 2020, 08:14:38
Já ty proxy právě nepřepínám, obě instance mají své okno a běží souběžně, navzájem se ale nějak ovlivňují, protože mojeip.cz často ukazuje, že mají stejnou IP adresu "obě okna".

Jak funguje wireshrk tuším, zkusím to nějak vysledovat. Děkuji za tip.
Název: Re:Firefox - Problém s proxy (možná cache)
Přispěvatel: f 24. 01. 2020, 08:25:30
To vypada na bug ve Squidu. Zkus overit, ze s tim nema Firefox nic spolecneho treba pomoci curl:

curl --proxy http://user1:pass1@proxy_ip:3128 http://mojeip.cz/
curl --proxy http://user2:pass2@proxy_ip:3128 http://mojeip.cz/
Název: Re:Firefox - Problém s proxy (možná cache)
Přispěvatel: scientific 24. 01. 2020, 20:11:42
Geniální tip, děkuji ti moc, něco takového jsem potřeboval.

Provedl jsem testy.

Curl z CLI vrátilo ve všech třech případech stejnou adresu:

Pak jsem zkusil otevřít ve všech tře instancích firefoxu adresu http://www.mojeip.cz/, výsledkem bylo, že dvě ze tří adres byly stejné a třetí se lišila. Po chvíli jsem záložky aktualizoval a stav se změnil, jiné dvě instance měli stejnou adresu a ta třejí (jiná třetí, než předtím) měla zase jinou adresu.

Opětovné použití cURL proxy je beze změny. Tedy všechny tři IP adresy stejné při využití tří různých účtů, které mají jinou tcp_outgoing_ip.

Vůbec tedy netuším co s tím, děkuji ti, že se mi snažíš pomoci.
Název: Re:Firefox - Problém s proxy (možná cache)
Přispěvatel: scientific 24. 01. 2020, 20:57:17
Teď mám i ve všech třech firefoxech všechny tři IP stejné.
Název: Re:Firefox - Problém s proxy (možná cache)
Přispěvatel: scientific 24. 01. 2020, 21:30:34
Ještě musím dodat, že mi nejde ani tak, o to jestli se web načítá z cache se "špatnou IP adresou" nebo o to, jestli je skutečně IP adresa špatná.

Kdyby IP adresa fungovala správně, jen by se to načítalo takhle špatně kvůli cache, tak mi to hádám asi nevadí.

Dotaz vlastně zní tedy spíše: "Jak poznat správnou funkčnost proxy?", když portály typu mojeip.cz jsou načítány z cache a to, co se tam píše není pravda. Možná přistoupit na svůj webový server a podívat se do logů, jaká je v accesslogu IP adresa.
Název: Re:Firefox - Problém s proxy (možná cache)
Přispěvatel: f 24. 01. 2020, 21:48:19
Nemas tam zapnutou volbu server_persistent_connections? Tady pisou, ze tcp_outgoing_address s tim nefunguje spravne: http://www.squid-cache.org/Doc/config/tcp_outgoing_address/
Název: Re:Firefox - Problém s proxy (možná cache)
Přispěvatel: scientific 24. 01. 2020, 22:13:20
Oba níže uvedené příkazy vrátili prázdný výsledek, takže předpokládám, že to zapnuté nemám.

Nebo právě naopak to zapnuté asi je, protože dle: www.squid-cache.org/Doc/config/server_persistent_connections/
Je defaultní hodnota "on". Zkusím to vypnout, kdyby to náhodou bylo tím, zatím ti moc děkuji.

Název: Re:Firefox - Problém s proxy (možná cache)
Přispěvatel: scientific 24. 01. 2020, 22:51:44
Ještě musím dodat:

Curl z CLI vrátilo ve všech třech případech stejnou adresu vždy ŠPATNĚ:


Curl z CLI vrátilo ve pokaždé jinou správnou adresu vždy SPRÁVNĚ:

Název: Re:Firefox - Problém s proxy (možná cache)
Přispěvatel: f 24. 01. 2020, 23:16:00
Ještě musím dodat:

Curl z CLI vrátilo ve všech třech případech stejnou adresu vždy ŠPATNĚ:

  • curl --proxy http://user1:pass1@proxy_ip:3128 http://mujweb.cz/mojeip-z-headeru.cz
  • Vrací: 111.111.111.111
  • curl --proxy http://user2:pass2@proxy_ip:3128 http://mujweb.cz/mojeip-z-headeru.cz
  • Vrací: 111.111.111.111
  • curl --proxy http://user3:pass3@proxy_ip:3128 http://mujweb.cz/mojeip-z-headeru.cz
  • Vrací: 111.111.111.111

Zkus pridat parametr -v. Pak uvidis headery a z nich se da poznat, zda to byl cache hit nebo cache miss. Hledej neco jako X-Cache.
Název: Re:Firefox - Problém s proxy (možná cache)
Přispěvatel: scientific 24. 01. 2020, 23:25:29
Mám tu něco jako:
Kód: [Vybrat]
Proxy-Connection: Keep-Alive
bla bla bla...
X-Cache: MISS from proxy.proxyserver.com
X-Cache-Lookup: MISS from proxy.proxyserver.com
Connection: close

Ale přijde mi, že nám to moc nepomohlo nebo ano?

Mě by se hodil nějaký přepínač, který by v té hlavičce ukazoval reálnou IP spojení něco jako v PHP proměnná $_SERVER["REMOTE_ADDR"]
Název: Re:Firefox - Problém s proxy (možná cache)
Přispěvatel: f 25. 01. 2020, 02:10:40
Pomohlo to v tom, ze je z hlavicek zrejme, ze to neslo z cache, ale je to odpoved od serveru. Takze pokud tento request vratil spatnou IP, tak byla spatna odchozi IP u proxy pri dotazovani serveru.
Název: Re:Firefox - Problém s proxy (možná cache)
Přispěvatel: scientific 25. 01. 2020, 10:58:21
To by to ale přece nefungovalo ani tady, kde to funguje, při různých adresách (aliasech toho stejného webu, kde to nejde):

Curl z CLI vrátilo ve pokaždé jinou správnou adresu vždy SPRÁVNĚ:

   
Kód: [Vybrat]
curl --proxy http://user1:pass1@proxy_ip:3128 http://user1.mujweb.cz/mojeip-z-headeru.cz
    Vrací: 111.111.111.111
curl --proxy http://user2:pass2@proxy_ip:3128 http://user2.mujweb.cz/mojeip-z-headeru.cz
    Vrací: 222.222.222.222
curl --proxy http://user3:pass3@proxy_ip:3128 http://user3.mujweb.cz/mojeip-z-headeru.cz
    Vrací: 333.333.333.333
Název: Re:Firefox - Problém s proxy (možná cache)
Přispěvatel: f 25. 01. 2020, 11:33:16
A jak to dopadlo s tou volbou server_persistent_connections? Umim si predstavit, ze Squid drzi otevrena spojeni se serverem hashovana dle host name a ne dle IP. Takze nepouzije existujici spojeni na user1.mujweb.cz pro user2.mujweb.cz, i kdyz se jedna o stejnou cilovou adresu.
Název: Re:Firefox - Problém s proxy (možná cache)
Přispěvatel: scientific 25. 01. 2020, 15:24:06
Ty jsi génius. Jsem moc rád, že se na celém foru našel alespoň jeden člověk co olihni rozumí a má chuť mi pomoci.  Díky ti moc, já amatér bych se s tím zlobil tak dlouho, až bych to vzdal. :-) Karma +1000000000000 tobě. :-)