Zabránění kopírování obsahu WWW

[Michal Taneček]

najtazsie na stiahnutie bez sofitikovaneho automatu je napisat napr. v c++ (alebo hocico co vie kompilovat do llvm) a emscripten vsetko kreslit iba do canvasu, data prenasat iba kryptovane a kluc random generovat po par poziadavkach a aj ovladanie aplikacie riesit iba cez canvas a mouse eventy, tym docielis to ze v html nebude vobec nic okrem jedneho tagu a neda sa to ovladat javascritom, mozes random posuvat prvky po obrazovke aby sa nezobrazovali na tych istych miestach aby si stazil automaticky skript.
ale aj to sa da obist tym ze niekto proste zaplati 500 indov a ti to postahuju za dva dni... urcite by sa dal aj automaticky skript spravit, ktory robi screenshoty a jednoduche ai co bude hladat tie prvky na obrazovke na ktore treba klikat. alebo to dekompilovat (peklo samo) a zistit si co sa kde taha...

https://developer.mozilla.org/en-US/docs/Web/API/HTMLCanvasElement/toBlob

[Reklama]

[H4Xor]

Nevim, jak vykradate vy, ale ja mam nejradsi PhantomJS - kdyz to dobre nastavim, tak to asi od normalniho browseru nikdo nepozna.

Taky mam rad portiu - oboje se da hezky nakonfigurovat.

Ukazte mi ten nestahnutelny web - rad se "pokusim" to s naklad cca ctyr hodin stahnout.

Zatim pro me neexistovalo nic, co by se nedalo stahnout. Jakmile to totiz umi zobrazit browser, tak mam nastroje, ktere mi browser simuluji - a lidske chovani od strojoveho se bude poznavat tezko ;-)

[mo]

najtazsie na stiahnutie bez sofitikovaneho automatu je napisat napr. v c++ (alebo hocico co vie kompilovat do llvm) a emscripten vsetko kreslit iba do canvasu, data prenasat iba kryptovane a kluc random generovat po par poziadavkach a aj ovladanie aplikacie riesit iba cez canvas a mouse eventy, tym docielis to ze v html nebude vobec nic okrem jedneho tagu a neda sa to ovladat javascritom, mozes random posuvat prvky po obrazovke aby sa nezobrazovali na tych istych miestach aby si stazil automaticky skript.
ale aj to sa da obist tym ze niekto proste zaplati 500 indov a ti to postahuju za dva dni... urcite by sa dal aj automaticky skript spravit, ktory robi screenshoty a jednoduche ai co bude hladat tie prvky na obrazovke na ktore treba klikat. alebo to dekompilovat (peklo samo) a zistit si co sa kde taha...

https://developer.mozilla.org/en-US/docs/Web/API/HTMLCanvasElement/toBlob

to je to iste ako ked robis screenshot, ale mas len obrazok dat a nie data samotne a ked  je tam dobre dynamicky porieseny watermark tak to nedas prec...

[Michal Taneček]

to je to iste ako ked robis screenshot, ale mas len obrazok dat a nie data samotne a ked  je tam dobre dynamicky porieseny watermark tak to nedas prec...

https://hacks.mozilla.org/2014/03/introducing-the-canvas-debugger-in-firefox-developer-tools/

[H4Xor]

Existuje jedna moznost - teoreticka.

Nejhorsi na vykradani webu je vyhledavani relevantnich URL.

Kdyz bude cely web fungovat principielne jako Google, kde bude v podstate jeden search box ktery AJAXem bude kontrolovat, co uzivatel zadal (nebude mu napovidat) a pak vygeneruje jednorazovou url pro kazdy dokument, tak toto se bude blbe vykradat.

Nesmi byt nikde zadne navigace, vygenerovane URL a tak dale. Url budou sifrovane + obfuscovane timestampama a vim ja cim jeste - aby nikdo neprisel na to, jak jsou generovane.

To vytahnout strojove pujde velmi tezko.

[Reklama]

[TiB]

Treba: /etc/init.d/apache2 stop

[Snow]

najtazsie na stiahnutie bez sofitikovaneho automatu je napisat napr. v c++ (alebo hocico co vie kompilovat do llvm) a emscripten vsetko kreslit iba do canvasu, data prenasat iba kryptovane a kluc random generovat po par poziadavkach a aj ovladanie aplikacie riesit iba cez canvas a mouse eventy, tym docielis to ze v html nebude vobec nic okrem jedneho tagu a neda sa to ovladat javascritom, mozes random posuvat prvky po obrazovke aby sa nezobrazovali na tych istych miestach aby si stazil automaticky skript.
ale aj to sa da obist tym ze niekto proste zaplati 500 indov a ti to postahuju za dva dni... urcite by sa dal aj automaticky skript spravit, ktory robi screenshoty a jednoduche ai co bude hladat tie prvky na obrazovke na ktore treba klikat. alebo to dekompilovat (peklo samo) a zistit si co sa kde taha...

Bože random posouvat ovládací prvky... Není nic horšího když přijdu na stránku a musím zkoumat kde je co a ty mu ještě radíš aby se ovládání náhodně rozmisťovalo... To myslíš doufám jako žert a nějakej mouse event... PhantomJS a podobné pokud vím nasimuluješ cokoliv, tedy i myš a klávesu...

Existuje jedna moznost - teoreticka.

Nejhorsi na vykradani webu je vyhledavani relevantnich URL.

Kdyz bude cely web fungovat principielne jako Google, kde bude v podstate jeden search box ktery AJAXem bude kontrolovat, co uzivatel zadal (nebude mu napovidat) a pak vygeneruje jednorazovou url pro kazdy dokument, tak toto se bude blbe vykradat.

Nesmi byt nikde zadne navigace, vygenerovane URL a tak dale. Url budou sifrovane + obfuscovane timestampama a vim ja cim jeste - aby nikdo neprisel na to, jak jsou generovane.

To vytahnout strojove pujde velmi tezko.

Jak mě zabráníš abych si odesílal požadavky na server svépomocí a ne tvím javascriptem? Stačí mě prostudovat jak to máš v javascriptu řešené a implementovat to u sebe, a nebo na to kašlat a použít phantomJS a pod...

[Snow]

Nevim, jak vykradate vy, ale ja mam nejradsi PhantomJS - kdyz to dobre nastavim, tak to asi od normalniho browseru nikdo nepozna.

Taky mam rad portiu - oboje se da hezky nakonfigurovat.

Ukazte mi ten nestahnutelny web - rad se "pokusim" to s naklad cca ctyr hodin stahnout.

Zatim pro me neexistovalo nic, co by se nedalo stahnout. Jakmile to totiz umi zobrazit browser, tak mam nastroje, ktere mi browser simuluji - a lidske chovani od strojoveho se bude poznavat tezko ;-)

Requests + beautifulsoup, případně selenium pro ovládání prohlížeče (Python...)

[H4Xor]

najtazsie na stiahnutie bez sofitikovaneho automatu je napisat napr. v c++ (alebo hocico co vie kompilovat do llvm) a emscripten vsetko kreslit iba do canvasu, data prenasat iba kryptovane a kluc random generovat po par poziadavkach a aj ovladanie aplikacie riesit iba cez canvas a mouse eventy, tym docielis to ze v html nebude vobec nic okrem jedneho tagu a neda sa to ovladat javascritom, mozes random posuvat prvky po obrazovke aby sa nezobrazovali na tych istych miestach aby si stazil automaticky skript.
ale aj to sa da obist tym ze niekto proste zaplati 500 indov a ti to postahuju za dva dni... urcite by sa dal aj automaticky skript spravit, ktory robi screenshoty a jednoduche ai co bude hladat tie prvky na obrazovke na ktore treba klikat. alebo to dekompilovat (peklo samo) a zistit si co sa kde taha...

Bože random posouvat ovládací prvky... Není nic horšího když přijdu na stránku a musím zkoumat kde je co a ty mu ještě radíš aby se ovládání náhodně rozmisťovalo... To myslíš doufám jako žert a nějakej mouse event... PhantomJS a podobné pokud vím nasimuluješ cokoliv, tedy i myš a klávesu...

Existuje jedna moznost - teoreticka.

Nejhorsi na vykradani webu je vyhledavani relevantnich URL.

Kdyz bude cely web fungovat principielne jako Google, kde bude v podstate jeden search box ktery AJAXem bude kontrolovat, co uzivatel zadal (nebude mu napovidat) a pak vygeneruje jednorazovou url pro kazdy dokument, tak toto se bude blbe vykradat.

Nesmi byt nikde zadne navigace, vygenerovane URL a tak dale. Url budou sifrovane + obfuscovane timestampama a vim ja cim jeste - aby nikdo neprisel na to, jak jsou generovane.

To vytahnout strojove pujde velmi tezko.

Jak mě zabráníš abych si odesílal požadavky na server svépomocí a ne tvím javascriptem? Stačí mě prostudovat jak to máš v javascriptu řešené a implementovat to u sebe, a nebo na to kašlat a použít phantomJS a pod...

V javascriptu nic mit nebudes - vsechno se kontroluje na serveru.

Jak rychle pises, jestli je mozne, aby tak psal clovek, ty mas pouze inputbox.

Predstav si google - uplne stejne to vypada - jako index googlu. Jestli hledas technicky dokument vis, co hledas. Cili napises:

Norma XyZ parametr xyz - vyskoci ti seznam moznych (v jednorazove URL) ze kterych ty si vyberes.

Pro robota potrebujes mit seznam URL, ktery chces z toho systemu dostat. Kdyz dobre zabezpecis ten vyhledavaci formular - na serveru - ruznyma kontrolama - jako napriklad:

* pises do googlu a po tretim znaku ti vyskoci - ted napiste na konec *captcha obrazek* - nebo ted napiste hjklm pozpatku do vyhledavani - tak mas vystarano

[H4Xor]

A tim myslim, ze ti ty captcha vyskakujou nahodne. A treba jen pri podezreni, ze jsi robot ;-)

[DoNotStealThisWebsite:)]

Existuje jedna moznost - teoreticka.

Nejhorsi na vykradani webu je vyhledavani relevantnich URL.

Kdyz bude cely web fungovat principielne jako Google, kde bude v podstate jeden search box ktery AJAXem bude kontrolovat, co uzivatel zadal (nebude mu napovidat) a pak vygeneruje jednorazovou url pro kazdy dokument, tak toto se bude blbe vykradat.

Diky za podnetne reakce. Plan podobneho typu mam. Jednak ve velmi dlouhych URL (mimo adresare, vse bude flat) budou ulozene ruzne udaje, jednak sifrovane pro WWW server, ale take pro vlastni javascript.

Za druhe cely web bude hodne "kosaty", takze kdyz se to vezme nejakym wget-like nastrojem, vyjde z toho obrovske mnozstvi dat, vetsi nez uzivatel bude potrebovat (ovsem nijak jej to nebude omezovat pri normalni praci). Prirovname-li to k nesifrovanemu systemu ulic v nejake online mape, mohla by URL byt ve tvaru /ulice1-ulice2/ (uzivatel kliknul z ulice1 na ulice2). Takze misto n stranek pro n dat jich je n*(n-1), levely jde zanorovat libovolne hluboko.  Uzivatel to nijak nepozna, tedy kdyz to nebude sosat cele - misto gigabajtu dat bude mit terabajty/petabajty.

A posledni veci s timto spojenou je, ze pri detekci sosani cloveka zavedeme do nejake nekoncici smycky nesmyslu + lehce poskodime data.

Jak tu nekdo zminoval ten llvm, to je zbytecny overkill. V planu je udelat uplne jednoduchy obfuskator a randomizator JS kodu. Vlastni nastroj na toto bude trivialni, pouze bude nutne pri kodovani javascriptu dodrzet nejake omezujici podminky.

Predstavte si, ze jediny kod mimo randomizovane funkce bude nastaveni nejakeho eventu (onLoad), zbytek uz poresi ruzne obfuskovane a zprehazene funkce. Ano, spustit to samozrejme pujde, ale vysledkem budou opet ruzne nahodne pojmenovane promenne dostupne pres ruzne nahodne pojmenovane fce. Pro uzivatele to bude transparentni a procesor to prilis nezatizi, vydolovat z toho neco vic nez co je videt ve strance bude ale dle meho nazoru dost obtizne (nebude pevny bod za ktery se chytit).

[H4Xor]

Existuje jedna moznost - teoreticka.

Nejhorsi na vykradani webu je vyhledavani relevantnich URL.

Kdyz bude cely web fungovat principielne jako Google, kde bude v podstate jeden search box ktery AJAXem bude kontrolovat, co uzivatel zadal (nebude mu napovidat) a pak vygeneruje jednorazovou url pro kazdy dokument, tak toto se bude blbe vykradat.

Diky za podnetne reakce. Plan podobneho typu mam. Jednak ve velmi dlouhych URL (mimo adresare, vse bude flat) budou ulozene ruzne udaje, jednak sifrovane pro WWW server, ale take pro vlastni javascript.

Za druhe cely web bude hodne "kosaty", takze kdyz se to vezme nejakym wget-like nastrojem, vyjde z toho obrovske mnozstvi dat, vetsi nez uzivatel bude potrebovat (ovsem nijak jej to nebude omezovat pri normalni praci). Prirovname-li to k nesifrovanemu systemu ulic v nejake online mape, mohla by URL byt ve tvaru /ulice1-ulice2/ (uzivatel kliknul z ulice1 na ulice2). Takze misto n stranek pro n dat jich je n*(n-1), levely jde zanorovat libovolne hluboko.  Uzivatel to nijak nepozna, tedy kdyz to nebude sosat cele - misto gigabajtu dat bude mit terabajty/petabajty.

A posledni veci s timto spojenou je, ze pri detekci sosani cloveka zavedeme do nejake nekoncici smycky nesmyslu + lehce poskodime data.

Jak tu nekdo zminoval ten llvm, to je zbytecny overkill. V planu je udelat uplne jednoduchy obfuskator a randomizator JS kodu. Vlastni nastroj na toto bude trivialni, pouze bude nutne pri kodovani javascriptu dodrzet nejake omezujici podminky.

Predstavte si, ze jediny kod mimo randomizovane funkce bude nastaveni nejakeho eventu (onLoad), zbytek uz poresi ruzne obfuskovane a zprehazene funkce. Ano, spustit to samozrejme pujde, ale vysledkem budou opet ruzne nahodne pojmenovane promenne dostupne pres ruzne nahodne pojmenovane fce. Pro uzivatele to bude transparentni a procesor to prilis nezatizi, vydolovat z toho neco vic nez co je videt ve strance bude ale dle meho nazoru dost obtizne (nebude pevny bod za ktery se chytit).

Na vsechno tohle bych se na zacatek vykaslal - co z toho?

Jednou mi kdosi chytry rekl - "Jakmile to umi browser zobrazit, tak to z toho dostanu, i kdybych to mel vyfotit fotakem a prohnat OCRkem".

Cili jediny problem je, kde sehnat spravne URL.

A kdyz system bude v podstate vyhledavac finalnich stranek, kde se celym tim silenstvim spis obali ten input box ajaxove volajci pismeno po pismenu server, ktery kontroluje, jestli se to tam nenapastilo, jestli uzivatel pise s preklepy, jestli toto a tamto ... tak je to hodne muziky za malo prace ;-)

A nevedel bych, jak to vykrast.

[Snow]

najtazsie na stiahnutie bez sofitikovaneho automatu je napisat napr. v c++ (alebo hocico co vie kompilovat do llvm) a emscripten vsetko kreslit iba do canvasu, data prenasat iba kryptovane a kluc random generovat po par poziadavkach a aj ovladanie aplikacie riesit iba cez canvas a mouse eventy, tym docielis to ze v html nebude vobec nic okrem jedneho tagu a neda sa to ovladat javascritom, mozes random posuvat prvky po obrazovke aby sa nezobrazovali na tych istych miestach aby si stazil automaticky skript.
ale aj to sa da obist tym ze niekto proste zaplati 500 indov a ti to postahuju za dva dni... urcite by sa dal aj automaticky skript spravit, ktory robi screenshoty a jednoduche ai co bude hladat tie prvky na obrazovke na ktore treba klikat. alebo to dekompilovat (peklo samo) a zistit si co sa kde taha...

Bože random posouvat ovládací prvky... Není nic horšího když přijdu na stránku a musím zkoumat kde je co a ty mu ještě radíš aby se ovládání náhodně rozmisťovalo... To myslíš doufám jako žert a nějakej mouse event... PhantomJS a podobné pokud vím nasimuluješ cokoliv, tedy i myš a klávesu...

Existuje jedna moznost - teoreticka.

Nejhorsi na vykradani webu je vyhledavani relevantnich URL.

Kdyz bude cely web fungovat principielne jako Google, kde bude v podstate jeden search box ktery AJAXem bude kontrolovat, co uzivatel zadal (nebude mu napovidat) a pak vygeneruje jednorazovou url pro kazdy dokument, tak toto se bude blbe vykradat.

Nesmi byt nikde zadne navigace, vygenerovane URL a tak dale. Url budou sifrovane + obfuscovane timestampama a vim ja cim jeste - aby nikdo neprisel na to, jak jsou generovane.

To vytahnout strojove pujde velmi tezko.

Jak mě zabráníš abych si odesílal požadavky na server svépomocí a ne tvím javascriptem? Stačí mě prostudovat jak to máš v javascriptu řešené a implementovat to u sebe, a nebo na to kašlat a použít phantomJS a pod...

V javascriptu nic mit nebudes - vsechno se kontroluje na serveru.

Jak rychle pises, jestli je mozne, aby tak psal clovek, ty mas pouze inputbox.

Predstav si google - uplne stejne to vypada - jako index googlu. Jestli hledas technicky dokument vis, co hledas. Cili napises:

Norma XyZ parametr xyz - vyskoci ti seznam moznych (v jednorazove URL) ze kterych ty si vyberes.

Pro robota potrebujes mit seznam URL, ktery chces z toho systemu dostat. Kdyz dobre zabezpecis ten vyhledavaci formular - na serveru - ruznyma kontrolama - jako napriklad:

* pises do googlu a po tretim znaku ti vyskoci - ted napiste na konec *captcha obrazek* - nebo ted napiste hjklm pozpatku do vyhledavani - tak mas vystarano

To jak rychle budu odesílat data na server si pochopitelně můžu zvolit i u sebe, asi těžko tam budu posílat vše najednou - pak je jasný že sem robot.
A na obrázky a podobné si najmu indy co mě to budou opisovat a mě budou posílat jen text...

Nejlepš řešení je se to asi snažit zprasit přez ten javascript, respektive ten pak zprasit do nečitelné podoby, ale i tak to kopírování nezabrání, vždy se najde někdo kdo to už jen z hecu prolomí. No sem zvědavej na výsledek, doufám že to stihneš do zimy, rád bych měl zábavu na dlouhé večery :-)

[DoNotStealThisWebsite:)]

To vytahnout strojove pujde velmi tezko.

Jak mě zabráníš abych si odesílal požadavky na server svépomocí a ne tvím javascriptem? Stačí mě prostudovat jak to máš v javascriptu řešené a implementovat to u sebe, a nebo na to kašlat a použít phantomJS a pod...

Dobre obfuskovany javascript Vam da pekne zabrat. Jestli jste nekdy reverse engineeringoval nejaky spustitelny kod tak neni nic horsiho nez automatem mnohonasobne obfuskovane instrukce ...

Treba trivialni obfuskator ve stylu ktery mezi aritmeticke instrukce haze "jmp locX" (kde locX je nahorne umistene a je tam pokracovani puvodniho kodu) a tim defacto tvori sileneho pavouka misto pekne linearniho kodu ... z toho se zblaznite. Napsat  takovy tool je prace treba na 3 hodiny i s parsovanim nejakeho ELF formatu, ale za 3 hodky to rozhodne nereverznete (podari-li se to analyzou kodu vubec).

Kdyz to je takhle jednoduchy algoritmus, da se na to napsat deobfuskator, ale v praxi je to vzdy slozitejsi, takze to vetsinou nejde. Takze bud' jen prevzit cely kod "as is" do vlastniho programu nebo se poohlednout po lepsim zdroji kodu jinde.

[Snow]

Existuje jedna moznost - teoreticka.

Nejhorsi na vykradani webu je vyhledavani relevantnich URL.

Kdyz bude cely web fungovat principielne jako Google, kde bude v podstate jeden search box ktery AJAXem bude kontrolovat, co uzivatel zadal (nebude mu napovidat) a pak vygeneruje jednorazovou url pro kazdy dokument, tak toto se bude blbe vykradat.

Diky za podnetne reakce. Plan podobneho typu mam. Jednak ve velmi dlouhych URL (mimo adresare, vse bude flat) budou ulozene ruzne udaje, jednak sifrovane pro WWW server, ale take pro vlastni javascript.

Za druhe cely web bude hodne "kosaty", takze kdyz se to vezme nejakym wget-like nastrojem, vyjde z toho obrovske mnozstvi dat, vetsi nez uzivatel bude potrebovat (ovsem nijak jej to nebude omezovat pri normalni praci). Prirovname-li to k nesifrovanemu systemu ulic v nejake online mape, mohla by URL byt ve tvaru /ulice1-ulice2/ (uzivatel kliknul z ulice1 na ulice2). Takze misto n stranek pro n dat jich je n*(n-1), levely jde zanorovat libovolne hluboko.  Uzivatel to nijak nepozna, tedy kdyz to nebude sosat cele - misto gigabajtu dat bude mit terabajty/petabajty.

A posledni veci s timto spojenou je, ze pri detekci sosani cloveka zavedeme do nejake nekoncici smycky nesmyslu + lehce poskodime data.

Jak tu nekdo zminoval ten llvm, to je zbytecny overkill. V planu je udelat uplne jednoduchy obfuskator a randomizator JS kodu. Vlastni nastroj na toto bude trivialni, pouze bude nutne pri kodovani javascriptu dodrzet nejake omezujici podminky.

Predstavte si, ze jediny kod mimo randomizovane funkce bude nastaveni nejakeho eventu (onLoad), zbytek uz poresi ruzne obfuskovane a zprehazene funkce. Ano, spustit to samozrejme pujde, ale vysledkem budou opet ruzne nahodne pojmenovane promenne dostupne pres ruzne nahodne pojmenovane fce. Pro uzivatele to bude transparentni a procesor to prilis nezatizi, vydolovat z toho neco vic nez co je videt ve strance bude ale dle meho nazoru dost obtizne (nebude pevny bod za ktery se chytit).

Na vsechno tohle bych se na zacatek vykaslal - co z toho?

Jednou mi kdosi chytry rekl - "Jakmile to umi browser zobrazit, tak to z toho dostanu, i kdybych to mel vyfotit fotakem a prohnat OCRkem".

Cili jediny problem je, kde sehnat spravne URL.

A kdyz system bude v podstate vyhledavac finalnich stranek, kde se celym tim silenstvim spis obali ten input box ajaxove volajci pismeno po pismenu server, ktery kontroluje, jestli se to tam nenapastilo, jestli uzivatel pise s preklepy, jestli toto a tamto ... tak je to hodne muziky za malo prace ;-)

A nevedel bych, jak to vykrast.

Ano vyhledávání, jestli takto web bude postaven a bude tam skutečně mnoho záznamů, tak pochybuju že by se s tím někdo sral...