Příspěvky

661

Vývoj / Re:Zabraneni kopirovani obsahu WWW

« kdy: 19. 09. 2015, 22:11:07 »

Ano, jenze nekde jsem psal, ze ta stranka neni uplne staticka (je v ni zobrazen nejaky vykres) a ten neni zobrazeny cely-jen to co je v okne videt, takze nacist a vyrendrovat stranku NEstaci (vysledkem budou jen fragmenty toho co chcete). Predstavte si to jako mapy.cz, predstava ze je stahnete PhantomJS na 20 radek je nerealne. Podle me to nepujde ani na 100 radek.

Vytahnout dalsi casti vykresu znamena pristup k javascript promennym, coz minimalne velmi zkomplikuje ta obfuskace (pro automatizovane vytazeni).

Asi jsem to prehledl (to s mapou). I na to by sel pouzit ten PhantomJS - umi to v pohode simulovat vstup, nac se tedy zatezovat deobfuscaci? Ale jak pise kolega nade mnou, jednodussi bude proste odhadnout komunikacni protokol (neverejne api). Nebo budete obfuscovat i api? To se bude skvele udrzovat ^^ a tedy proti PhantomJS stale neefektivni (prestoze mirne casove narocnejsi na implementaci).

662

Vývoj / Re:Zabraneni kopirovani obsahu WWW

« kdy: 19. 09. 2015, 20:15:10 »

Ale ono nemusi platit, ze KAZDY ucet ma stejnou formu steganografie. Pokud jsou ruzne (a ukladaji se k uctu), tak jen dva ucty nestaci.

pravděpodobnost?

No, ale jen z dvou uctu (pokud je napr. 10 forem id a kazdy ucet ma stale prave 2) se jen tak nepozna, co je id a co ne. Ale jiste, uz to zdaleka neni jednoduche reseni a IMO je to porad jen vyhozeny cas. Silne mi to pripomina klasicke "security through obscurity".

Jsme na odborném IT webu, průměrné tu neznamená umět udělat ve wordu graf.

V tom pripade vsechny navrzene ochrany zvladne "prolomit" i clovek se silne podprumernymi znalostmi IT. Stahnout si nebo dobastlit velmi jednoduchy webcrawler co umi JS nebude problem - viz ten postovany kod.

Nástroje kolem nodeJS nabízejí takové možnosti, že u většiny "ultra mega bezpečných" webů je to jen otázka motivace se do nich pouštět. Což u spousty není, protože úroveň obsahu často nestojí ani za přečtení.

Silne pochybuji, ze tazatel pracuje na takovem "mega bezpecnem webu" (nic ve zlem, ale ptal by se vubec tu, kdyby na nem pracoval?). K tem nastroju: jn, a nejsou potreba ani prilis velke znalosti. Je hodne luxusni mit moznost spustit headless prohlizec a vysosat data jen s par radky kodu. Rekl bych, ze vetsina lidi co nekdy delala stranky (coz z mladych bude asi hodne) nebude mit zadny problem ten skript slepit/najit v kratkem case.


Stale mi to vychazi jen jako ztrata casu/penez (technicka fakta, nic ideologickeho).

Sice to muze zabranit nekomu to vyvesit na webu, ale nikdy vsem. A chci videt, jak nejaka firmicka z CR bude zalovat nekoho z nejakych ostrovu v tramtarii. Nema sanci...

Budto je tam pridana hodnota (napr. codeschool, kde krom videii jsou i skvele testy), nebo neni a pak asi jit radeji do tech reklam. Pripadne do takoveho toho lineho modelu - predplatitele dostavaji clanky drive - ale na to je potreba stale novy a dobry obsah.

To pomalu vypada, ze jsme tu nekomu zadarmo vypracovali analyzu .

663

Vývoj / Re:Zabraneni kopirovani obsahu WWW

« kdy: 19. 09. 2015, 18:23:46 »

Schvalne jsem se podival, jak moc je to slozite. A je to doslova par radek kodu (kdyz si odmyslime zpracovani chyb).

Kód: [Vybrat]

var page = require('webpage').create();
page.open("http://example.com", function (status)
{
    if (status !== 'success') 
    {
        console.log('FAIL to load the address');            
    } 
    else 
    {
        console.log('Success in fetching the page');
        console.log(page.content);
    }
    phantom.exit();
});

^Tim jsem obesel jakekoliv nastrahy v JavaScriptu. Jsem si jisty, ze to odpovida definici "nenarocnosti".

Pristup ke cookies je jednoduse pres objekt page.cookies. Jak jsem psal, tudy cesta opravdu nevede .

664

Vývoj / Re:Zabraneni kopirovani obsahu WWW

« kdy: 19. 09. 2015, 17:51:08 »

Odolat to musi i nadprumerne vzdelanym IT lidem, tedy i programatorovi, ktereho poprosi kamarad aby mu to *zadarmo* stahnul.
Tedy aby na "udelam to zadarmo" to bylo prilis mnoho prace (komercne se to nikomu nevyplati kopirovat kvuli postihu).

PhantomJS je foss a rekl bych, ze i dost lidi kteri delaj JS s tim umi (kvuli automatickemu testovani). K narocnosti nize.

Dle meho nazoru na to staci pomerne malo, treba jen javascript skladat z fragmentu a ty obcas prohodit, zamenit jmen promennych (coz je trivialni ukol na prvni zamenu, ale zpetne se s tim pekne potrapite-vlastni zkusenost). Proste udelat to tak, aby kazda stranka byla prilis dynamicka i kodem.

PhantomJS zpracovava stranku jako prohlizec (protoze to je prohlizec - WebKit), takze tohle solichani je uplne k nicemu. Pokud to uvidi koncovy uzivatel (a Vam se nepodari detekovat, ze nejde o uzivatele ale robota) tak to proste PhantomJS muze vyrendrovat a ulozit.

Asi zasadni problemy jsou:

- jak skryte ulozit informaci do browseru (treba klic na dekodovani dat), ktery zadny wget/ripper neuvidi. Napada mne cookie, dlouho nacachovany obrazek/objekt (otazka je jak presvedcit browsery aby to nereloadovaly) a http://stackoverflow.com/questions/2035075/using-window-name-as-a-local-data-cache-in-web-browsers

Vsechno popsane lze (myslim) jednoduse v PhantomJS udelat (i local storage).

- jak unikatne identifikovat bez javy a flashe browser (takovy zjednoduseny panopticlick). napada mne user-agent, rozliseni, pluginy, jazyk, vhodna cookie.

Z canvasu (JS) muzete ziskat take informace o browseru (tusim ze antialiasing je resen ruzne, ale nejsem si jisty).

Dle mého názoru jste příliš optimistický. Hypoteticky, kdyby po mě kamarád chtěl, abych mu naprogramoval vycucání té stránky, tak se vůbec nebudu obtěžovat s nějakou deobfuskací toho javascriptu a hledáním, jak ten text vytáhnout nějak chytře z toho balastu, kterým ho obalíte. Místo toho vezmu jádro prohlížeče a obalím ho kódem, který bude podle nějakého pravidla procházet jednotlivá URL, a vždy po zobrazení obsahu zastaví všechny skripty, ten obsah vytáhne (např. na bázi CTRL+A, CTRL+C, ať se bavíme o úplně jednoduchém a hodně účinném řešení) a přejde na další stránku. Pro jednorázové vytáhnutí vašich dat to bude bohatě stačit.

Ehm, popsal jste PhantomJS (=jádro prohlížeče) a k jednodussimu pouziti pro scraper ("ukladac stranek/obsahu") muze slouzit prave ta zminovana knihovna pjscrape.

665

Vývoj / Re:Zabraneni kopirovani obsahu WWW

« kdy: 19. 09. 2015, 15:42:19 »

Vychloubat se je důvod to prolomit. Už jen z kratochvíle sundat to nabubřelé ego.

Pritomnost ochrany je duvod to prolomit. A nemusite nutne tvrdit, ze je to neprolomitelne. Staci mit vyrazne vystavene na kazde strance upozorneni, ze je tam nekde ukryto id uzivatele (nejlevnejsi varianta je skoncit jen u toho upozorneni ).

Steganografie nebude fungovat, protože se tu teď probírá, takže útočník si udělá dva účty, aby mohl porovnávat data.

Ale ono nemusi platit, ze KAZDY ucet ma stejnou formu steganografie. Pokud jsou ruzne (a ukladaji se k uctu), tak jen dva ucty nestaci.

Obrázky a styly jsou k ničemu, protože se dá kód minimalizovat (u js například Google closure compiler, u html asi také bude něco existovat)

Pokud je ten styl pouzity ve strance, jak jsem psal, tak je jedno kolikrat to minimalizujete, cervene pozadi bude porad cervene pozadi. U JS to stejne - pokud to neco dela, tak to tezko minimalizator odoptimalizuje pryc. HTML to stejne - pokud mam ve vstupu tabulky sirky 120, tak na vystupu budou taky, jinak nemluvime o minimalizaci.

, diff dvou obrázků se dá nahradit jinými náhodnými daty, popřípadě je lze úplmě odstranit, nebo nad nimi pustit kompresi a transformaci, která bude schopná tyto prvky znehodnotit.

Ano, ale musite mit jistotu, ze se ztrati i vsechna metadata (tj. dobre znat konverzni nastroj) a ze "watermark" je opravdu porusen kompresi (nemusi nutne platit). Pokud nevite CO je znacka, tak mate problem, protoze krome "reseni" zahozeni obrazku nemate jistotu nikdy.

Článek jako takový se dá pustit ven jako plain text, nebo v markdownu.

Napadaji me neviditelne (nebo velmi spatne viditelne) unicode znaky. Zalezi na obsahu, ale vetsinou budou ty obrazky chybet.

Pořád jde ale o techniky, na které není potřeba ultra haxor, pouze člověk s průměrnými znalostmi IT.

Pokud si musim psat vlastni tool, tak uz mi prijde, ze to nebude delat clovek s prumernymi IT znalostmi. Prumerne IT znalosti IMO konci u pouzivani e-mailoveho klienta.


A samozrejme to neni opravdova ochrana, je to jen takove drbatko proti prumernemu uzivateli. Proti profikum nemate stejne sanci, ani se svym SW, mozna tak se svym HW, ale i tam to pujde, pokud se bude chtit (napr. kamera, pripadne i ocr).

666

Vývoj / Re:Zabraneni kopirovani obsahu WWW

« kdy: 19. 09. 2015, 14:45:04 »

... Jinak obsah je formou spis dynamicky (ta zajimava cast), ne kvuli protekci, ale "by design" (jinak to udelat ani nejde, resp. zmizi zajimave fce).

Pak me prijde zbytecne travit moc casu nad "ochranou". Akorat tam narychlo placnout par skrytych (ruzne transformovanych) id uzivatele a rozhodne neresit nic velkeho. Navic to, co popisujete, pusobi jako sosaci amateri - IMO vetsinu teto skupiny odrazi prave to vychloubani se skrytym id uzivatele v kazdem dokumentu.

667

Vývoj / Re:Zabraneni kopirovani obsahu WWW

« kdy: 19. 09. 2015, 14:29:03 »

Nevim, dynamicky obsah mi neprijde jako ochrana. To uz lepsi bude ten pristup s ukrytim (mnoha ruznych) id uzivatele do stranek (ruzne kombinace ci poradi pouzitych atributu class/id [vyznamovych, ne ze nejsou nikde pouzity], ukryti v inline stylu barvy, pripadne primo v nejakem obrazku atp.). A take se s tim nalezite pochlubit, ze pouzivate Über-User-Signature (nebo nejaky podobne "cool" nazev) a nalezite to vysvetlit, aby to odradilo lidi.

+1

Ad pjscrape, ten podle meho nazoru po letmem projiti projektove stranky slouzi k necemu uplne jinemu.

No, pomoci neho lze velmi lehce napsat scraper pro danou stranku (tj. automaticke stazeni obsahu). Pokud neni cilem ochrany znemoznit tento proces, pak jsem asi nepochopil zadani . Samozrejme muzete (asi, nikdy jsem s tim nedelal) pouzit primo ten PhantomJS - headless simulace webkit prohlizece - proste si pockate na vyrendrovani a ulozite stranku. Pouziva se to bezne pro testovani s AngularJS knihovnou, ktera tezce vyuziva prave dynamickeho staveni stranek.

668

O serveru Root.cz / Re:Nová podoba roota (beta)

« kdy: 19. 09. 2015, 14:12:14 »

A co mu postavit do cesty nějaký náklaďák? Já bych sem na protest třeba měsíc nechodil a taky to tak udělám. Přidá se někdo? Kdyby to udělala aspoň polovina uživatelů, muselo by se vedení chytit za ... nevim za co, vocas třeba.

No, pokud na to dojde, tak to vyresim stejne jako zive.cz (spojeni mnoha kratickych opruz-kapitol do jedne stranky) - jako toyprojekt si kdyztak napisu skript, kterej to prekope do prezitelne podoby. Nemel by byt problem ani s debulvarizatorem nadpisu. Pro kazdy nadpis se pres ajax vezme cilova stranka a najde se pravej nadpis, kterej se soupne do stavajici stranky (z zive vim, ze i pres obavy o velke zpomaleni to nemelo v podstate dopad na dobu nacitani). Sice to bude trochu vic zatezovat server, ale pokud se rozhodli jit touto cestou...

Fakt nechapu, proc nejdriv nedali anketu, nebo lepe - dotaznik. Rekl bych, ze ze zkusenosti (nejen) z minula je celkem jasne, ze root ma specificke uzivatele. Snazit se jim tedy cpat tuctovy (prestoze graficky celkem dobry) design s prisernym UX, hmm... Dobry navrh stranek musi zohlednovat cilovku, tady to nejak selhalo. Asi zasahli z hury managori, jinak si to nedovedu vysvetlit.

669

Vývoj / Re:Zabraneni kopirovani obsahu WWW

« kdy: 19. 09. 2015, 13:55:35 »

Jak vidím, důvodů proč to nedělat se tady už objevilo mraky, i když na to jste se neptal. Klasika. Já se pro změnu pokusím odpovědět na otázku, která byla položena.

Pokud je otazka hloupa, tak se slusi na to poukazat. Proc se snazit resit nesmyslne zadani, ktere stejne nebude fungovat tak, jak si zadatel predstavuje.

Když to půjde vidět v browseru, půjde to stáhnout. Zabránit tomu není možné.

+1
Duvod pro to, abych to vubec neresil, pripadne tomu venoval jen minimum casu.

Asi nejefektivnější, co mě napadá je obsah vypisovat javascriptem a kontrolovat, zda je to lokální kopie nebo verze na serveru a podle toho s obsahem zacházet. Takže vypnout javascript nebude možné, protože bez toho se to vůbec nezobrazí.

Pak by tam mohly být další vychytávky, jako např. pomocné soubory umístěné ve struktuře webu, bez jejichž existence se obsah nezobrazí: ve zdroji nalinkované nebudou, takže stahovač je nestáhne, kontrolovat je bude skript a jejich názvy můžou být zašifrované - opět javascript. Pokud se javascript bude generovat a název těch souborů bude pro každý dokument jiný, tak by to znamenalo upravit každý ten stažený dokument upravit zvlášť, což vzhledem k množství, o kterém píšete, bude pěkný opruz.

Prostě ať na to jdu zprava nebo zleva, jako nejefektivnější mi připadá ochrana javascriptem (chování uživatele samozřejmě super technika, ale napsat a analyzovat to bude pekelně složité a podle mě i velmi nespolehlivé). Nicméně obejít to půjde vždy.

Na obfuskování se vybodněte, to nic neřeší, pokud se použije automatizovaný nástroj. Spíše bych se zaměřil na to, aby se ty ochrany nedaly odstranit hromadně a automaticky generováním unikátního javascriptu pro každý dokument zvlášť.

Par minut googleni mi naslo pjscrape - umi ripovat stranky rendrovane JavaScriptem. Takze popsane reseni by akorat stalo zadavatele penize a nemelo by zadny ucinek, kdyz existuje hotovy open source nastroj.

670

O serveru Root.cz / Re:Nová podoba roota (beta)

« kdy: 17. 09. 2015, 21:06:47 »

Vim, ze kritizovat je snadny, ale... Nemohl se nejdriv nechat vyplnit ctenarema nejaky dotaznik a az pak zacit delat na novem designu? Podle fora to totiz vypada, ze se skoro nikomu ten novy design nelibi. No, v nejhorsim si to holt prestyluju, ale nejsu zrovna nadsenej .

671

O serveru Root.cz / Re:Nová podoba roota (beta)

« kdy: 17. 09. 2015, 19:31:31 »

Dlouhé scrollování je zlo, ať se frikulíni tvořící jednostránkové weby snaží tvrdit cokoliv. Myslete na to prosím. Díky

termin "jednostránkové weby" (SPA) opravdu neznamena, ze vzdy musite moc skrolovat (obsah se muze dynamicky menit po kliku v menu, viz Angular UI Router).

Nepovídejte :-)
Nic to ovšem nemění na tom, co jsem napsal.

Nemusi nutne byt. I kdyz je stranka na vysku dlouha, pokud je vhodne doplnena o vzdy viditelne menu (nejlepe se signalizaci kde prave ctenar je) tak to IMO neni tak spatne. Sam preferuji ale take klasicke rozdeleni na vice podstranek (je celkem jedno, jak technicky provedenych).
  A samozrejme cim vyse je prvek, tim dulezitejsi (trochu problem s dlouhymi strankami) - proto nechapu, co dela forum az dole . Kdyz nad tim premyslim, tak nejvice casu z rootu stravim prave zde...

672

O serveru Root.cz / Re:Nová podoba roota (beta)

« kdy: 17. 09. 2015, 17:43:17 »

Za me:

• NE animovane logo, zbytecne to odvadi pozornost na objekt, ktery neni navic ani aktivni (uz jsem na strance root, nepotrebuji na ni jit znovu)
• clankove dlazdice moc nemusim (radeji bych stavajici formu clanku - pod sebou, obrazek nalevo a vice textu napravo), ale pokud na nich trvate, tak zmensete obrazek, pridejte na objemu textu a hlavne to udelejte opravdu pres celou sirku stranky; plytva se mistem na sede pruhy, pritom by mohlo byt klidne o sloupec (mozna i dva) vic
• dvojita horni lista mi neprijde stastna, neslo by ji slit do jedne?
• forum musi byt mnohem vyse, idealne viditelne hned po nacteni stranky
• hamburger mi prijde maly i pro desktop (vyssi rozliseni), natoz pro smatla veci
• prvni clanek je prilis obrovsky, na fullhd mi zabira snad polovinu stranky - chci videt vice clanku, pripadne tam mit to forum
• tmavy skin by byl hezky, bylo by dobre to tvorit od zacatku s timto pozadavkem - pak by se akorat v css preprocessoru prepnulo par promennych a meli byste hotovo
• skladka ve spod stranky musi pryc (nebo predelat na pouze prvni radek viditelny a zbytek po naklepnuti)
• reklamni baner nahore se mi nelibi - rozbiji layout (ma jinou sirku nez grid pod ni). resenim je asi umistit ji do divu s pozadim, ktery bude sirkou sedet zbytku stranky
• (asi subjektivni) nelibi se mi glow tagu pres obrazky clanku (např. školení, redakční tip). nesedi mi se zbytkem flat vzhledu
• svg ikony jsou v nekterych velikostech urizle, jednim z reseni je pridat primo do svg "padding" (tj. nelepit grafiku az na okraj)
• jobs reklama (pokud lze customizovat) - naduziti podtrzeni, font a barvy nesedi atd.
• neoddelena sklik reklama od textu clanku povede IMO akorat k blokovani vsech reklam
• u obrazku v clanku zvazit, zda nejit do obtekanych (např. obr. "První vydaný certifikát, zatím ovšem nedůvěryhodný" v "Let's Encrypt" zabira na sirku tak 10%)
• v "ctete dale" vypada celkem divne, kdyz radkek vyjde tak, ze obsahuje pouze jednu polozku a radek nad nim ma plny pocet
• fotka u clanku je divne orizla - zbytecne moc pozadi nad hlavou, pritom je usekla brada (alespon u p. krcmare)
• reklama na zalohu dat vlevo je animovana (minimalne pro me = blokovani vsech reklam)
• barevne na me pusobi zbytecne divoce ta zelena u komentaru "+ 36 NÁZORŮ" (nestacila by oranzova/cervena?)
• o rozsypanem layoutu v podstrance "clanky" asi vite
• podstranka "akuality" - zarovnani pagination ne na stred je hodne divne
• podstranka "akuality" - vlozene reklamy nejsou zarovnane
• podstranka "prace v it" - opet naduziti podtrzeni (tipuju tak na 90% obsahoveho textu, fuj)
• podstranka "vyhledani" - pri nacteni (protoze je prilis kratka; ve full hd) je zobrazen pouze jeden radek ze smetiste, sede pozadi nesaha az ke spodu stranky
• podstranka "vyhledani" - maly text na tlacitku
• vlevo zpravicky, sipka u "Zobrazit vše" mi prijde hodne napasovana na text

Snad jsem na nic nezapomnel.

Dlouhé scrollování je zlo, ať se frikulíni tvořící jednostránkové weby snaží tvrdit cokoliv. Myslete na to prosím. Díky

termin "jednostránkové weby" (SPA) opravdu neznamena, ze vzdy musite moc skrolovat (obsah se muze dynamicky menit po kliku v menu, viz Angular UI Router).

673

Vývoj / Re:Omezená dědičnost (je něco lepšího než OOP?)

« kdy: 16. 09. 2015, 10:29:39 »

https://developer.apple.com/videos/wwdc/2015/?id=408

^ FF i Chrome. Vidim, ze v ovocne firme opravdu jedou na UX.

674

Vývoj / Re:Omezená dědičnost (je něco lepšího než OOP?)

« kdy: 15. 09. 2015, 16:05:35 »

If je normální matematická funkce, nejjednodušším příkladem je třeba |x|.

Taky jsem na to koukal. Vzdyt jedna z moznosti jak formale definovat funkci je tabulkou, kde if lze jednoduse zapsat.

675

Vývoj / Re:Omezená dědičnost (je něco lepšího než OOP?)

« kdy: 15. 09. 2015, 10:54:08 »

Protože if je činnost, nikoliv funkce. Chápete-li ji funkcionálně, tedy jako přiřazení, je to přiřazení příliš široce definované. Předem nevíte s čím budete pracovat, její definice je příliš široká a univerzální. Tím se ztrácí výhoda FP programování.

Wut? Neni to jen ekvivalent toho, ze muzu v Jave vracet vysledek typu Object? Snad jak moc obecny vysledek vratim je na programatorovi (a je uplne jedno, jestli to vratim z konstrukce if nebo funkce ci metody).