Zabránění kopírování obsahu WWW

[DoNotStealThisWebsite:)]

Potrebuju zrealizovat WWW stranky. Bude se jednat o jiste technicke informace (radove tisice stranek). Pristup k informacim bude placeny, uzivatele se budou prihlasovat. Prihlaseny uzivatel nesmi byt nijak omezovan v praci (tzn. nemohu jej omezit treba na zobrazeni 500 stranek za den). Web musi fungovat bez javy a flashe, funkcni muze byt pouze v modernejsich prohlizecich, ale musi chodit samozrejme i na tabletech a mobilech.

Na takovem webu potrebuji zabranit vsemi moznymi cestami celkovemu stazeni a zpristupneni "offline" (nejde mi o konkretni stranku, tu at' si clovek klidne zkopiruje, ale aby nekdo vzal wget nebo sofistikovanejsi ripper a stahnul to cele a dal napr. do torrentu). Jake techniky k tomu pouzit?

Prvni co udelam je detekce takoveho stahovani a navedeni rippera do nejakeho nekonecneho nesmyslneho contentu, ktery ripper zacne stahovat misto realneho obsahu.

Potom ruzne javascriptove obezlicky, kdy interaktivni casti budou vymyslene tak, aby nesly automatizovane projet. Vsechna JS data a kod budou obfuskovana, aby se na to blbe psal nastroj.

Dale zvazuji, ze budu uchovavat jak uzivatel klika (jak se mu napr. hybe mys) a tuto informaci nejak poslu s requestem na web k dalsi analyze (detekce realnosti uzivatele, jako to napr. nyni dela Google: zjistim-li anomalii, podstrcim fake obsah).

Dale jsou ruzne metody jak si ulozit skryte nejake informace do prohlizece (cookie, promenne prohlizece), ktere lze pouzit jako sifrovaci klic pro session, ale nedojde k ulozeni tohoto klice pri ripovani. Zde se trosku bojim kompatibility.

Co dal?

Diky!

[Reklama]

[pepa]

vykaslat se na to,
kdyz nekdo vi co dela a chce ti to sosnout udela to a nezabranis tomu.
to co pises skomplikuje stazeni, takze vetsina lidi to neda ale pak je tu rada znas co ti to proste sosnout a muzes se stavet na hlavu jak chces.
Jedine ceho dosahnes ze ten proces spomalis nebo zkomplikujes tak ze program na stazeni bude drahy ale zabranit se tomu neda.
A ve vysledku to obcas bude lagovat regulernim zakaznikum a asi vis kam te poslou

[DoNotStealThisWebsite:)]

vykaslat se na to,  kdyz nekdo vi co dela a chce ti to sosnout udela to a nezabranis tomu.

To potom znamena, ze by se projekt nemohl vubec realizovat. Z praxe je jasne, ze by se ihned nekde objevil torrent s offline verzi a ochota lidi za to platit by sla do kopru (kdyz by si jen stahli hromadu HTML a nemuseli resit platby, apod.)

tak ze program na stazeni bude drahy

A presne o toto mi jde, aby takovou praci musel odvest nekdo kdo tomu skutecne rozumi, musel se babrat s temi obfuskacemi, apod. Na druhou stranu ochranou samozrejme nechci obtezovat uzivatele.

Prosim o TECHNICKE rady, ne ideologicke a ze to nemam vubec delat. Svet je takovy jaky je a je nutne se tomu prizpusobit, ackoliv bych to mel samozrejme nejradsi v plain html :-).

[AlYoSHA]

Skus tomu projektu dat nejaku pridanu hodnotu. Mozno sluzbu, nejake inteligentne vyhladavianie ... Skratka nieco co sa prostym stiahnutim webu ziskat neda.  Inak je to marny boj.

[Kit]

To potom znamena, ze by se projekt nemohl vubec realizovat.

Určitě ne v plánované podobě.

Prosim o TECHNICKE rady, ne ideologicke a ze to nemam vubec delat. Svet je takovy jaky je a je nutne se tomu prizpusobit, ackoliv bych to mel samozrejme nejradsi v plain html :-).

Technicky bych se s obfuskacemi vůbec nezabýval. Na stránku bych nasázel reklamy, které mi pokryjí náklady lépe než předplatné. Pokud si někdo zaplatí, mohu mu prezentovat zmíněné technické informace bez reklam.

Jako příklad nesprávného postupu vidím např. alldatasheet. Když hledám datasheet k nějaké součástce, objeví se mi v Google typicky na první pozici. Několikrát jsem na to omylem klikl. Omylem proto, že i když slibují PDF, je problém to tam najít a stáhnout. Prezentují to po stránkách, na obrázcích apod. Výsledek je ten, že se jejich stránkám systematicky vyhýbám, což určitě nebylo jejich záměrem. O několik záznamů níže bývá pravý datasheet v PDF od výrobce, který si mohu stáhnout a uložit bez jakýchkoli obstrukcí.

Fígl je v tom, že když ten obsah nabídnu i bez předplatného, stahování a ukládání do různých torrentů zcela ztratí na významu. Každý si raději zobrazí a případně i uloží pouze tu informaci, kterou aktuálně potřebuje a příště přijde zas, což pro mne znamená další příjem z reklamy.

[Reklama]

[Nobody]

Ja bych se vynul tem hnusnym otevrenym formatum jako HTML a pronajimal proprietarni DRM enabled aplikaci, ktera by ty ten obsah jen zobrazovala, ale neumoznovala stahnout.
A hlavne hodne captchy.

[to_je_jedno]

V cem ti pomuze obfuskace JS a podobne nesmysly kdyz tam poslu wkhtmltopdf? :-) Abys nemel pocit, ze jsem ripper tak to necham chvili bezet, treba 1 request za 10 sekund.

[DoNotStealThisWebsite:)]

Root opravdu nezklamal :-). Chtel jsem technicke reseni a dostal jsem same ideologicke komentare.

Panove, zcela uprimne, premysleli jste nekdy o tom, ze ad-ware nemusi uplne vzdy fungovat a ze je treba hledat udrzitelny obchodni model, ktery bohuzel vyzaduje i nejake ochrany IP ? Neni to o omezovani uzivatelu, dokonce bude moznost si vytisknout/ulozit pekne PDF bude-li nekdo chtit. Chranit je potreba jen sluzbu jako celek. Predstavte si, ze v tom utopite treba castku (optimisticky vyhled) 1/2 mil CZK a behem tydne tuto investici nekdo zlikviduje?

Alldatasheet je trosku jiny pripad, ale jinak souhlas, takhle se to nema delat. Stejne jako ruzne pdf-hostingove sluzby, kde se da jen zobrazit preview.

[死神]

Čím víc se budeš snažit tomu zabránit, tím větší bude mít někdo motivaci to sosnout.

[DoNotStealThisWebsite:)]

V cem ti pomuze obfuskace JS a podobne nesmysly kdyz tam poslu wkhtmltopdf? :-) Abys nemel pocit, ze jsem ripper tak to necham chvili bezet, treba 1 request za 10 sekund.

to uz rovnou budete moci udelat ze stranek "Save as PDF". wkhtmltopdf fungovat totiz vubec nebude (ztrati se veskery "dynamicky" obsah, coz je vetsina stranek - krome toho nebudou fungovat pozadovane features).

[Darm]

Spolehlivé technické řešení prostě bez omezujícího DRM neexistuje (a ani to není spolehlivá ochrana). Nad tvorbou ochrany strávíš s nejvyšší pravděpodobností víc času než bude trvat napsání crawleru který to stáhne. U PDF je to krapet jiné, tam se dá inspirovat třeba na paizo.com, kde prodávají PDF s Pathfinder pravidly. Každý klient dostane PDF s watermarkem obsahující ID zákazníka, které je zároveň tuším steganograficky vloženo do textu. Kopírování to nezabrání, ale dá se snadno zjistit kdo soubor rozšířil.

[TKL]

Jak vidím, důvodů proč to nedělat se tady už objevilo mraky, i když na to jste se neptal. Klasika. Já se pro změnu pokusím odpovědět na otázku, která byla položena.

Když to půjde vidět v browseru, půjde to stáhnout. Zabránit tomu není možné.

Asi nejefektivnější, co mě napadá je obsah vypisovat javascriptem a kontrolovat, zda je to lokální kopie nebo verze na serveru a podle toho s obsahem zacházet. Takže vypnout javascript nebude možné, protože bez toho se to vůbec nezobrazí.

Pak by tam mohly být další vychytávky, jako např. pomocné soubory umístěné ve struktuře webu, bez jejichž existence se obsah nezobrazí: ve zdroji nalinkované nebudou, takže stahovač je nestáhne, kontrolovat je bude skript a jejich názvy můžou být zašifrované - opět javascript. Pokud se javascript bude generovat a název těch souborů bude pro každý dokument jiný, tak by to znamenalo upravit každý ten stažený dokument upravit zvlášť, což vzhledem k množství, o kterém píšete, bude pěkný opruz.

Prostě ať na to jdu zprava nebo zleva, jako nejefektivnější mi připadá ochrana javascriptem (chování uživatele samozřejmě super technika, ale napsat a analyzovat to bude pekelně složité a podle mě i velmi nespolehlivé). Nicméně obejít to půjde vždy.

Na obfuskování se vybodněte, to nic neřeší, pokud se použije automatizovaný nástroj. Spíše bych se zaměřil na to, aby se ty ochrany nedaly odstranit hromadně a automaticky generováním unikátního javascriptu pro každý dokument zvlášť.

[Michal Taneček]

Root opravdu nezklamal :-). Chtel jsem technicke reseni a dostal jsem same ideologicke komentare.

Panove, zcela uprimne, premysleli jste nekdy o tom, ze ad-ware nemusi uplne vzdy fungovat a ze je treba hledat udrzitelny obchodni model, ktery bohuzel vyzaduje i nejake ochrany IP ? Neni to o omezovani uzivatelu, dokonce bude moznost si vytisknout/ulozit pekne PDF bude-li nekdo chtit. Chranit je potreba jen sluzbu jako celek. Predstavte si, ze v tom utopite treba castku (optimisticky vyhled) 1/2 mil CZK a behem tydne tuto investici nekdo zlikviduje?

Alldatasheet je trosku jiny pripad, ale jinak souhlas, takhle se to nema delat. Stejne jako ruzne pdf-hostingove sluzby, kde se da jen zobrazit preview.

Ne jsou to reálné reakce na nesmyslnost požadavku. Tady to není fórum firmy XX, která vám slíbí, že s použitím YY technologie vám zaručíme nestažitelnost, kde garance bude v EULE o 150ti stránkách a ní schované, že neručí za nic.

Protože to prostě nejde udělat. I když tam bude šílená obsfukace, tak pořád půjde udělat tisk do pdf, nebo si vytáhnout data pomocí TamperMonkey přímo z dokumentu potom, co je váš JS vyrenderuje.

Ten váš JS taky bude muset být na klientovi, takže půjde injektnout. Popřípadě navěsit event listener na dokument, takže kdykoli budete měnit innerHTML, tak se mi spustí můj skript.

[_pepak]

Root opravdu nezklamal :-). Chtel jsem technicke reseni a dostal jsem same ideologicke komentare.

To máš pravdu, ale na obranu ideologických komentářů bych podotkl, že technické řešení tohoto problému neexistuje. Můžeš se snažit tomu hypotetickému stahovači život znepříjemňovat, ale to je tak všechno. Osobně bych k tomu, co sis navrhl v prvním příspěvku, přidal akorát omezení počtu requestů za jednotku času, přičemž toto omezení nemusí být "tvrdé" ("po překročení máš do konce měsíce smůlu"), ale měkké ("po překročení budeš muset vyplnit captchu"). Víc bych asi nedával, zákon klesajících výnosů se zde uplatní dost brutálně, IMHO.

je treba hledat udrzitelny obchodni model, ktery bohuzel vyzaduje i nejake ochrany IP ?

Vím, že o tom už nejméně 35 let uvažují softwarové firmy a nejméně 90 let filmová a hudební studia, zatím bez použitelného výsledku. Což neznamená, že se to tobě nepodaří, jenom se na tu možnost dívám dost skepticky.

[Nobody]

Root opravdu nezklamal :-). Chtel jsem technicke reseni a dostal jsem same ideologicke komentare.

Tak to neni velke prekvapeni, root je zname semeniste komousu, co chteji vsechno free, open a GPL, a neustale narusuji radnou debatu o proprietarnim softwaru a DRM svymi nenavistnymi, stallmanistickymi vylevy. Vrcholem vseho je, ze maji zapnuty adblock a parazituji tak na korporatnich ctenarich.