Python - dobré rady a praktiky

[Mirek Prýmek]

Tak se našrouboval na věc, na kterou se (mimochodem) moc nehodí.

...a abych předešel dotazu na konrétní příklad: Python striktně vyžaduje evaluaci argumentů fce a nedá se to nijak obejít. A to je např. pro předávání formulí fakt problém. Stejně tak třeba selekce je omezená tím, co v pythonu jde (iloc) a kdyby byl od začátku navržený na vědecké výpočty, uměl by některé věci, které teď neumí, protože na to prostě není určený, jenom byl chytře ohnut, aby v dané oblasti mohl dělat lepidlo.

[Reklama]

[Inkvizitor]

Čím člověk musí méně ohýbat mozek a soustředit se na detaily výpočtu, tím v zásadě lépe. V Pythonu mám pocit, že se mohu soustředit na problém větší, než v jakémkoliv jiném jazyce.

A uměl bys říct, čím to podle tebe je? Co je vlastně to rozhodující, proč je míň náročný? (Nerozporuju to, přijde mi to jako zajímavé téma k diskusi, proč vlastně python tak skvěle uspěl). Rozumím tomu u skriptů a malých jednoúčelových věcí. Tam je Python lepší náhrada Perlu. Pokud se ale bavíme o seriozně vedeném středně velkém projektu, co ušetříš? To šílené OOP modelování musíš dělat stejně jako v jiném jazyce. Takže co vlastně ušetříš? A co získáš? Že nemusíš psát typy? (takže by ti stejnou muziku udělala slušná typová inference?) Nebo že nemusíš psát složené závorky? (tady bezvýhrady souhlas, jestli má Python něco fakt dobře, tak je to syntaxe)

Rozdíl mezi Pythonem a Perlem vidím v tom, že Perl je spíše DSL (jak ostatně trochu plyne z jeho názvu) a Perl GPL. Syntaxe je jedna věc, druhá je lehkost používání základní knihovny, ten pocit, že všechno máš v hlavě a víš kam sáhnout. Jasně, je to věc zvyku, ale v Pythonu mám pocit, že prostě chtěli, aby to bylo co nejjednodušší. Žádný
BufferedReader a FileReader, dám open() a je to. Tím OOP a modelováním lze s úspěchem šetřit a to i u větších projektů (třeba zmiňovaný namedtuple je myslím často dostatečný). Dynamické vlastnosti jazyka se dají taktéž používat ad libitum i ve větších projektech, byť se v tomto snažím krotit sebe i kolegy.

A teď k typové inferenci - to je věc, která ještě poměrně nedávno byla výsadou pár "podivných" jazyků z rodiny ML. Je jasné, že se jazyky navzájem inspirují nebo alespoň nalézají cesty k řešení problémů, které ten jiný jazyk nebo paradigma obratně vyřešily, zatímco ten náš jazyk se tvářil, že problém neexistuje.

Všechno jsou to ale proti Pythonu strašlivé molochy. Prostě (snad kromě Ruby) vlastně nevím, kde hledat náhradu. Snesl bych Scalu, Haskell, Clojure, ale to už je všechno hodně jiný svět. Erlang/Elixir samozřejmě také.

Těžko říct, jaká molochovitost ti vadí (zase: nerozporuju to). Co Swift? Go? Rust? Je na nich něco molochovitého? Ruby jsi zmínil. Co F#? A jistou dobu (než jsem .NET zavrhl) jsem koketoval s http://boo-lang.org/ - web vypadá srandovně, ale jazyk je to docela fajn.

Myslím, že jazyků je na světě habaděj a podobný Pythonu nenajdeš jenom pokud budeš hledat takový, který bude mít přesně ty vlastnosti, které má Python

Molochovitostí myslím faktickou závislostí na IDE, na těžkopádném VM, monstrech typu Maven a tak. Rust a Swift jsou podle mne (coby jazyky) docela na dobré cestě, F# prakticky neznám, tam mi nevoní Mono (to samé tudíž C# i Boo), jinak by mě mohl celkem bavit. Go mi přijde trochu šité příliš na míru dobovým potřebám Google.

[Mirek Prýmek]

ale v Pythonu mám pocit, že prostě chtěli, aby to bylo co nejjednodušší. Žádný
BufferedReader a FileReader, dám open() a je to.

Jo, tomu rozumím. Jenom si nejsem jistý, jestli to není tak trochu mazání medu kolem úst. Jestli to není tak trochu tak, že právě v těch malých věcech si vystačíš s open(..).read(), ale pak postupně zjišťuješ, že občas potřebuješ řešit velký soubory, na který už se to nehodí a chce to nějak inteligentně chunkovat, tak šáhneš po nějaké knihovně, která to umí, ... a seš tam, kde bys byl stejně   (o tomhle nechci nějak dlouhosáhle diskutovat, je to jenom tak k zamšlení, mám takový dojem, ne vyloženě vyfutrovaný argumenty...)

Tím OOP a modelováním lze s úspěchem šetřit a to i u větších projektů (třeba zmiňovaný namedtuple je myslím často dostatečný).

To je podobný případ. Já považuju namedtuple za super na víceméně funkcionální kód. Ale rozumné OOP s tím neuděláš. Pokud do něj budeš chtít jít (což u většího projektu budeš), seš zas zpátky...

A teď k typové inferenci - to je věc, která ještě poměrně nedávno byla výsadou pár "podivných" jazyků z rodiny ML.

Plusminus asi jo. Ale teď už to tak není a tím ta výhodnost sexy stručnosti pythonu trochu mizí - jinde už ji (teď) máš taky a bez toho, abys obětoval typový systém...

Molochovitostí myslím faktickou závislostí na IDE, na těžkopádném VM, monstrech typu Maven a tak. Rust a Swift jsou podle mne (coby jazyky) docela na dobré cestě, F# prakticky neznám, tam mi nevoní Mono (to samé tudíž C# i Boo), jinak by mě mohl celkem bavit. Go mi přijde trochu šité příliš na míru dobovým potřebám Google.

Chápu. No když vyřadíš "molochy" jako NET a JVM (F#, C#, Java, Scala, Clojure,...), tak ti moc rozumných jazyků nezbude, to je celkem nasnadě

[Inkvizitor]

Není to absurdní požadavek. Kdybychom se bavili o Lue a chtěl bych ji bránit, zmínil bych Luu a bylo by to úplně relevantní.

Ta absurdnost je v tom, že přestože v Lua jde napsat úplně cokoli, i megavelký projekt, nikdo soudný to dělat nebude, protože k tomu není racionální důvod.

Racionální důvod k použití nějaké techologie je, že zavedený tým ji ovládá. Má-li firma samé javisty, nebude inklinovat k použití Pythonu a naopak.

Javamanova odpověď s Hadoopem a další perly, které mezi tím stačil rozhodit, mi samozřejmě úplně postačily.

Ono to není tak strašný, jak se všichni tváříte. To opravdu JE velký projekt a JE nasazovaný na vážné problémy. Já osobně neznám pythonský projekt podobného rozsahu a nasazení. Jestli ho někdo zná, rád se nechám poučit. (Jasně, je tady Django, ok)

Že se v Hadoopu zpracovávají data po chuncích, takže je (potenciálně) nasaditelný na libovolné množství dat, nerozhoduje. Ono nejde jenom o ty mapy, shuffly a reducy, ale o všechen ten cirkus kolem. Osobně si nedokážu představit totéž v Pythonu, minimálně kvůli jeho slabé podpoře multithreadingu. Když nic, bylo by to dost pravděpodobně pekelně pomalé.

Co je těžkého k pochopení toho, že jsme se původně bavili o aplikačním programování a ne o věcech typu Hadoop? Nikdo rozumný ve flame Python versus C nerozporuje, že psát Postgres v Pythonu je nesmysl. A nikdo rozumný nebude mlátit Pythonisty Postgresem.

A když už jsme u toho data science, to byl od tebe taky trochu zavádějící argument. Python imho nebyl použitý proto, že by se na to nějak extra hodil, ale proto, že je populární. Tak se našrouboval na věc, na kterou se (mimochodem) moc nehodí. Nejenom, že nedělá nic víc než lepidlo, to by ještě bylo ok, ale v některých věcech je vyloženě brzda (opět GIL, že...). Takže to se zavede python jako "jazyk na vědecké výpočty" a pak se složitě přemýšlí, jak v C++ backendu hackovat releasování GILu, aby to vůbec bylo k něčemu... Nicméně, abych byl korektní, Rko na tom není o zas tak moc líp - paralelizace tam taky pořádná není a řeší se paralelním spouštěním oddělených interpreterů (snow apod.)

Tohle se mi ani nechce moc rozebírat. Mohli použít třeba tu Javu, ta je ještě populárnější, ne?

Prostě, tohle vlákno je úplně naprd. Místo abyste se chovali jako dospělí a vedli konstruktivní debatu o tom, co se vám v jakém jazyce líbí a na co se vám neosvědčil, začnete trapnej flejm plnej polopravd z obou stran...

Ve vší úctě, nevím, kdo Tě tady udělal soudcem vlákna. Původní autor se ptal na nejlepší praktiky v Pythonu s tím, že bude nastupovat do už existujícího většího projektu v Pythonu a hned první odpověď je od joudy, který neumí nic lepšího, než napsat, že Python je na... Já jsem, pokud sis nevšimnul, napsal aspoň pár rad k věci (jako jeden z mála) a cítil jsem potřebu ty kraviny hejtrů trochu zkorigovat.

Pokud tedy hodláš pokračovat v debatě v tomto duchu, já už Ti odpovídat nebudu. To ale neznamená, že jsi to teď zastavil komplet.

[Mirek Prýmek]

Racionální důvod k použití nějaké techologie je, že zavedený tým ji ovládá. Má-li firma samé javisty, nebude inklinovat k použití Pythonu a naopak.

Možná. Anebo taky ne a racionálnější je vybrat super nástroj a nechat lidi si ho osvojit... https://medium.com/@cameronp/the-best-way-to-build-a-dev-team-go-where-the-devs-aren-t-d3f226cfe749#.boy9f5nx6
Ono totiž když máš tým pythonistů, kteří použijí python na něco, na co vůbec není vhodný, jenom protože ho znají, úspěch z toho imho moc nekouká...

Co je těžkého k pochopení toho, že jsme se původně bavili o aplikačním programování a ne o věcech typu Hadoop?

OP neřekl, o jakou oblast mu jde. A jediném, o čem je spor, je vhodnost pythonu na střední a velké projekty.

Tohle se mi ani nechce moc rozebírat. Mohli použít třeba tu Javu, ta je ještě populárnější, ne?

Nemohli, protože Java je jako glue jazyk naprosto nevhodná (kromě toho, že má tytéž zmíněný problémy jako Python). Osobně bych byl radši, kdyby se pro sci rozšířila Julia než Python. Když už teda chceme mermomoci Fortran, C a Rko něčím nahrazovat...

Ve vší úctě, nevím, kdo Tě tady udělal soudcem vlákna.

Nikdo. Nesoudím, říkám svůj názor. A proti korekcím nic nemám, jenom ničemu moc nepomůžou, když jsou ustřelené zase druhým směrem Neber si to prosím osobně.

[Reklama]

[BoneFlute]

Co se týče prospěšnosti Pythonu, jak jsem myslím psal, spousta knihoven je přibalena s jazykem rovnou, další jsou snadno k dispozici třeba přes pypi. Pak samozřejmě REPL, resp. jeho větší bratříček IPython notebook, to je úžasná věc, která dosud není úplně samozřejmá. Rychlý runtime, co se týče naběhnutí. Není potřeba uvádět typy, spousta věcí v Pythonu plyne úplně přirozeně, třeba celé číslo není omezeno architekturou procesoru nebo rozhodnutím nějaké komise jako třeba u Javy. Tohle všechno je perfektní výbava pro řešení menších a středních problémů, prototypy apod.

Tak přesně toto je jen popis toho co jazyk dělá, ne v čem se to vyplatí.

Předpokládal jsem, že lidem Tvého rozhledu nemusím vysvětlovat, v čem se vyplatí mít REPL. Nebo proč dopředu typicky nechci mít nutnost řešit, zda se výsledek vejde do 32 nebo 64 bitů. Fakt nechápu, co bych na tom měl ještě vysvětlovat.

Drtivá většina jazyků, které znám, a které jsem používal a používám tak REPL, nebo implementačně nezávislou velikost čísla mají. A jsou zcela jiné oproti Pythonu.

Jestli to u tebe skončí jako v jiných případech, že prostě Python má spešl filozofii, kterou musíš pochopit, a ohromě ti pomůže při vyvoji, ale nepovím ti jakou ani jak - tak mě naštveš.

[čumil]

Já tak trošku nechápu proč jebete do Mirka. On do týhle diskuze opravdu může dost přinést, sice co se týče FP (tady nerelevantní) bych si dovolil jeho názory zpochybňovat na základě naší minulé diskuze (pure?impure haskell), v téhle doméně je ale nezpochybnitelný pán opravdu on, takže si nemyslím že je dvakrát chytré to strhávat do napadání místo snahy po přiučení se...

[pavlix]

Já tak trošku nechápu proč jebete do Mirka. On do týhle diskuze opravdu může dost přinést, sice co se týče FP (tady nerelevantní) bych si dovolil jeho názory zpochybňovat na základě naší minulé diskuze (pure?impure haskell), v téhle doméně je ale nezpochybnitelný pán opravdu on, takže si nemyslím že je dvakrát chytré to strhávat do napadání místo snahy po přiučení se...

Jsou lidé, kteří si o to prostě říkají.

[Inkvizitor]

Já tak trošku nechápu proč jebete do Mirka. On do týhle diskuze opravdu může dost přinést, sice co se týče FP (tady nerelevantní) bych si dovolil jeho názory zpochybňovat na základě naší minulé diskuze (pure?impure haskell), v téhle doméně je ale nezpochybnitelný pán opravdu on, takže si nemyslím že je dvakrát chytré to strhávat do napadání místo snahy po přiučení se...

Zatím neřekl (v diskusi se mnou, neříkám, že jeho fungování na tomto fóru není podnětné) nic, co bych nevěděl. A já jsem dost starý na to, abych se tu nechal okřikovat. Tohle si prosím vem osobně.

[Inkvizitor]

Drtivá většina jazyků, které znám, a které jsem používal a používám tak REPL, nebo implementačně nezávislou velikost čísla mají. A jsou zcela jiné oproti Pythonu.

Python není jediný, to jsem snad netvrdil. Tvrdil jsem, že Python má tyhle "vymoženosti", že má i jiné příjemné vlastnosti, které nemá třeba Java a jiné mainstreamové jazyky. Tvoji argumentaci nechápu.

Jestli to u tebe skončí jako v jiných případech, že prostě Python má spešl filozofii, kterou musíš pochopit, a ohromě ti pomůže při vyvoji, ale nepovím ti jakou ani jak - tak mě naštveš.

Tady mi vkládáš do úst něco, co jsem rozhodně netvrdil. Psal jsem, že u psaní Pythonu mám pocit, že musím méně přizpůsobovat myšlení jazyku a mohu se soustředit na problém, než u jiných jazyků, které jsem zkoušel. Pokud má Python něco jako filosofii, je to PEP 20, který jsem tady rozhodně neuváděl.

Používej si co chceš, já jsem sem přišel se svědectvím, proč u Pythonu zůstávám já, přestože pokukuju jinam a rád bych přešel na jiný jazyk. Protože Python není ani nejrychlejší ani nejchytřejší jazyk nebo platforma. Jenže se s ním dobře dělá (osobní zkušenost, jak to mám asi popsat), má spoustu knihoven, fajn komunitu se spoustou zkušeností atd.

[Inkvizitor]

Racionální důvod k použití nějaké techologie je, že zavedený tým ji ovládá. Má-li firma samé javisty, nebude inklinovat k použití Pythonu a naopak.

Možná. Anebo taky ne a racionálnější je vybrat super nástroj a nechat lidi si ho osvojit... https://medium.com/@cameronp/the-best-way-to-build-a-dev-team-go-where-the-devs-aren-t-d3f226cfe749#.boy9f5nx6
Ono totiž když máš tým pythonistů, kteří použijí python na něco, na co vůbec není vhodný, jenom protože ho znají, úspěch z toho imho moc nekouká...

Tady se dobýváš do otevřených dveří. Já v legraci klukům u nás v práci říkám každou chvíli, že něco přepíšeme do Haskellu. Na druhou stranu ale změna platformy musí být opravdu signifikantně výhodnější, aby takové rozhodnutí padlo.

Co je těžkého k pochopení toho, že jsme se původně bavili o aplikačním programování a ne o věcech typu Hadoop?

OP neřekl, o jakou oblast mu jde. A jediném, o čem je spor, je vhodnost pythonu na střední a velké projekty.

To je ale pak diskuse k ničemu. Velký projekt je třeba i linuxové jádro a nikdo ho nechce psát v Pythonu. Rozumná diskuse má dojít k poznání, kde jsou konkrétnější hranice použitelnosti či vhodnosti. Generální - blbý výrok, že Python není vhodný na větší projekty (pokud nebyl vyřčen obecně, tak mě klidně oprav) není možno hájit tím, že vyberu jeden konkrétní projekt z domény, u které je každému jasné, že se do ní Python vůbec netlačí.

Tohle se mi ani nechce moc rozebírat. Mohli použít třeba tu Javu, ta je ještě populárnější, ne?

Nemohli, protože Java je jako glue jazyk naprosto nevhodná (kromě toho, že má tytéž zmíněný problémy jako Python). Osobně bych byl radši, kdyby se pro sci rozšířila Julia než Python. Když už teda chceme mermomoci Fortran, C a Rko něčím nahrazovat...

K Julii - ta se vůbec netají tím, že se tlačí na pozici Pythonu v dané doméně. Mně se docela líbí, proč ne. Dosud není ani ve verzi 1, když se začal prosazovat Python v této oblasti, tak snad ani neexistovala. Proč je Python často oblíbenější než R nebo, nedej Bože, C, to se mi opět rozebírat nechce. Skoro začínám mít dojem, že se snažíš Python shazovat za každou cenu - napřed přizvukuješ trollujícím javistům a pak se divíš, proč někdo chce "mermomocí" v tomto století dát pro určitý typ vědeckých výpočtů přednost Pythonu před C nebo Fortranem...

Ve vší úctě, nevím, kdo Tě tady udělal soudcem vlákna.

Nikdo. Nesoudím, říkám svůj názor. A proti korekcím nic nemám, jenom ničemu moc nepomůžou, když jsou ustřelené zase druhým směrem Neber si to prosím osobně.
[/quote]

Pokud máš pocit, že píšu něco špatně, klidně mě oprav. Bohužel ale nemám u Tebe také zrovna pocit, že bys vždycky diskutoval férově a snažil se dojít k pravdivému výsledku padni komu padni. Viz výše.

[Ivan Nový]

Racionální důvod k použití nějaké techologie je, že zavedený tým ji ovládá. Má-li firma samé javisty, nebude inklinovat k použití Pythonu a naopak.

Možná. Anebo taky ne a racionálnější je vybrat super nástroj a nechat lidi si ho osvojit... https://medium.com/@cameronp/the-best-way-to-build-a-dev-team-go-where-the-devs-aren-t-d3f226cfe749#.boy9f5nx6
Ono totiž když máš tým pythonistů, kteří použijí python na něco, na co vůbec není vhodný, jenom protože ho znají, úspěch z toho imho moc nekouká...

Tady se dobýváš do otevřených dveří. Já v legraci klukům u nás v práci říkám každou chvíli, že něco přepíšeme do Haskellu. Na druhou stranu ale změna platformy musí být opravdu signifikantně výhodnější, aby takové rozhodnutí padlo.

Co je těžkého k pochopení toho, že jsme se původně bavili o aplikačním programování a ne o věcech typu Hadoop?

OP neřekl, o jakou oblast mu jde. A jediném, o čem je spor, je vhodnost pythonu na střední a velké projekty.

To je ale pak diskuse k ničemu. Velký projekt je třeba i linuxové jádro a nikdo ho nechce psát v Pythonu. Rozumná diskuse má dojít k poznání, kde jsou konkrétnější hranice použitelnosti či vhodnosti. Generální - blbý výrok, že Python není vhodný na větší projekty (pokud nebyl vyřčen obecně, tak mě klidně oprav) není možno hájit tím, že vyberu jeden konkrétní projekt z domény, u které je každému jasné, že se do ní Python vůbec netlačí.

Tohle se mi ani nechce moc rozebírat. Mohli použít třeba tu Javu, ta je ještě populárnější, ne?

Nemohli, protože Java je jako glue jazyk naprosto nevhodná (kromě toho, že má tytéž zmíněný problémy jako Python). Osobně bych byl radši, kdyby se pro sci rozšířila Julia než Python. Když už teda chceme mermomoci Fortran, C a Rko něčím nahrazovat...

K Julii - ta se vůbec netají tím, že se tlačí na pozici Pythonu v dané doméně. Mně se docela líbí, proč ne. Dosud není ani ve verzi 1, když se začal prosazovat Python v této oblasti, tak snad ani neexistovala. Proč je Python často oblíbenější než R nebo, nedej Bože, C, to se mi opět rozebírat nechce. Skoro začínám mít dojem, že se snažíš Python shazovat za každou cenu - napřed přizvukuješ trollujícím javistům a pak se divíš, proč někdo chce "mermomocí" v tomto století dát pro určitý typ vědeckých výpočtů přednost Pythonu před C nebo Fortranem...

Ve vší úctě, nevím, kdo Tě tady udělal soudcem vlákna.

Nikdo. Nesoudím, říkám svůj názor. A proti korekcím nic nemám, jenom ničemu moc nepomůžou, když jsou ustřelené zase druhým směrem Neber si to prosím osobně.

Pokud máš pocit, že píšu něco špatně, klidně mě oprav. Bohužel ale nemám u Tebe také zrovna pocit, že bys vždycky diskutoval férově a snažil se dojít k pravdivému výsledku padni komu padni. Viz výše.
[/quote]
Linuxové jádro by šlo velice dobře napsat i v Pythonu, jen byste potřeboval vhodný optimalizovaný překladač Pythonu a vhodnou knihovnu napsanou v C na pár nízkoúrovňových záležitostí. V C stejně mnoho vlastností, které mají jiné dnešní jazyky, emulujete pomocí maker. Jsou tam, jen jejich realizace je tak trochu křečovitá.

Kdysi byly i pokusy postavit HW šitý na míru Java VM. Viz třeba picojava. Takže byste nízkoúrovňové věci mohl psát rovnou v Javě.

[Martin]

Já osobně neznám pythonský projekt podobného rozsahu a nasazení. Jestli ho někdo zná, rád se nechám poučit.

OpenStack?

[pavlix]

Já osobně neznám pythonský projekt podobného rozsahu a nasazení. Jestli ho někdo zná, rád se nechám poučit.

OpenStack?

Bull's eye!

[BoneFlute]

Drtivá většina jazyků, které znám, a které jsem používal a používám tak REPL, nebo implementačně nezávislou velikost čísla mají. A jsou zcela jiné oproti Pythonu.

Python není jediný, to jsem snad netvrdil. Tvrdil jsem, že Python má tyhle "vymoženosti", že má i jiné příjemné vlastnosti, které nemá třeba Java a jiné mainstreamové jazyky. Tvoji argumentaci nechápu.

Nemůžeš porovnávat Python s nejblbějším jazykem na trhu. To zase nechápu já.

V kontextu vlákna se ptám na to, v čem vidíš výhody Pythonu.

Jestli to u tebe skončí jako v jiných případech, že prostě Python má spešl filozofii, kterou musíš pochopit, a ohromě ti pomůže při vyvoji, ale nepovím ti jakou ani jak - tak mě naštveš.

Psal jsem, že u psaní Pythonu mám pocit, že musím méně přizpůsobovat myšlení jazyku a mohu se soustředit na problém, než u jiných jazyků, které jsem zkoušel.

OK

Jenže se s ním dobře dělá (osobní zkušenost, jak to mám asi popsat), má spoustu knihoven, fajn komunitu se spoustou zkušeností atd.

Tohle je třeba právě to, co mě zajímá. Že je to těžké, shrnout heslovitě v čem je Python výjimečný, může být.

Třeba za mě, má Python jednu jedinou výjimečnou vlastnost: syntax sugar. Ve všem ostatním je to otravný jazyk. Počínaje nepohodlnými bindingi na C, duck-typingem konče.