Nový systém pro vývoj softwaru

[František Ryšánek]

LFS je trochu HC... ale třeba Yocto jako cross-platform podvozek by mohlo posloužit? Nebo NetBSD :-D

Jako open-source cross-platform RADové prostředí, které produkuje nativně běžící GUI appky, bych zmínil Ultimate++ : založeno na C++, licence je tuším nějaká "BSDčková"...

[Reklama]

[Jožka Niemand]

Jediny smer, ktery dneska stoji za to uvazovat pokud chceme mnohem rychlejsi vyvoj (krom toho co uz existuje), je toto: vymyslet novy programovaci jazyk, ktery vyjadri kompletni webovou aplikaci nejstrucnejsim moznym zpusobem tak, aby se v tom delalo co nejlepe AI a zaroven to bylo jeste citelne pro cloveka. Idealne vymyslet nad tim od zakladu znova webovy prohlizec nebo rovnou cely princip webu.

Celý princip webu tak, jak se prosadil, bych spláchl do hajzlíku, protože to je od samého začátku špatně. Celé to bylo vymyšlené jako popis statické stránky plus hyperlinky - vlastně osekaný roff. Ale základem je něco, co primárně sloužilo k sazbě textu pro tisk. Od té doby se to všelijakými hacky více a více dynamizuje a doplňuje o různé prvky programování. Prostě jako by si někdo na začátku postavil domeček, pak si usmyslel, že by bylo fajn, aby se ten domeček dal stěhovat, a pak, že by vlastně bylo fajn, kdyby mohl jezdit skoro jako normální auto, takže k tomu domečku na různá místa přidělával kolečka, brzdy, světla, oj pro traktor, který to může táhnout za sebou...
Webová aplikace je pak celá tato demence umocněná na kvadrát - to je nápad, budeme dělat auta, co vypadají jako domy! Wow!
Správný postup měl být přesně opačný.

Druha varianta: jazyk nemusi byt citelny pro cloveka, jen optimalizovan pro generovani pomoci AI. Pokud je to na vas moc low level, druha rozumnejsi vec by mohla byt vymyslet superstrucny framework, ktery je ale stale dostatecne schopny i na tvorbu napr. enterprise aplikaci. Programovaci jazyky se budou muset drive ci pozdeji prizpusobit primarne AI, nikoliv cloveku.

Na co? Jazykový model může programovat přímo ve strojovém kódu nebo v bajtkódu, když na to přijde. Není třeba znovu vymýšlet kolo.

[Ink]

Druha varianta: jazyk nemusi byt citelny pro cloveka, jen optimalizovan pro generovani pomoci AI. Pokud je to na vas moc low level, druha rozumnejsi vec by mohla byt vymyslet superstrucny framework, ktery je ale stale dostatecne schopny i na tvorbu napr. enterprise aplikaci. Programovaci jazyky se budou muset drive ci pozdeji prizpusobit primarne AI, nikoliv cloveku.

Na co? Jazykový model může programovat přímo ve strojovém kódu nebo v bajtkódu, když na to přijde. Není třeba znovu vymýšlet kolo.

Může, ale to neznamená, že to je optimální.

[xyz]

Mne napadl Smalltalk. To byl taky jazyk se zajímavými featurami - plně OOP, virtual machine, vývojové prostředí. Dnes je to asi mrtvá záležitost.

[Kit]

Mne napadl Smalltalk. To byl taky jazyk se zajímavými featurami - plně OOP, virtual machine, vývojové prostředí. Dnes je to asi mrtvá záležitost.

Smalltalk mě sice moc neoslovil kvůli jeho ukecanosti, ale pokud ho bude generovat AI, tak nejsem proti.

[Reklama]

[novomente]

Jediny smer, ktery dneska stoji za to uvazovat pokud chceme mnohem rychlejsi vyvoj (krom toho co uz existuje), je toto: vymyslet novy programovaci jazyk, ktery vyjadri kompletni webovou aplikaci nejstrucnejsim moznym zpusobem tak, aby se v tom delalo co nejlepe AI a zaroven to bylo jeste citelne pro cloveka. Idealne vymyslet nad tim od zakladu znova webovy prohlizec nebo rovnou cely princip webu.

Celý princip webu tak, jak se prosadil, bych spláchl do hajzlíku, protože to je od samého začátku špatně. Celé to bylo vymyšlené jako popis statické stránky plus hyperlinky - vlastně osekaný roff. Ale základem je něco, co primárně sloužilo k sazbě textu pro tisk. Od té doby se to všelijakými hacky více a více dynamizuje a doplňuje o různé prvky programování. Prostě jako by si někdo na začátku postavil domeček, pak si usmyslel, že by bylo fajn, aby se ten domeček dal stěhovat, a pak, že by vlastně bylo fajn, kdyby mohl jezdit skoro jako normální auto, takže k tomu domečku na různá místa přidělával kolečka, brzdy, světla, oj pro traktor, který to může táhnout za sebou...
Webová aplikace je pak celá tato demence umocněná na kvadrát - to je nápad, budeme dělat auta, co vypadají jako domy! Wow!
Správný postup měl být přesně opačný.

Druha varianta: jazyk nemusi byt citelny pro cloveka, jen optimalizovan pro generovani pomoci AI. Pokud je to na vas moc low level, druha rozumnejsi vec by mohla byt vymyslet superstrucny framework, ktery je ale stale dostatecne schopny i na tvorbu napr. enterprise aplikaci. Programovaci jazyky se budou muset drive ci pozdeji prizpusobit primarne AI, nikoliv cloveku.

Na co? Jazykový model může programovat přímo ve strojovém kódu nebo v bajtkódu, když na to přijde. Není třeba znovu vymýšlet kolo.

Také to tak vidím (oba problémy). I když nějaký velice rychlý framework by nebyl na škodu. Určitě již ho někdo vyvíjí.

[Jožka Niemand]

Druha varianta: jazyk nemusi byt citelny pro cloveka, jen optimalizovan pro generovani pomoci AI. Pokud je to na vas moc low level, druha rozumnejsi vec by mohla byt vymyslet superstrucny framework, ktery je ale stale dostatecne schopny i na tvorbu napr. enterprise aplikaci. Programovaci jazyky se budou muset drive ci pozdeji prizpusobit primarne AI, nikoliv cloveku.

Na co? Jazykový model může programovat přímo ve strojovém kódu nebo v bajtkódu, když na to přijde. Není třeba znovu vymýšlet kolo.

Může, ale to neznamená, že to je optimální.

To není, vymáčknout ze současných LLM funkční strojový kód hraničí s nemožností. Ale to je dáno v první řadě chybějícími trénovacími daty.

Mne napadl Smalltalk. To byl taky jazyk se zajímavými featurami - plně OOP, virtual machine, vývojové prostředí. Dnes je to asi mrtvá záležitost.

Smalltalk mě sice moc neoslovil kvůli jeho ukecanosti, ale pokud ho bude generovat AI, tak nejsem proti.

Smalltalk určitě není mrtvá záležitost, viz třeba Pharo či Seaside, sám ho mám docela rád a vývoj v něm je velmi pohodlný a rychlý - podle mě zatím žádný jiný jazyk nemá tak promyšlené vývojové prostředí jako Smalltalk.

Z hlediska LLM by byl Smalltalk přímo ideální, díky jednoduché syntaxi bez výjimek, kdyby byl dostatek trénovacích dat. V současné době budou LLM dávat asi nejlepší výsledky v Pythonu. Mnohdy je lepší nechat je pracovat v Pythonu a pak si to převést do toho, co potřebuji. Ze stejného důvodu by LLM sedl i LISP, přesněji Scheme, ale i zde je momentálně podobná situace jako u Smalltalku - nedostatek trénovacích dat.

[Ink]

Druha varianta: jazyk nemusi byt citelny pro cloveka, jen optimalizovan pro generovani pomoci AI. Pokud je to na vas moc low level, druha rozumnejsi vec by mohla byt vymyslet superstrucny framework, ktery je ale stale dostatecne schopny i na tvorbu napr. enterprise aplikaci. Programovaci jazyky se budou muset drive ci pozdeji prizpusobit primarne AI, nikoliv cloveku.

Na co? Jazykový model může programovat přímo ve strojovém kódu nebo v bajtkódu, když na to přijde. Není třeba znovu vymýšlet kolo.

Může, ale to neznamená, že to je optimální.

To není, vymáčknout ze současných LLM funkční strojový kód hraničí s nemožností. Ale to je dáno v první řadě chybějícími trénovacími daty.

Tohle přece není ale ten hlavní problém. Strojový kód není (obyčejně) dobrá úroveň abstrakce - vem si jenom, že bys chtěl ten samý program spouštět na AMD64 a na ARMu. Vysokoúrovňové konstrukce umožňují jiné druhy optimalizací a výrazně snazší refaktorizace. Nehledě na to, že kdokoli, kdo ten kód bude číst (ať už člověk nebo AI), potřebuje porozumět co nejrychleji záměru autora, což ze strojáku (pokud nejde o nějaké drobné rutiny) přece nepoznáš (třeba právě i díky tomu, že to LLM brutálně zoptimalizoval na úrovni jednotlivých instrukcí - inlining, rozbalení cyklu a já nevím co ještě).

[Jiří Havel]

To není, vymáčknout ze současných LLM funkční strojový kód hraničí s nemožností. Ale to je dáno v první řadě chybějícími trénovacími daty.

Zajímavé. Pro každý kousek zdrojáku v současných trénovacích datech můžeme jednoduše dostat několik odpovídajících kousků binárky. A to ještě jednodušeji než shánění současných trénovacích dat.

Já bych řekl, že to není v trénovacích datech záměrně. "lnk" to popsal dobře. Poslední co chceme je chroustat hory dat, které jsou informačně extrémně řídké a osekané. Klíčová informace ve zdrojácích jsou identifikátory a ty jsou takřka kompletně pryč.

Dekompilace a úpravy strojáku je extrémně náročná věc a má cenu ji dělat jen když není jiná možnost. A je úplně jedno, jestli to bude dělat AI nebo člověk. Ty potřebné skilly vezmou hromady zdrojů, které budou chybět jinde.

[Jožka Niemand]

To není, vymáčknout ze současných LLM funkční strojový kód hraničí s nemožností. Ale to je dáno v první řadě chybějícími trénovacími daty.

Zajímavé. Pro každý kousek zdrojáku v současných trénovacích datech můžeme jednoduše dostat několik odpovídajících kousků binárky. A to ještě jednodušeji než shánění současných trénovacích dat.

Já bych řekl, že to není v trénovacích datech záměrně. "lnk" to popsal dobře. Poslední co chceme je chroustat hory dat, které jsou informačně extrémně řídké a osekané. Klíčová informace ve zdrojácích jsou identifikátory a ty jsou takřka kompletně pryč.

Dekompilace a úpravy strojáku je extrémně náročná věc a má cenu ji dělat jen když není jiná možnost. A je úplně jedno, jestli to bude dělat AI nebo člověk. Ty potřebné skilly vezmou hromady zdrojů, které budou chybět jinde.

Moje reakce byla na nápad vymýšlet další zbytečný jazyk speciálně přizpůsobený LLM/AI, který by ani nemusel být čitelný pro člověka. Závěr, který si z toho měl čtenář udělat, je, že by to bylo zbytečné.

[Jiří Havel]

To není, vymáčknout ze současných LLM funkční strojový kód hraničí s nemožností. Ale to je dáno v první řadě chybějícími trénovacími daty.

Zajímavé. Pro každý kousek zdrojáku v současných trénovacích datech můžeme jednoduše dostat několik odpovídajících kousků binárky. A to ještě jednodušeji než shánění současných trénovacích dat.

Já bych řekl, že to není v trénovacích datech záměrně. "lnk" to popsal dobře. Poslední co chceme je chroustat hory dat, které jsou informačně extrémně řídké a osekané. Klíčová informace ve zdrojácích jsou identifikátory a ty jsou takřka kompletně pryč.

Dekompilace a úpravy strojáku je extrémně náročná věc a má cenu ji dělat jen když není jiná možnost. A je úplně jedno, jestli to bude dělat AI nebo člověk. Ty potřebné skilly vezmou hromady zdrojů, které budou chybět jinde.

Moje reakce byla na nápad vymýšlet další zbytečný jazyk speciálně přizpůsobený LLM/AI, který by ani nemusel být čitelný pro člověka. Závěr, který si z toho měl čtenář udělat, je, že by to bylo zbytečné.

A proč by to bylo zbytečné? To jste jaksi nenapsal.

Akorát jste něco plácl a pak upřesnil i to, že sám víte že to takhle nejde.

[Jožka Niemand]

A proč by to bylo zbytečné? To jste jaksi nenapsal.

Akorát jste něco plácl a pak upřesnil i to, že sám víte že to takhle nejde.

A k čemu by to tedy mělo být? Nač vymýšlet nějaký speciální jazyk "ne nutně srozumitelný pro člověka, ale zato uzpůsobený pro umělou inteligenci"? Máte vůbec představu, jak AI algoritmy fungují? Jak fungují LLM? Mám obavy, že i pro drtivou většinu lidí z IT jsou tyto věci totální blackbox - proto lidi napadají takové návrhy a proto se někdo diví, že to někdo jiný označuje za zbytečnosti.

Stručně - možná to spoustě lidí připadá zvláštní, i když netuším proč, ale dá se říci, že jazyk pohodlný člověku bude sedět i LLM. Rozhodující je na prvním místě velikost korpora, na němž se dá LLM trénovat, pak dlouho nic, pak dostatečná abstrakce, ortogonalita, žádný zbytečný syntaktický cukr. A naopak - Brainfuck bude extrémně nepohodlný i pro LLM. Platí to i pro přirozené jazyky - na prvním místě korpus, přičemž minimum výjimek, víceznačností a idiomů dost pomáhá. Netriviální gramatika není takový problém, jako neregulární gramatika. Příliš triviální gramatika naopak je problém, protože sémantika je pak definována hlubokým kontextem, který LLM snadno ztratí.

Čili dá se říci, že kdyby se někomu podařilo vyvinout programovací jazyk ideální pro LLM, vznikl by tak programovací jazyk ideální i pro lidi. Jenže pro LLM, na rozdíl od lidí, je kritická velikost trénovacích dat. A z podstaty věci je nasnadě, že nový jazyk by měl nulový korpus. Takže nejdřív byste museli najít ten Svatý grál programovacích jazyků a pak počkat, až v něm vznikne dostatek kódu, než budete mít ideální jazyk pro LLM.

[balkovic]

Reakcia na pôvodný príspevok:
Deja vu, ako keby som čítal reklamu na smalltalk-80. V našom systéme s jednoduchým programovacím jazykom naprogramujete rýchlo a všetko*

*teda nie tak celkom.

[Ink]

Čili dá se říci, že kdyby se někomu podařilo vyvinout programovací jazyk ideální pro LLM, vznikl by tak programovací jazyk ideální i pro lidi. Jenže pro LLM, na rozdíl od lidí, je kritická velikost trénovacích dat. A z podstaty věci je nasnadě, že nový jazyk by měl nulový korpus. Takže nejdřív byste museli najít ten Svatý grál programovacích jazyků a pak počkat, až v něm vznikne dostatek kódu, než budete mít ideální jazyk pro LLM.

Rozdíl vidím v tom, že preference programovacího jazyka pro lidi podléhá subjektivním měřítkům - vkusu, vzpomínkám na mládí, neochotě učit se něco nového atd. Zatímco výhodnost pro LLM by se měla dát změřit - počtem spotřebovaných tokenů nebo jakoukoli jinou metrikou.

[technomaniak]

Celé toto téma měl připadá jako scéna The big bang theory s05e11 kdy : Za Leonardem přijde Jimmy Speckerman, jeho šikanátor z dětství. Tvrdí, že má „geniální nápad“ – brýle, které dokážou převést běžný 2D obraz na televizi do 3D a spoléhá na to že vědátor Leonard ten "klíčový detail" za něj domyslí a dořeší.