Odstranění duplicit a konsolidace dat

Kit

  • *****
  • 1 007
    • Zobrazit profil
    • E-mail
Re:Odstranění duplicit a konsolidace dat
« Odpověď #15 kdy: 12. 05. 2026, 13:59:54 »
Ve Windows je to tak komplikované? No jo, nemají roury...
PowerShell pochopiteľne "roury" má, a asi vás zmiatlo, že nepíšem o primitíve spájajúcom dve fázy spacovania, čo je menej dôležitý koncept, ale o celom mechanizme kolóny, označenom tak sme sa to kedysi dávno učili.

Pokud vím, tak Windows mají stále parodii na roury přes dočasné soubory. Není to efektivní a proto je uživatelé moc nepoužívají. Zejména při zpracování velkých souborů je to problém.

Citace
Takže když v bloku n+1 změním písmenko, tak jsou soubory stále shodné?
- ak je ale kontrolný súčet za prvých n blokov rovnaký, tak ten rozdiel v jednom bajte zistíte v iterácii n+1, do iterácie n sú súbory kandidátmi na duplikáty, ale v iterácii n+1 nimi byť prestanú a tiež ich vyradíte z ďalšieho spracovania

Inak, mohol som asi použiť i na označenie čísla iterácie, ale to už je teraz jedno.

Takže ty soubory stejně musím projít celé, ale už chápu, že jen některé.


Zopper

  • *****
  • 1 010
    • Zobrazit profil
Re:Odstranění duplicit a konsolidace dat
« Odpověď #16 kdy: 12. 05. 2026, 14:48:15 »
Sám jsem deduplikaci pomocí hash úspěšně udělal v Bashi na své sbírce filmů. Najde shodu i když mají různé názvy.
Pokud tě zajímají jen přesné duplicity, tak je to v pohodě, i když to na velkém úložišti bude prostě trvat (přečíst celý disk a prohnat ty TB skrz CPU...)

Práveže ak chcete iba nájsť presné duplicity, tak všetky tie TB dát cez CPU prehnať nemusíte, stačia iba tie, ktoré sú bezpodmienečne nutné.
Aha, pardon, asi jsem ještě neměl dost kofeinu v krvi. :-)

Re:Odstranění duplicit a konsolidace dat
« Odpověď #17 kdy: 12. 05. 2026, 15:04:04 »
Ve Windows je to tak komplikované? No jo, nemají roury...
PowerShell pochopiteľne "roury" má, a asi vás zmiatlo, že nepíšem o primitíve spájajúcom dve fázy spacovania, čo je menej dôležitý koncept, ale o celom mechanizme kolóny, označenom tak sme sa to kedysi dávno učili.

Pokud vím, tak Windows mají stále parodii na roury přes dočasné soubory. Není to efektivní a proto je uživatelé moc nepoužívají. Zejména při zpracování velkých souborů je to problém.


Je možné, že si mýlite operačný systém a programovací jazyk? To by sa v kombinácii s tým ako autoritatívne sa vyjadrujete k príspevkom ostatných asi nemalo stávať.

Jasne píšem, že je to pre PowerShell a ten predsa beží aj na Linuxe aj na MasOS. Tak prečo do toho montujete Windows, mimochodom vo verzii 95, možno 98? Odvtedy už tie veci, ktoré spomínate fungujú inak a to už je minimálne štvrť storočia. Okrem toho v prvej odpovedi spomínam aj iné programovacie jazyky. Mechanizmus vyraďovania súborov, ktoré nie sú duplikátmi ostane rovnaký.


Citace
Takže když v bloku n+1 změním písmenko, tak jsou soubory stále shodné?
- ak je ale kontrolný súčet za prvých n blokov rovnaký, tak ten rozdiel v jednom bajte zistíte v iterácii n+1, do iterácie n sú súbory kandidátmi na duplikáty, ale v iterácii n+1 nimi byť prestanú a tiež ich vyradíte z ďalšieho spracovania

Inak, mohol som asi použiť i na označenie čísla iterácie, ale to už je teraz jedno.

Takže ty soubory stejně musím projít celé, ale už chápu, že jen některé.

Áno, ale iba tie, ktoré sú naozaj duplikátmi, tomu sa nedá zabrániť, ak chceta mať istotu. Veľa z tých, ktoré duplikátmi nie sú vypadne v prvých iteráciách.

Re:Odstranění duplicit a konsolidace dat
« Odpověď #18 kdy: 12. 05. 2026, 15:10:04 »
Sám jsem deduplikaci pomocí hash úspěšně udělal v Bashi na své sbírce filmů. Najde shodu i když mají různé názvy.
Pokud tě zajímají jen přesné duplicity, tak je to v pohodě, i když to na velkém úložišti bude prostě trvat (přečíst celý disk a prohnat ty TB skrz CPU...)

Práveže ak chcete iba nájsť presné duplicity, tak všetky tie TB dát cez CPU prehnať nemusíte, stačia iba tie, ktoré sú bezpodmienečne nutné.
Aha, pardon, asi jsem ještě neměl dost kofeinu v krvi. :-)

To nevadí, nemám problém niečo zopakovať. Je fakt, že tá moja prvá odpoveď bola dosť dlhá.

jjrsk

  • *****
  • 922
    • Zobrazit profil
Re:Odstranění duplicit a konsolidace dat
« Odpověď #19 kdy: 12. 05. 2026, 17:04:36 »
Koukam ze neni nad to vymejslet kolo ...

btrfs = vsechno na jednom storage, deduplikace na urovni FS. Nijak jinak to stejne udelat nejde, nebude to fungovat.

Samozrejme pripadne od toho mit nejaky backup, ktery se opet muze delat rozdilove prostrednicvim btrfs snapu.


Nevim o jak moc velkej domaci bordelak se jedna, ale ve firemnich bordelacich je redukce dat mezi 50-80%. Nema totiz zadnej smysl lidem vysvetlovat, ze si vazne nemusej kazdou chujovinu ukladat "k sobe". At to tam tudiz klidne maj, a klidne kazdej jeden 100x.

Ovsem pokud ten domaci bordelaj je alespon castecne svepravnej, necekej od toho vic nez 30%. Neco malo navic se da prihodit zapnutim komprese, coz ma tu vyhodu, ze medialni soubory se nekomprimujou, protoze to pozna ze to nema smysl.


Karmelos

  • *****
  • 1 329
    • Zobrazit profil
    • E-mail
Re:Odstranění duplicit a konsolidace dat
« Odpověď #20 kdy: 12. 05. 2026, 17:42:28 »
Koukam ze neni nad to vymejslet kolo ...

btrfs = vsechno na jednom storage, deduplikace na urovni FS. Nijak jinak to stejne udelat nejde, nebude to fungovat.

Samozrejme pripadne od toho mit nejaky backup, ktery se opet muze delat rozdilove prostrednicvim btrfs snapu.


Nevim o jak moc velkej domaci bordelak se jedna, ale ve firemnich bordelacich je redukce dat mezi 50-80%. Nema totiz zadnej smysl lidem vysvetlovat, ze si vazne nemusej kazdou chujovinu ukladat "k sobe". At to tam tudiz klidne maj, a klidne kazdej jeden 100x.

Ovsem pokud ten domaci bordelaj je alespon castecne svepravnej, necekej od toho vic nez 30%. Neco malo navic se da prihodit zapnutim komprese, coz ma tu vyhodu, ze medialni soubory se nekomprimujou, protoze to pozna ze to nema smysl.
Tak já třeba mám redundaci tak u něčeho i 400-600% kvulivá každoročnímu stažení kompletních projektových dat, kdy ty projekty běžej 4-6 let, takže některý soubory klidně několikrát bezezměny, jiný úplně se stejným názvem pokaždý jiný... to se fakt ta deduplikace dělá dooost blbě... snažil jsem se několikrát, nelíp se mi jevilo sehrát to všechno k sobě  ale poté co jsem si přemazal staršíma souborama novější jsem od toho upustil a jenom to celý pokaždý zipnu a dokoupil jsem větší disk.
Gréta je nejlepší.

Kit

  • *****
  • 1 007
    • Zobrazit profil
    • E-mail
Re:Odstranění duplicit a konsolidace dat
« Odpověď #21 kdy: 12. 05. 2026, 17:47:20 »
Ve Windows je to tak komplikované? No jo, nemají roury...
PowerShell pochopiteľne "roury" má, a asi vás zmiatlo, že nepíšem o primitíve spájajúcom dve fázy spacovania, čo je menej dôležitý koncept, ale o celom mechanizme kolóny, označenom tak sme sa to kedysi dávno učili.

Pokud vím, tak Windows mají stále parodii na roury přes dočasné soubory. Není to efektivní a proto je uživatelé moc nepoužívají. Zejména při zpracování velkých souborů je to problém.


Je možné, že si mýlite operačný systém a programovací jazyk? To by sa v kombinácii s tým ako autoritatívne sa vyjadrujete k príspevkom ostatných asi nemalo stávať.

Jasne píšem, že je to pre PowerShell a ten predsa beží aj na Linuxe aj na MasOS. Tak prečo do toho montujete Windows, mimochodom vo verzii 95, možno 98? Odvtedy už tie veci, ktoré spomínate fungujú inak a to už je minimálne štvrť storočia. Okrem toho v prvej odpovedi spomínam aj iné programovacie jazyky. Mechanizmus vyraďovania súborov, ktoré nie sú duplikátmi ostane rovnaký.

V Linuxu je podpora pipe službou operačního systému, není tedy součástí aplikace. Vůbec nevyužívá souborový systém, data jdou od producenta ke konzumentovi přes velmi malou část operační paměti. Ve Windows je podpora emulována přes soubory a tím má mizerný výkon. Netuším, zda to v pozdějších verzích napravili, ale nemám to jak zjistit. V desítkách to ještě nebylo a obávám se, že to tam stále není.

Re:Odstranění duplicit a konsolidace dat
« Odpověď #22 kdy: 12. 05. 2026, 18:24:42 »
Ve Windows je to tak komplikované? No jo, nemají roury...
PowerShell pochopiteľne "roury" má, a asi vás zmiatlo, že nepíšem o primitíve spájajúcom dve fázy spacovania, čo je menej dôležitý koncept, ale o celom mechanizme kolóny, označenom tak sme sa to kedysi dávno učili.

Pokud vím, tak Windows mají stále parodii na roury přes dočasné soubory. Není to efektivní a proto je uživatelé moc nepoužívají. Zejména při zpracování velkých souborů je to problém.


Je možné, že si mýlite operačný systém a programovací jazyk? To by sa v kombinácii s tým ako autoritatívne sa vyjadrujete k príspevkom ostatných asi nemalo stávať.

Jasne píšem, že je to pre PowerShell a ten predsa beží aj na Linuxe aj na MasOS. Tak prečo do toho montujete Windows, mimochodom vo verzii 95, možno 98? Odvtedy už tie veci, ktoré spomínate fungujú inak a to už je minimálne štvrť storočia. Okrem toho v prvej odpovedi spomínam aj iné programovacie jazyky. Mechanizmus vyraďovania súborov, ktoré nie sú duplikátmi ostane rovnaký.

V Linuxu je podpora pipe službou operačního systému, není tedy součástí aplikace. Vůbec nevyužívá souborový systém, data jdou od producenta ke konzumentovi přes velmi malou část operační paměti. Ve Windows je podpora emulována přes soubory a tím má mizerný výkon. Netuším, zda to v pozdějších verzích napravili, ale nemám to jak zjistit. V desítkách to ještě nebylo a obávám se, že to tam stále není.

Vy si naozaj mýlite operačný systém a programovací jazyk. To že je na jednej platforme niečo implementované nejako neznamená, že to tak nutne musí byť implementované aj na iných platformách.

Už som vám naznačoval, že to, čo ste popisovali, je už viac ako 25 rokov vyriešené a teda žiadne súbory tam nie sú. A okrem toho, v PowerShelli idú dáta cez kolónu k spotrebiteľovi cez ešte menšiu časť pamäte ako v Linuxe. Dokumentácia aj zdrojový kód sú tuším otvorené a verejne dostupné.

Kit

  • *****
  • 1 007
    • Zobrazit profil
    • E-mail
Re:Odstranění duplicit a konsolidace dat
« Odpověď #23 kdy: 12. 05. 2026, 19:33:43 »
Už som vám naznačoval, že to, čo ste popisovali, je už viac ako 25 rokov vyriešené a teda žiadne súbory tam nie sú. A okrem toho, v PowerShelli idú dáta cez kolónu k spotrebiteľovi cez ešte menšiu časť pamäte ako v Linuxe. Dokumentácia aj zdrojový kód sú tuším otvorené a verejne dostupné.

Dá se to poznat tak, že tou rourou pošlu třeba 200 GB dat, když je jen 100 GB volného místa v úložišti. Pokud mám pravdu, tak to zkolabuje. Pokud nemám pravdu, tak to proběhne během několika málo sekund.

Ve Windows 10 mi to zkolabovalo.

Re:Odstranění duplicit a konsolidace dat
« Odpověď #24 kdy: 12. 05. 2026, 22:02:34 »
Už som vám naznačoval, že to, čo ste popisovali, je už viac ako 25 rokov vyriešené a teda žiadne súbory tam nie sú. A okrem toho, v PowerShelli idú dáta cez kolónu k spotrebiteľovi cez ešte menšiu časť pamäte ako v Linuxe. Dokumentácia aj zdrojový kód sú tuším otvorené a verejne dostupné.

Dá se to poznat tak, že tou rourou pošlu třeba 200 GB dat, když je jen 100 GB volného místa v úložišti. Pokud mám pravdu, tak to zkolabuje. Pokud nemám pravdu, tak to proběhne během několika málo sekund.

Ve Windows 10 mi to zkolabovalo.

Nehnevajte sa, ale vy naozaj pôsobíte v IT? Nemyslím si, že má pre mňa zmysel pokračovať v debate s niekým, kto očividne nepozná rozdiel medzi programovacím jazykom a operačným systémom, kto sa nenamáha prečítať si navhrnuté riešenie predtým ako sa k nemu vyjadrí a kto sa neobťažuje zistiť si ako veci v skutočnosti fungujú na iných platformách, napriek tomu, že dostane informáciu, že je všetko prístupné a že veci už dávno fungujú inak ako si celé roky myslí.

Neviem, čo vám skrachovalo, v podstate ma to ani nezaujíma, neobťažovali ste sa sem vlepiť príkazy, ktoré ste použili, dohadovať sa o tom, čo to bolo a riešiť to je pre mňa strata času, ale z toho popisu, čo ste sem dali si myslím, že je to úplne mimo kontext toho, čo som písal ja, aj mimo mnou navrhnutého riešenia, pretože v tom nikto žiadne veľké dáta cez kolónu neposiela. To nakoniec v PowerShelli v rámci jeho štandardnej knižnice celkovo nerobí nikto, posielaný je odkaz na objekt .Net obsahujúci metadáta týkajúce sa položky súborového systému, ako napríklad cesta, dátumy, veľkosť, vlastnosti, atď., prípadne ďalšie pridané vlastnosti. Dáta zo súboru sú načítavané prúdom .Net po častiach, inkrementálny hash je tiež počítaný objektom z .Net. To všetko je uvedené už v mojom prvom príspevku.

Správate sa ako troll, ktorý, keď vidí niekde napísané Windows, jednoducho sa potrebuje vyjadriť, že Windows je šmejd, napriek tomu, že daná téma sa Windows vôbec nijako netýka. Okrem toho, že predrečník má vo Windows dáta. Ale má ich aj na Linuxe a PowerShell funguje aj tam. Podobnú skupina tvoria ľudia, ktorí sa správajú rovnako, keď vidia niekde napísané C++. Nebol by som prekvapený, keby ste boli členom oboch skupín.

Ja osobne som do tejto témy zapojil výhradne kvôli tomu, že tu predtým panoval názor, že je nutné kvôli deduplikácii počítať hash z celého objemu dát všetkých súborov, čo teda ani náhodou nie je pravda a aspoň toto si už možno uvedomujete aj vy, takže som rád, že som to mohol objasniť a možno trochu zjednodušiť život aj vám a to napriek tomu, že ste písali, že je to optimalizácia, ktorá nie je potrebná.

Ostatné veci už s dovolením nechávam na vaše samoštúdium.

Kit

  • *****
  • 1 007
    • Zobrazit profil
    • E-mail
Re:Odstranění duplicit a konsolidace dat
« Odpověď #25 kdy: 13. 05. 2026, 09:09:17 »
Neviem, čo vám skrachovalo, v podstate ma to ani nezaujíma, neobťažovali ste sa sem vlepiť príkazy, ktoré ste použili, dohadovať sa o tom, čo to bolo a riešiť to je pre mňa strata času, ale z toho popisu, čo ste sem dali si myslím, že je to úplne mimo kontext toho, čo som písal ja, aj mimo mnou navrhnutého riešenia, pretože v tom nikto žiadne veľké dáta cez kolónu neposiela. To nakoniec v PowerShelli v rámci jeho štandardnej knižnice celkovo nerobí nikto, posielaný je odkaz na objekt .Net obsahujúci metadáta týkajúce sa položky súborového systému, ako napríklad cesta, dátumy, veľkosť, vlastnosti, atď., prípadne ďalšie pridané vlastnosti. Dáta zo súboru sú načítavané prúdom .Net po častiach, inkrementálny hash je tiež počítaný objektom z .Net. To všetko je uvedené už v mojom prvom príspevku.

Přes kolonu běžně posílám desítky GB dat. Jednoduchý příkaz:
Kód: [Vybrat]
tar czvf - adresář | gzip > archiv.tgzFunguje to skvěle, rychle a využiji tím 2 jádra procesoru současně.

Pro deduplikaci souborů:
Kód: [Vybrat]
sha256sum . | sort | filtr_mazající_duplicity

Re:Odstranění duplicit a konsolidace dat
« Odpověď #26 kdy: 13. 05. 2026, 22:18:05 »
Neviem, čo vám skrachovalo, v podstate ma to ani nezaujíma, neobťažovali ste sa sem vlepiť príkazy, ktoré ste použili, dohadovať sa o tom, čo to bolo a riešiť to je pre mňa strata času, ale z toho popisu, čo ste sem dali si myslím, že je to úplne mimo kontext toho, čo som písal ja, aj mimo mnou navrhnutého riešenia, pretože v tom nikto žiadne veľké dáta cez kolónu neposiela. To nakoniec v PowerShelli v rámci jeho štandardnej knižnice celkovo nerobí nikto, posielaný je odkaz na objekt .Net obsahujúci metadáta týkajúce sa položky súborového systému, ako napríklad cesta, dátumy, veľkosť, vlastnosti, atď., prípadne ďalšie pridané vlastnosti. Dáta zo súboru sú načítavané prúdom .Net po častiach, inkrementálny hash je tiež počítaný objektom z .Net. To všetko je uvedené už v mojom prvom príspevku.

Přes kolonu běžně posílám desítky GB dat. Jednoduchý příkaz:
Kód: [Vybrat]
tar czvf - adresář | gzip > archiv.tgzFunguje to skvěle, rychle a využiji tím 2 jádra procesoru současně.

Pro deduplikaci souborů:
Kód: [Vybrat]
sha256sum . | sort | filtr_mazající_duplicity

A? Má to niečo spoločné s mojou prvotnou odpoveďou? Vidíte v nej niekde, že by som cez kolónu posielal nejaké veľké dáta?

Prípadne, má to niečo spoločné s mojou poslednou odpoveďou? Že neviem, čo konkrétne a kde konkrétne ste písali, keď vám to skolabovalo?

Táto konkrétna vec totiž na Windows funguje principiálne rovnako ano na Linuxe. S prihliadnutím na rozdiely v API a v modeli procesov a vlákien. Asi tak od čias NT 3.1. To bol rok asi tak 1993. Už som vám to niekoľkokrát opakoval. Ale je to márne, je to márne, je to očividne márne.

Záver pre mňa: niekde ste počuli niečo, čo platilo pre Windows 95 a ste schopný opakovať to do nekonečna bez toho aby ste sa obťažovali vyhľadať si ako to v skutočnosti je. Plus si ešte mýlite operačný systém a programovací jazyk. Ale to už som písal.

Kit

  • *****
  • 1 007
    • Zobrazit profil
    • E-mail
Re:Odstranění duplicit a konsolidace dat
« Odpověď #27 kdy: Dnes v 15:16:37 »
Neviem, čo vám skrachovalo, v podstate ma to ani nezaujíma, neobťažovali ste sa sem vlepiť príkazy, ktoré ste použili, dohadovať sa o tom, čo to bolo a riešiť to je pre mňa strata času, ale z toho popisu, čo ste sem dali si myslím, že je to úplne mimo kontext toho, čo som písal ja, aj mimo mnou navrhnutého riešenia, pretože v tom nikto žiadne veľké dáta cez kolónu neposiela. To nakoniec v PowerShelli v rámci jeho štandardnej knižnice celkovo nerobí nikto, posielaný je odkaz na objekt .Net obsahujúci metadáta týkajúce sa položky súborového systému, ako napríklad cesta, dátumy, veľkosť, vlastnosti, atď., prípadne ďalšie pridané vlastnosti. Dáta zo súboru sú načítavané prúdom .Net po častiach, inkrementálny hash je tiež počítaný objektom z .Net. To všetko je uvedené už v mojom prvom príspevku.

Přes kolonu běžně posílám desítky GB dat. Jednoduchý příkaz:
Kód: [Vybrat]
tar czvf - adresář | gzip > archiv.tgzFunguje to skvěle, rychle a využiji tím 2 jádra procesoru současně.

Pro deduplikaci souborů:
Kód: [Vybrat]
sha256sum . | sort | filtr_mazající_duplicity

A? Má to niečo spoločné s mojou prvotnou odpoveďou? Vidíte v nej niekde, že by som cez kolónu posielal nejaké veľké dáta?
Citace
... pretože v tom nikto žiadne veľké dáta cez kolónu neposiela.

A to je lež. Už jsem přes kolonu posílal i víc než 1 TB dat, například při kopírování velkého množství souborů mezi disky. Je to rychlejší než příkazem cp a skvěle to funguje i přes ssh.

Táto konkrétna vec totiž na Windows funguje principiálne rovnako ano na Linuxe. S prihliadnutím na rozdiely v API a v modeli procesov a vlákien. Asi tak od čias NT 3.1. To bol rok asi tak 1993. Už som vám to niekoľkokrát opakoval. Ale je to márne, je to márne, je to očividne márne.

Kdyby to ve Windows fungovalo stejně jako v Linuxu, tak by to programátoři používali mnohem častěji, protože je to nejrychlejší možná komunikace mezi běžícími procesy. Množství dat není nijak omezeno velikostí volné operační paměti ani volného místa na úložišti. Píšeš, že v PowerShellu se předává jen odkaz na objekt. Jaký objekt, když procesy mají oddělené adresové prostory? Jedině přes operační systém. A přesně tak to dělají kolony.

Re:Odstranění duplicit a konsolidace dat
« Odpověď #28 kdy: Dnes v 16:50:50 »
A? Má to niečo spoločné s mojou prvotnou odpoveďou? Vidíte v nej niekde, že by som cez kolónu posielal nejaké veľké dáta?
Citace
... pretože v tom nikto žiadne veľké dáta cez kolónu neposiela.

A to je lež.


Lež??? Akože viem, že je to inak a úmyselne vás klamem? Ako si niečo také vôbec môžete dovoliť? Kto si myslíte, že ste???


Už jsem přes kolonu posílal i víc než 1 TB dat, například při kopírování velkého množství souborů mezi disky. Je to rychlejší než příkazem cp a skvěle to funguje i přes ssh.


To pre mňa vôbec nie je relevantné, ja som písal o mojom riešení, teda a o tom ako to má PowerShell.

Kdyby to ve Windows fungovalo stejně jako v Linuxu, tak by to programátoři používali mnohem častěji, protože je to nejrychlejší možná komunikace mezi běžícími procesy. Množství dat není nijak omezeno velikostí volné operační paměti ani volného místa na úložišti. Píšeš, že v PowerShellu se předává jen odkaz na objekt. Jaký objekt, když procesy mají oddělené adresové prostory? Jedině přes operační systém. A přesně tak to dělají kolony.

S takouto mierou nekompetentnosti som sa tu ešte (asi) nestretol. Ale dobre, tak ešte jeden pokus. A pomaly, pre extrémne nechápavých:

Jeden z vašich najväčších problémov, teda okrem toho, že ste troll, je v tom, že si mýlite dojmy s pojmami. Opakovane som vás upozorňoval, že si mýlite operačný systém s programovacím jazykom. Ale nezabralo to.

Moje riešenie používa PowerShell. PowerShell je viac vecí v jednom. Jedna z nich je hostiteľ príkazového riadku. V kontexte môjho riešenia je ale PowerShell použitý ako programovací jazyk.

PowerShell ako taký je normálny používateľský proces a s operačným systémom nemá vôbec nič spoločné. Existujú v ňom kolóny, je to jednoducho abstrakcia postupného spracovania vo viacerých fázach, ale sú implementované na inej úrovni abstrakcie ako kolóny operačného systému.

Nepoužívajú na prenos medzi jednotlivými fázami zápis na štandardný vstup a čítanie zo štandardného vstupu, ale odkaz na objekt. A nie je to žiadny problém, lebo je to všetko v jednom procese. V kontexte PowerShellu totiž používate interné nástroje z jeho štandardnej knižnice, a až keď potrebujete pracovať s externým programom, prenos prechádza cez dáta. Ale aj ten je realizovaný najlepšie ako sa v rámci jeho podkladovej platformy, ktorou je .Net/CLR dá, keby to malo byť pre moje riešenie náhodou dôležité. Zjednodušene povedané.

Všetky vaše poznámky o kolónach vo Windows sú v tomto kontexte teda absolútne mimo. Mnou navrhnuté riešenie nemá s Windows nič spločné. Vy ste doteraz za celé tie roky naozaj nezaregistrovali, že PowerShell funguje aj na Linuxe aj na MacOS?

Čo sa Windows týka, tak tá legenda o dočasných súboroch, ktorú si v komunite asi často opakujete, keď pretrvala štvrtinu storočia po tom ako prestala byť platná, sa týka kolóny v command.com, ten bol naposledy v spotrebiteľskej verzii systému vo Windows 95, možno Windows 98. V podnikovej verzii systému ale už v tej dobe existoval cmd.exe, ktorý bol v podstate prevzaný z OS/2. To bolo asi vo Windows NT 3.1. A cmd.exe používa úplne rovnaký mechanizmus ako Unix.

Minimalistický zdroj, ktorý to potvrdzuje, nájdete tu: https://en.wikipedia.org/wiki/Cmd.exe

Stačí vám to tak? Obávam sa, že nie, tak som špeciálne kvôli vám nechal vygenerovať trochu podrobnejší popis. Samozrejme som to nepísal ja osobne, je to Claude. Požiadal som, aby sa to dalo dobre čítať. Na základe skúsenosti s vami sa zdá, že máte naozaj problémy s chápaním písaného textu.

Na konci máte špeciálny zoznam pre ľudí ako ste vy, teda takých, ktorí keď niekde vidia spomenuté Windows, musia si uľaviť, tak ako pod mojím prvým príspevkom. Celé je to inak celkom zaujímavé čítanie, ktoré by normálnym ľuďom mohlo trochu otvoriť oči o tom aká je história operačných systémov, čo odkiaľ pochádza, čo je odkiaľ prevzaté, atď. Asi si nerobím úplne ilúzie, že by ste to chceli čítať, ale aj tak. Možno si to prečíta niekto iný.

Je to v prílohe ako súbor v markdown.

Kit

  • *****
  • 1 007
    • Zobrazit profil
    • E-mail
Re:Odstranění duplicit a konsolidace dat
« Odpověď #29 kdy: Dnes v 20:04:31 »
A? Má to niečo spoločné s mojou prvotnou odpoveďou? Vidíte v nej niekde, že by som cez kolónu posielal nejaké veľké dáta?
Citace
... pretože v tom nikto žiadne veľké dáta cez kolónu neposiela.

A to je lež.

Lež??? Akože viem, že je to inak a úmyselne vás klamem? Ako si niečo také vôbec môžete dovoliť? Kto si myslíte, že ste???

Pokud jsi jen nevzdělaný, tak se omlouvám. Skutečností je, že v linuxovém světě se kolony běžně používají pro přenos velkých objemů dat, která by se do dočasných objektů ani nemohla vejít.

Ve Windows se takové objemy nepoužívají a proto si vystačí s objekty uloženými v .NET . Pro spuštění kolony v rámci PowerShellu se tedy využívá tato mezivrstva. Pokud však jedním z členů komunikace je vnější proces, tak tuto službu zprostředkovává přímo jádro operačního systému, kterou si PowerShell obalí tak, že uživatel má pocit, že přenos dat dělá přímo PowerShell bez účasti jádra operačního systému.

V Linuxu však .NET ani PowerShell standardně nejsou, takže meziprocesová komunikace se nejjednoduššeji dělá právě pomocí služeb jádra operačního systému.