MC: pořadí kopírování souborů

dustin

Re:MC: pořadí kopírování souborů
« Odpověď #60 kdy: 22. 04. 2016, 09:37:35 »
Pár našich čísel:

XFS, workstation, SSD s velkým git projektem a denně aktualizovou (rsyncem) mysql innodb files per table, compass db (předchůdce elasticsearch), 50% plno

Kód: [Vybrat]
actual 245249, ideal 222462, fragmentation factor 9,29%
XFS, stejná workstation, normální denní provoz kořenový fs, 27% plno:

Kód: [Vybrat]
actual 373938, ideal 369220, fragmentation factor 1,26%
XFS, SSD, server, velice aktivní mysql innodb files per table (slave k produkčnímu serveru, obsah úplně stejný jako na výše uvedené workstation), velký git projekt s běžícím CI serverem, zaplnění 55%:

Kód: [Vybrat]
actual 238114, ideal 234700, fragmentation factor 1.43%

XFS, SSD, server, opět kopie mysql files per table, aktualizace rsyncem, poměrně aktivní mongodb, zaplnění 54%

Kód: [Vybrat]
actual 16592, ideal 4383, fragmentation factor 73.58%
XFS, SSD, server, master velice aktivní mysql files per table (90GB, pořád obsahově ta samá), zaplnění 40%

Kód: [Vybrat]
actual 7926, ideal 4640, fragmentation factor 41.46%
XFS, SSD, server, primár pro velice aktivní mongodb (18 GB) zaplnění 12%

Kód: [Vybrat]
actual 14472, ideal 150, fragmentation factor 98.96%

XFS, SSD, server, slave velice aktivní mysql files per table (90GB, pořád obsahově ta samá), compass zaplnění 45%

Kód: [Vybrat]
actual 6020, ideal 4438, fragmentation factor 26.28%
XFS, SSD, server, sekundár velice aktivní mongodb (90GB, pořád obsahově ta samá), zaplnění 8%

Kód: [Vybrat]
actual 10830, ideal 52, fragmentation factor 99.52%
Takže mongodb dělá na XFS s fragmentací psí kusy. 90GB aktivní mysql asi taky.

Nicméně všechno jsou to SSD (s pravidelně spouštěným fstrimem), takže to nijak neřeším.

Na výsledek frag u klasických HDD jsem nečekal, jsou to všechno mnohaTB pole.

Očividně i v XFS na linuxu dochází k fragmentaci (souhlasím s Laelem, že to je z principu nevyhnutelné). Nicméně by se mi vůbec nelíbilo, kdyby mi něco spouštělo defragmentaci na pozadí. A faktem je, že jsem defragmentaci na linuxu nikdy nespouštěl a máme řadu mnoho let starých dost aktivních filesystémů s milióny souborů, které jednou vznikly a pak už jenom rostly spolu s raidovými poli, nikdy nebyly překopírované. A řešit to nebudu ani nyní :-)


Lael.Ophir

Re:MC: pořadí kopírování souborů
« Odpověď #61 kdy: 22. 04. 2016, 10:41:39 »
Očividně i v XFS na linuxu dochází k fragmentaci (souhlasím s Laelem, že to je z principu nevyhnutelné). Nicméně by se mi vůbec nelíbilo, kdyby mi něco spouštělo defragmentaci na pozadí. A faktem je, že jsem defragmentaci na linuxu nikdy nespouštěl a máme řadu mnoho let starých dost aktivních filesystémů s milióny souborů, které jednou vznikly a pak už jenom rostly spolu s raidovými poli, nikdy nebyly překopírované. A řešit to nebudu ani nyní :-)

No vida, vidím že vy máte víc zkušeností, než jen s vlastním desktopem.

Ohledně defragmentace na pozadí: tu Windows automaticky pouštějí jen na desktopu. Na serveru ne, protože se tam předpokládá, že admin bude vědět jak vypadá zátěž a jaké implikace má defragmentační proces.

dustin

Re:MC: pořadí kopírování souborů
« Odpověď #62 kdy: 22. 04. 2016, 11:07:26 »
Nemám zkušenosti s windows, proto se k nim nevyjadřuji. Doporučil bych to samé vám ohledně linuxu, také o něm téměř nic nevíte.

Lael.Ophir

Re:MC: pořadí kopírování souborů
« Odpověď #63 kdy: 22. 04. 2016, 12:18:28 »
Nemám zkušenosti s windows, proto se k nim nevyjadřuji. Doporučil bych to samé vám ohledně linuxu, také o něm téměř nic nevíte.

Tvrdil jsem tu jen zcela zjevné věci, které těžko rozporovat:
- Pořadí souborů v adresáři nekoresponduje s pořadím souborů na disku, a to ani na Linuxu.
- FS běžného typu fragmentují, a to i na Linuxu, protože je to jejich funkční vlastnost.
- Není pravda že defrag na Windows soubory větší než 64MB ignoruje.
- Ve WinXP se komprimují soubory pro odinstalaci Service Packu, a to zvyšuje fragmentaci těch souborů.
- Moje Windows bootují dost pod půl minuty.

Linuxu se týkají první dva body. Pokud se domníváte že říct "FS běžného typu fragmentují, a to i na Linuxu" smí jen člověk který má Tuxe na tričku i na notebooku, tak tedy pardon :)

dustin

Re:MC: pořadí kopírování souborů
« Odpověď #64 kdy: 22. 04. 2016, 13:54:05 »
Žvásty typu

Citace
Ad kupodivu vsechny tuxi FS tak nejak od prirody udrzujou fragmentaci velmi nizkou - kupodivu na většina tuxích FS se data prakticky nehýbou, případně nebyly zaplněny ke 100%. Pokud používáte xterm, browser a mp3 player, protože pro tuxe prakticky nic jiného není, tak ten FS možná opravdu moc nezfragmentujete

Víte velké kulové, kolik mají firmy na linuxu dat, protože jej neznáte, neumíte, nepoužíváte. Jenom tady o něm plácáte nesmysly. Jděte pomáhat svým lidem, to bude aspoň užitečné.


Lael.Ophir

Re:MC: pořadí kopírování souborů
« Odpověď #65 kdy: 22. 04. 2016, 14:12:42 »
Žvásty typu

Citace
Ad kupodivu vsechny tuxi FS tak nejak od prirody udrzujou fragmentaci velmi nizkou - kupodivu na většina tuxích FS se data prakticky nehýbou, případně nebyly zaplněny ke 100%. Pokud používáte xterm, browser a mp3 player, protože pro tuxe prakticky nic jiného není, tak ten FS možná opravdu moc nezfragmentujete

Víte velké kulové, kolik mají firmy na linuxu dat, protože jej neznáte, neumíte, nepoužíváte. Jenom tady o něm plácáte nesmysly. Jděte pomáhat svým lidem, to bude aspoň užitečné.

Pánové argumentovali svými desktopy, na kterých se data většinou moc nehýbají, zvlášť pokud dotyčný primárně administruje jiné systémy přes xterm a píše na root z browseru :). To se už víc data hýbají na desktopu s Windows, protože MSIE používá cache s mnoha soubory, kdežto třeba Firefox používá pár velikých souborů.

Mimochodem vy víte kolik mají firmy dat na Linuxu? Nebo to víte u jedné či pár firem, které máte v dosahu? To když odhlédnu od toho že vůbec netušíte, co mám okolo sebe já. Na okraj bych ještě podotknul, že (dost možná na rozdíl od vás) minimálně dva zdejší diskutéři neznají pořádně Linux, Windows, ani nic jiného.
https://en.wikipedia.org/wiki/Selection_bias

David1234

Re:MC: pořadí kopírování souborů
« Odpověď #66 kdy: 22. 04. 2016, 14:23:06 »
Na okraj bych ještě podotknul, že (dost možná na rozdíl od vás) minimálně dva zdejší diskutéři neznají pořádně Linux, Windows, ani nic jiného.

A co my s tím jako, koho to zajímá? Mají za to snad dostat ban? :D Mimochodem, odpověděl vůbec někdo na původní dotaz? Existuje nějaké řešení?

dustin

Re:MC: pořadí kopírování souborů
« Odpověď #67 kdy: 22. 04. 2016, 14:39:42 »
To když odhlédnu od toho že vůbec netušíte, co mám okolo sebe já.

Očividně ne firmy, které linux aktivně používají, protože jej vůbec neumíte. A právě proto se zde k němu prosím nevyjadřujte a držte se své specializace.

Lol Phirae

Re:MC: pořadí kopírování souborů
« Odpověď #68 kdy: 22. 04. 2016, 15:25:52 »
vůbec netušíte, co mám okolo sebe já

To skutečně netuším, já to totiž vím naprosto přesně. Hromadu vymytých mozků.  ;D ;D ;D

x14

  • ***
  • 182
    • Zobrazit profil
    • E-mail
Re:MC: pořadí kopírování souborů
« Odpověď #69 kdy: 22. 04. 2016, 15:28:56 »
Slušná debata ;D ;D ;D

j

Re:MC: pořadí kopírování souborů
« Odpověď #70 kdy: 22. 04. 2016, 15:33:10 »
NTFS komprimuje soubor po 16 clusterech (obyčejně 64kB). Pokud je soubor původně nekomprimovaný a kompresi na něm zapnete, tak se prvních 64kB souboru zkomprimuje řekněme na 32kB, a zbylých 32kB se dealokuje. To se provede pro každý kompresní blok. Pokud kompresí bloku (64kB) nedojde k uvolnění žádného clusteru (4kB), tak se uloží nekomprimovaný....

Jasne, tohle by muselo napsat podobny hodvadko, jako ses ty. Protoze na komprimovanym FS se komprimuje jeste driv, nez se to vubec ulozi. Takze to funguje presne stejne, jako kdyz si dotycnej uklada rovnou zip.


...
Ano, Windows podporují defragmentatory tretich stran. Nabízejí jim API nezávislé na verzi FS. ...
Megalol ... a proto ty defragmentatory tretich stran hrabou primo na fyzicky sektory na disku, zejo?

..
Mimochodem vy víte kolik mají firmy dat na Linuxu? ...
Vime .... uplne vsechny ... vis luliku, dneska se kupodivu (prakticky yplne vsude) pouziva virtualizace... a tu widlowsi ... nepouziva vubec nikdo.

Lael.Ophir

Re:MC: pořadí kopírování souborů
« Odpověď #71 kdy: 22. 04. 2016, 17:20:09 »
To když odhlédnu od toho že vůbec netušíte, co mám okolo sebe já.

Očividně ne firmy, které linux aktivně používají, protože jej vůbec neumíte. A právě proto se zde k němu prosím nevyjadřujte a držte se své specializace.

Pokud máte konkrétní výhrady, tak sem s nimi. Argumenty stylu "protože jej vůbec neumíte. A právě proto se zde k němu prosím nevyjadřujte a držte se své specializace" neberu.

vůbec netušíte, co mám okolo sebe já

To skutečně netuším, já to totiž vím naprosto přesně. Hromadu vymytých mozků.  ;D ;D ;D

Huš!

Lael.Ophir

Re:MC: pořadí kopírování souborů
« Odpověď #72 kdy: 22. 04. 2016, 17:35:33 »
NTFS komprimuje soubor po 16 clusterech (obyčejně 64kB). Pokud je soubor původně nekomprimovaný a kompresi na něm zapnete, tak se prvních 64kB souboru zkomprimuje řekněme na 32kB, a zbylých 32kB se dealokuje. To se provede pro každý kompresní blok. Pokud kompresí bloku (64kB) nedojde k uvolnění žádného clusteru (4kB), tak se uloží nekomprimovaný....

Jasne, tohle by muselo napsat podobny hodvadko, jako ses ty. Protoze na komprimovanym FS se komprimuje jeste driv, nez se to vubec ulozi. Takze to funguje presne stejne, jako kdyz si dotycnej uklada rovnou zip.

Si tacuisses, philosophus mansisses. Když vytváříte nový soubor v komprimovaném adresáři, tak se samozřejmě nefragmentuje. A srovnávat transparentní kompresi na FS se ZIPem je z více důvodů naprostá pitomost.

...
Ano, Windows podporují defragmentatory tretich stran. Nabízejí jim API nezávislé na verzi FS. ...
Megalol ... a proto ty defragmentatory tretich stran hrabou primo na fyzicky sektory na disku, zejo?

Které konkrétně? Třeba Diskeeper pokud vím používá od NT4 defragmentační API. Verze FS se totiž může klidně zítra změnit patchem, a s ní i on-disk structures. Používání nedokumentovaných vlastností OS je jak známo prasárna, zde navíc s potenciálem způsobit ztrátu dat.

..
Mimochodem vy víte kolik mají firmy dat na Linuxu? ...
Vime .... uplne vsechny ... vis luliku, dneska se kupodivu (prakticky yplne vsude) pouziva virtualizace... a tu widlowsi ... nepouziva vubec nikdo.

Hmm. Máte nějaká konkrétní data, Jeronýmku, nebo zase jen tak plácáte? Tipnu si že B.

Lol Phirae

Re:MC: pořadí kopírování souborů
« Odpověď #73 kdy: 22. 04. 2016, 17:50:39 »
Které konkrétně? Třeba Diskeeper pokud vím používá od NT4 defragmentační API.

Ehm. Diskeeper je ta věc, kterou jste si museli licencovat, protože jste nebyli schopní nic vlastního vyplodit. Už jsme tě tady na to taktně upozorňovali  ::)

Lael.Ophir

Re:MC: pořadí kopírování souborů
« Odpověď #74 kdy: 22. 04. 2016, 18:15:13 »
Které konkrétně? Třeba Diskeeper pokud vím používá od NT4 defragmentační API.

Ehm. Diskeeper je ta věc, kterou jste si museli licencovat, protože jste nebyli schopní nic vlastního vyplodit. Už jsme tě tady na to taktně upozorňovali  ::)

Ale, kdo to nepřišel :). Takže kde jsem podle vás psal, že se moje Windows rebootují několik sekund včetně aktualizací? Zdroj?
http://forum.root.cz/index.php?topic=9090.msg163980#msg163980

Proč lžete že se soubory větší než 64MB na Windows nedefragmentují?
http://forum.root.cz/index.php?topic=9090.msg163980#msg163980
https://blogs.msdn.microsoft.com/e7/2009/01/25/disk-defragmentation-background-and-engineering-the-windows-7-improvements/

No a nakonec: máte nějaký zdroj k tomu že defrag v poslední verzi Windows je licencovaný Diskeeper?
Svého času to tak bylo, ale na tom přece není nic špatného. Nakonec na Linuxu si Linus půjčil glibc a prakticky veškeré tools od GNU. Je to hnus a Linus je neschopný? Nebo to bylo prostě snazší řešení?