Příspěvky

61

Server / Re:ZFS + mysql ničí SSD disky

« kdy: 17. 08. 2022, 09:30:33 »

Nejak si matne pamatuji, ze pro btrfs se pro urcite aplikace doporucovalo vypinat CoW.. nebude to i tvuj problem ? Co rika google na ZFS + mysql/myisam + SSD write amplification ? Mas oddeleny write intent log nebo je na stejnem zarizeni?

Mám zraid 1, dva 1GB nvme disky, tedy vše je na těch dvou discích. Kompresi zapnutou. Díky za heslo k hledání "SSD write aplification".  Našel jsem nějaké stížnosti a rady typu.


Cituji např. odsud https://www.reddit.com/r/zfs/comments/khh19e/mariadb_and_zfs/

• Parity RAID is not a good idea with a workload with updates.
• Copy-on-write is not a good idea with a mostly update-in-place workload.
• Compressed records is quite bad with updates-in-place.

Depending on circumstances, using mirror VDEVs for a set of "ZVOL"s might be a good idea.

Ale že to bude až taková katastrofa nikde nepíší, navíc se to mezi těmi pochvalnými návody o zfs úplně ztrácí.

62

Server / ZFS + mysql ničí SSD disky

« kdy: 17. 08. 2022, 00:05:34 »

Zjistil jsem, že když mi běží hodně používaná mysql na zfs (z historických důvodů myisam), ročně to způsobí až 800 TB zapsaných dat.  Používám 1 TB SSD disky s životností 300 - 2000 TB. Tedy životnost disku je něco mezi půl rokem a dvěma a půl lety v závislosti na typu a štěstí, což je žalostně málo. Představoval bych si teoretickou životnost alespoň 8 let.
Optimalizace jako noatime, ashift a velikost bloku jen 4K používám, ale nemají zásadní vliv.

Pokud ta stejná databáze se stejným provozem na ext4, tak za 6 let provozu  provede jen 25 TB zápisu a 6 let staré disky SSD disky navíc jen o velikosti 256 GB jsou opotřebeny jen z malé části.

Vyplývá to z toho co vrátil smart.  smartctl -a /dev/nvme0n1

Také trpí výkon databáze, kdy na ext4 je podstatně lepší i při menší paměti a pomalejších discích.

Nerozumím tomu, jak je možné, že všichni propagátoři zfs zapomínají zmínit takto podstatnou věc. Tedy že zfs není příliš vhodná pro případy, kde je hodně drobných zápisů a změn.

Asi nezbývá než /var/lib/mysq/ dát na ext4.
Kdybych to byl věděl, tak bych nevolil zfs, ale  lvm+DRBD+ext4 s podobnou funkcionalitou, ale bez ničení disků a poklesu výkonu.

Máte někdo podobnou zkušenost?

63

Hardware / Re:Fake SSD na eBay

« kdy: 09. 08. 2022, 15:35:08 »

Mě celkem fascinuje, že se to těm prodejcům vyplatí prodávat. Pokud ještě funguje buyer protection jako dřív (dlouho jsem na ebay nenakupoval), tak pokud pořádáte o refund v případě takovéhoto fejku, tak bez keců vám ebay prachy vrátí. A pokud se to děje u prodejce často, tak mu zruší účet a nic už neprodá.

To opravdu nad tím většina lidí mávne rukou (tohle chápu u věcí za $2)? Neříkejte mi, že to lidi nezjistí....

Nevím jak na ebuy ale Ali je plné hloupých lidí, kteří dovedou dát dobré hodnocení jen za to že jim to přišlo ve slibované době a vypadá to pěkně. Abych našel nějakou recenzi co se zabývá skutečnými parametry, tak to se musí hledat a často vůbec neexistuje.
Ale když to odhalíte, tak si vždycky můžete říct o velkou slevu nebo vrácení peněz, těch lidí co budou vždy spojení je asi většina.

Jinak občas se dá narazit na věci, co jsou podezřele levné, ale fungují dobře. (třeba stmívač LED osvětlení za dolar něco) Zlato se ve slevě neprodává.

64

Windows a jiné systémy / Re:Apple M1 - unzip = kernel panic

« kdy: 14. 10. 2021, 11:41:21 »

Zkusil si to spustit v Rosetta II (tj. Intel) emulaci?

Na commandline stačí před příkaz napsat `arch -x86_64`, např. `arch -x86_64 unzip…`

To by ale ten unzip musel být pro verzi pro intel.

65

Windows a jiné systémy / Re:Apple M1 - unzip = kernel panic

« kdy: 14. 10. 2021, 09:39:53 »

Ještě mě napadá možný workaround. Spustit tam virtuální linux a v něm to rozzipovat. Jestli je to používáním nějaké hardwarové akcelerace, tak ten Linux ji nepoužije a proto snad ani nespadne. Je to pořád několikanásobně lepší řešení to kopírovat na server a zpět.
A nebo prostě tento konkrétní M1 nemá rád větší zátěž v kuse?

66

Server / Re:Od kolika VoIP čísel má smysl vlastní ústředna?

« kdy: 21. 07. 2021, 22:26:09 »

Kamarád prohlásil, že VOIP umřel na COVID.
Všichni mají mobil.
Takže jde jen o službu spojovatelky, která tě z recepce přepojí na tvůj mobil.
(Aby se tvoje mobilní číslo nedostalo do ruky všem.)

Prý jde o to, jestli má někdo koule se pevných oblud na stole zbavit.
Staré struktury prý budou proti, protože už jsou staří, ale přitom vztekle volají z mobilu o 106....

Ještě o tom přemýšlím, taky mám mobil a vymýšlím důvody, proč ten VOIP hrozně potřebuju....ale možná ty argumenty hledám, protože jsem stará struktura...

Ale přece můžu volat přímo z PC bez obludy na stole, nebo mít gigaset sluchátko s nímž se dá chodit jako s mobilem a mobil mohu nechat odpočívat v nabíječce. U většiny mobilů je hůře slyšet než s průměrným voip telefonem.
Na pevném čísle se snadněji může střídat více lidí (zastupitelnost) a je lepší přehled o tom kdo kdy s kým a jak dlouho mluvil. Např.

67

Server / Re:Od kolika VoIP čísel má smysl vlastní ústředna?

« kdy: 21. 07. 2021, 22:20:29 »

Spíš je otázka, jestli jednu ústřednu nebo žádnou. Třeba Odorik.cz nabízí funkce pobočkové ústředny úplně zdarma, platí se jen volání. A je to prostě o starost míň.

68

Windows a jiné systémy / Re:Nahrávání hovorů na Androidu

« kdy: 26. 04. 2021, 09:07:50 »

Pokud  máte neomezené volání, lze nahrání docílit tak, že uděláte konferenci s nahrávacím pevným číslem. To je možné pořídit za jednorázový poplatek 20 Kč např. u Odorik.cz.
Kdyby na to bylo nějaká šikovná apka, zjevně by se tak mohlo dít i automatcky. Svolávání konferencí zjevně nijak blokováno ze strany google není, tedy mělo by jít možné najít nebo napsat aplikaci co funguje na všech telefonech.  To by mohlo být zajímavé především pro organizace, které chtějí nahrávat hovory svých zaměstnanců v pracovní době, třeba proto, že to vyžaduje zákon. Výhoda by byla též, že hovory by se tak ukládaly centrálně a ne na jednotlivých telefonech.

69

Hardware / Re:Podezřele levné EEC DDR3 paměti - kompatibilita

« kdy: 15. 04. 2021, 17:50:24 »

Stávající paměti jsou Registered, ale nové co jste koupil nejsou. To spolu nepojede. Proč nejedou i samostatně je otázka. 1600 MHz paměti ta deska zdá se nepodporuje, může v tom pomoct nový BIOS, ale pokud paměti nutí 1600 MHz a nemají v EEPROM možnost jet na nižší frekvenci, tak to nepojede. Další věc je, že serverové desky/BIOSy jsou na paměti vybíravější. Zažil jsem případy, kdy paměť měla schopnost je na vyšší frekvenci (uměla i nižší), ale serveru se to nelíbilo. Když se přepsala v EEPROM informace, že jede jen na těch nižších, fungovalo to. Ale to je spíš na takové pokusy, co se dá udělat než to dělat běžně. Nejspíš u těch nových nesedí organizace paměti (ranking, single vs double side ap.).
Kupte registrované DDR3 1333 MHz a nejspíš bez potíží pojedou.

Díky to zní rozumě. A protože mámě těch serverů čtyři, mohu paměti přeskládat a dokoupit třeba jen do jednoho. A jeden odstavit jako náhradníka.

70

Hardware / Re:Podezřele levné EEC DDR3 paměti - kompatibilita

« kdy: 15. 04. 2021, 17:47:25 »

Přes Aukro, Bazoš nebo ALiexpress.
https://www.aliexpress.com/wholesale?catId=0&initiative_id=SB_20210415053842&SearchText=DDR3+Ecc+registered

Že mají tolik různých EEC DDR3 použitých na aliexpresu  za zlomek běžné ceny by mne nenapadlo.
Jaký je rozdíl mezi pamětmi pro server a pro desktop? Protože u těch pamětí vždy píší, že jsou jen pro server a nikoli pro desktop.
To tam potom jako jdou zasunout ale nefungují?  Tedy existují EEC pro desktop, které nefungují na serveru?

71

Hardware / Re:Podezřele levné EEC DDR3 paměti - kompatibilita

« kdy: 15. 04. 2021, 15:09:03 »

Tady úplně stejné jako mám v serveru prodávají dva kusy v Nizozemí. Musel bych si to asi nechat přeposlat přes někoho kdo tam je.
https://citywalltrading.nl/product/8gb-2rx8-pc3-10600r-ddr3-1333-registered-ecc-kingston/

A tady nějaký Němec, který zjevně to pošle kamkoli za docela vysoké poštovné.
https://www.ebay.ch/itm/Kingston-8GB-1Rx4-PC3-10600R-registered-ECC-9965516-003-A00LF-/323513344470

72

Hardware / Re:Podezřele levné EEC DDR3 paměti - kompatibilita

« kdy: 15. 04. 2021, 15:03:04 »

Standardni postup je pouzit pameti doporucene vyrobcem:

Výrobci pamětí mívají i své konfigurátory, kde ručí za to, že paměť bude kompatibilní s žádaným systémem (deskou). To taky funguje dobře a najde se tím víc výrobců, než doporučuje výrobce desky. Někdy je to ale za cenu zpomalení (funguje, ale ne v ideálním rytmu) - to už pak chce studovat víc konkrétní specifikaci.

Díky za info.  Zrovna výrobce toho konfigurátor moc nenabízí. https://integralmemory.com/configurator
Je to problém hlavně když někdo ugraduje starší server, tak spousta toho co se doporučuje už není na trhu.

73

Hardware / Re:Podezřele levné EEC DDR3 paměti - kompatibilita

« kdy: 15. 04. 2021, 14:57:33 »

Já kupuji 16 GB DDR3 ECC Reg. maximálně po 500-600,- Kč.
Že jsou jeté mi je fuk, když jedna chcípne, tak je škoda 500-600,- Kč.
Navíc trochu rozumné servery umí věci jako KillChip a Hotspare, takže je fuk, co se tam děje.

A kde to kupujete?  Kupovat do obstarožního serveru nové paměti se nemusí úplně vyplácet a naprostá většina doporučených pamětí může být problém koupit. Takže kupovat to po bazarech nemusí být špatná volba.

74

Hardware / Podezřele levné EEC DDR3 paměti - kompatibilita

« kdy: 15. 04. 2021, 13:13:23 »

Koupili jsme tyto paměti Integral DDR3 8GB 1600MHz ECC CL11 IN3T8GEAJKX.
Jsou za cca 1/4 běžné ceny, tedy levnější než běžné ne EEC paměti. 8GB za něco málo přes tisícovku.

 https://pameti.heureka.cz/integral-ddr3-8gb-1600mhz-ecc-cl11-in3t8geajkx/#specifikace

Pokud se tam přidají, server pípá jako chyba paměti. Pokud se původní paměti oddělají a přidají ty nové, server ani nepípne, ale nejede.

Dle příkazu

Kód: [Vybrat]

dmidecode -t 2

Máme základní desku intel S5520HC . https://ark.intel.com/content/www/us/en/ark/products/36599/intel-server-board-s5520hc.html

Informace o stávající fungující paměti 8GB moduly:

Kód: [Vybrat]

lshw -short -C memory
H/W path              Device       Class      Description
=========================================================
/0/5                               memory     64KiB BIOS
/0/30                              memory     32GiB System Memory
/0/30/0                            memory     8GiB DIMM Synchronous 1333 MHz (0,8 ns)
/0/30/1                            memory     8GiB DIMM Synchronous 1333 MHz (0,8 ns)
/0/30/2                            memory     8GiB DIMM Synchronous 1333 MHz (0,8 ns)
/0/30/3                            memory     8GiB DIMM Synchronous 1333 MHz (0,8 ns)
/0/30/4                            memory     DIMM Synchronous [empty]
/0/30/5                            memory     DIMM Synchronous [empty]
/0/30/6                            memory     DIMM Synchronous [empty]
/0/30/7                            memory     DIMM Synchronous [empty]
/0/30/8                            memory     DIMM Synchronous [empty]
/0/30/9                            memory     DIMM Synchronous [empty]
/0/30/a                            memory     DIMM Synchronous [empty]
/0/30/b                            memory     DIMM Synchronous [empty]
/0/43/45                           memory     192KiB L1 cache
/0/43/46                           memory     1536KiB L2 cache
/0/43/47                           memory     12MiB L3 cache
/0/44                              memory     192KiB L1 cache
/0/48/4a                           memory     192KiB L1 cache
/0/48/4b                           memory     1536KiB L2 cache
/0/48/4c                           memory     12MiB L3 cache
/0/49                              memory     192KiB L1 cache

Kód: [Vybrat]

*-bank:0
description: DIMM Synchronous 1333 MHz (0,8 ns)
product: 9965516-003.A00LF
vendor: AMD
physical id: 0
serial: 0xB22E3D3A
slot: DIMM_A1
size: 8GiB
width: 64 bits
clock: 1333MHz (0.8ns)

Máte někdo zkušenost jak paměť vybrat aby fungovala? Jaké mohou být důvody nefunkčnosti a co se dá dělat?  Nebo je jediná možnost ze čtyř starších serverů poskládat dva s více pamětí?

Nebo prostě nezbývá, než paměti zkoušet koupit na fyzickou osobu, aby bylo možné je ve 14 denní lhůtě vracet v případě že nefungují?

75

Server / Re:Přechod z ext4 na ZFS - podstatné snížení rychlosti databázové aplikace

« kdy: 15. 04. 2021, 12:18:06 »

Tak jsem pořídil jiné disky konkrétně do jednoho ze dvou serverů  GIGABYTE NVMe 1TB SSD  a Patriot VIPER VPN100 SSD 1TB a Patriot VIPER VPN100 SSD 1TB

https://www.alza.cz/gigabyte-nvme-ssd-1tb-d5693273.htm
https://www.alza.cz/patriot-viper-vpn100-ssd-1tb-d5505745.htm

Jsou zapojeny do Raid 1 se  zfs. Jsou zapojeny přes redukce jako https://www.alza.cz/gaming/axagon-pcem2-n-d5710624.htm protože serverová deska je starší a nemá přímo sloty. Schválně každý jiný, aby neměli stejný bug ve firmware a neodešli stejně. Podle mojí zkušenosti (již zjevně více jak 50 disků od toho kdy SSD začali) je zabagovaný nepředvídatelný firmware nejslabší  místo SSD disků.

Co je zajímavé, že ve většině případů naměřím jen cca dvojnásobné množství IOPS oproti těm levným Kingstone diskům.
Kde je ale rozdíl podstatně větší je pokud spustím konkrétně

Kód: [Vybrat]

fio --name=randrw --rw=randrw --direct=1 --ioengine=libaio --bs=16k --numjobs=1 --rwmixread=80 --size=10G --runtime=300 --group_reporting

Je to test, který mi kdosi poradil výše na tomto fóru, aby se testovalo zatížení podobné tomu, jaké dělá databáze.
Při tomto testování těm levným Kingstone diskům příšerně kolísá výkon a pohybuje se mezi 1 IOPS po cca 190 IOPS. U těch nových je to mnohem stabilnější a to mezi 300-400 IOPS.
Co jsem ale nyní u těch starých Kingstonů pozoroval, že testovací 10 GB soubor co se vytváří před začátkem testu to vytvářelo neúměrně dlouho. Tak jsem se chtěl vedle v okně podívat co se děje a spustit htop a přestože systém běží na jiném magnetickém disku, htop mi nechtěl naskočit. Čekal jsem řádově minuty a pořád nic až jsem přerušil ten test pomocí ctrl+c, což ale na reakci také čekalo cca minutu. Zjevně se ty Kingstone disky dovedou úplně zaseknout i na velmi dlouho dobu a způsobovat tak zvláštní a náhodné potíže i libovolné jiné aplikaci pracující s diskem. Pořád přemýšlím jestli je to jejich vlastnost, nebo nějaká vadná série. Je ale pravda, že při běžné práci v notebooku podobné stavy budou asi vzácné a nikdo to jen tak běžně reklamovat nebude.  Případně si nebude jistý, že za to může disk, takže míra reklamací a množství negativních recenzí může být pro Kingstone přijatelná a nemotivuje jej si chybu opravit. I když vytvořit 10 GB soubor není zase něco tak zvláštního.Protože by se nějaká aplikace zasekla na celé minuty jen proto, že jiná aplikace více zapisuje (neskutečně pomalu) asi nebude běžné chování i u těch nejlevnějších disků. Předpokládám proto, že to musí být nějaký Kingstone šlendrián. Je ale pravda, že dražším diskům by tohle rozhodně neprošlo už také proto, že jej používají zdatnější uživatelé na náročnější věci, kteří by si to líbit nenechali a rozmazali by to v recenzích.

Děkuji všem za rady a nápady, snad to pomůže i někomu dalšímu. Ono se podobné chování může přihodit i drahých disků (jeden z prvních SSD disků co jsem měl - určených pro servery byl tak problémový, že po několika reklamacích nakonec vrátili peníze).