Příspěvky

1201

Vývoj / Re:Vlastní SSD caching pro klasické FS

« kdy: 15. 12. 2020, 19:44:36 »

Jestli je hlavní myšlenkou třeba to, že by to bylo o něco víc, než generická cache (protože by to rozumnělo filesystému, se kterým to pracuje), pak bych do toho, aspoň z počátku, nemotal ty specifické požadavky pro aplikace.

Ano, hlavni myslenka je, ze to rozumi datum - a zde neni rozdil mezi strukturou FS, adresari nebo obsahem vevnitr souboru. Ty genericke cachovaci algoritmy nic takoveho neznaj - a cachuji jen "nahodna" data, nejcasteji podle frekvence uziti. Takze az budete strihat nahodne video, cache vam otravi velky soubor ze vcerejska, a pak bude trvat tydny nez se to zaplni potrebnymi informacemi.

Snaha je zvysit celkovou/obecnou rychlost uloziste - bez nutnosti profilovat uzivatelske chovani, takze se zameruji na odstraneni zbytecneho "HDD seek"-u, tj. nutnosti nacitat lookup data pred vlastnimi daty (at uz to je inode table nebo adresare). Tj. cachovat VSECHNY tyto informace.

Princip, ze se udela predavani metadat v ramci hierarchie VFS v kernelu (tzv. "barveni dat") by neumoznil to rozsirit na cachovani casti souboru.

Goal: napoprve udelat find . nebo ls -r bez nutnosti pristupu na HDD, zcela jen ze SSD cache (vyjma prvotni inicializace teto chache, pri jeji aktivaci)

1202

Vývoj / Vlastní SSD caching pro klasické FS

« kdy: 15. 12. 2020, 15:58:30 »

Mam rozpracovan napad na blokovou SSD cache, tak bych se podelil o myslenky v zajmu o feedback.

Nekteri z nas pouzivaj radeji klasicke filesystemy (ext4), at uz kvuli opravitelnosti, znamemu chovani nebo z jineho duvodu, ale kdyz se me nasbirali desitky TB dat, tak je to ponekud pomalejsi - all-SSD reseni jeste porad neprichazi do uvahy, takze zustava cesta vylepseni vykonu skrze pouziti SSD - jako cache.

Cteci cesta - v SSD se drzi sparse file hlavniho HDD uloziste (na blokove urovni) - s tim ze kdyz je to hit, tak to vraci data rychle ze SSD. Urceni toho, co se ma cachovat trocha pripomina princip jako u prvnich SSD, ktere snoopovali prenaseny obsah - a kdyz se jednalo o casto zapisovanou fat-ku tak delali wear levelling. Ja tady pocitam s tim, ze ta mezivrstva dekoduje strukturu FS do urcite miry, takze vi ktere bloky patri k inode tables a bitmapam, a pak taky muzu jit dal - zapinovat do SSD rovnou i soubory adresaru, nebo malych souboru, pripadne urciteho podadresare (hot pracovni data), nebo v pripade potreby i casti vetsich souboru - napr. meta+thumbnaily z DNG/cDNG nebo metadata/audiotrack z muxovanych video souboru.

Zapisova cesta by mohla jit pres klasicky ssd journal, s opozdenym vyprazdnovanim, coz je spis separatni tema/projekt (resp. tohle by melo bcache zvladat obstojne).

Prvni realizaci planuji skrze userspace - takze se nabizi sitove blokove protokoly (NBD, iSCSI), do kterych muzu vlozit svuj man-in-the-middle processing. Hledal jsem userspace block device, ale je to jen zamaskovane NBD - userspace server. Uzivatelske rizeni pinovani by byla CLI utilita, komunikujici s tim cachovacim jadrem, snooping by bezel zatim vyhradne pro dekodovani EXT4, s tim ze nektere souborove udalosti by zadnimi vratky dostaval skrze iNotify. Pozdeji implementace muze presunout to jadro do kernelu, at odpadne zbytecne kopirovani (bavime se o vyssich stovkach MB/s - co by dal klasicke hdd raid pole). Jeste by se to dalo vylepsit presunem me cache pod LVM a MD vrstvu, takze zapinovany by zustal i cely stripe, ktery obsahuje castecne menici se data, takze by to snizilo rezii pro read-modify-write.

Mam za to, ze nic takoveho neexistuje, a konkurencni LVM cache, bcache, EnhanceIO neumi presne to, co ja chci - resi spis genericky cachovani, ale aplikacne specificky, napr. pro obsah, kterym disponuje programator ci video-editor se to nehodi.

Co si o tom myslite? Kdo ma zajem naprogramovat neco podobneho? At uz jako skolni praci, nebo placene?

1203

Sítě / Re:Smart switch 16 portů do 10" racku?

« kdy: 15. 12. 2020, 13:02:03 »

Vypada ze existuje EU verze, s koncovkou "v2" -
https://www.czc.cz/zyxel-gs1100-16v2/303698/produkt

GS1100 je bohužel "hloupý" switch, spravovatelná je právě až ta GS1900.

Geez, to byl chytak.. uz se Google inspiruje u seznamu.. ze vraci NERELEVANTNI, ale placene vysledky, a nez jsem otevrel stranku, zapomnel jsem, co jsem to hledal - omlouvam se za ruchy

1204

Sítě / Re:Smart switch 16 portů do 10" racku?

« kdy: 15. 12. 2020, 10:49:11 »

GS1900-16 jsem presne z tohohle duvodu porizoval ze zahranici. Ted uz ho nepotrebuju, tak ho pripadne muzu prenechat (bohuzel bez zaruky, ale funguje stale).

Vypada ze existuje EU verze, s koncovkou "v2" -
https://www.czc.cz/zyxel-gs1100-16v2/303698/produkt

By me zajimalo, co branilo EU distribuci puvodni verze

1205

Hardware / Re:Pokus o záchranu flashdisku

« kdy: 14. 12. 2020, 15:02:59 »

Tohle vypada spis jako nejaka cinska "pretaktovana" flashka, nemelo to nahodou 2TB?

Pokud si vygooglis "XXXXXXXX U181CONTROLLER", tak najdes nejake utility "pro vyrobce flashek" (anebo je to jen chytry trojan.. zkouset to nebudu - doporucuji to poustet na kopii systemu na nezavislem PC a pak ten OS smazat).

1206

Hardware / Re:Výběr hardware pro NAS

« kdy: 13. 12. 2020, 14:17:49 »

Ten 500W zdroj je hodne overkill, na ten 10W atom a malo disku. (cca 4W idle, 10W max kazdej), takze over jaka je ucinnost u te zateze kolem 100W. Osobne bych tam dal nejaky tichy 300-350W model.

Pokud planujes jit do desktop case a noveho vybaveni, tak je nesmysl kupovat ITX board - jsi silene omezen v rozsiritelnosti (jak u sata, tak u pcie). Zvaz treba nejakou pouzitou lepsi desku (z170-z370) a dej tam nejnizsi celer/pentium. Spotrebou budes v idle nekde kolem 15W, ale v pripade potreby to neco spocita, oproti tem atomum.

Osobne jsem mel asi dva roky NAS s 6 disky a ITX deskou v trocha specifictejsi Node 304 bedne, deska Z87-IPRO (byvalej desktop s 4790K) s 6 SATA a plnym PCIe (chvili 10GbE) + cpu zmenen na G3220 pro NAS pouziti. Vyhodou je chlazeni podel disku, ne z boku skrze prekazku, je tam dost prostor pro prutok vzduchu kolem.

https://www.fractal-design.com/products/cases/node/node-304/black/
https://www.asus.com/sg/Motherboards/Z87IPRO/

Trocha odbocka:

Nyni si hraju s timto (diky "za odvoz" akci): https://www.supermicro.com/en/products/motherboard/X10SLE-F
Vsechny i3/celer/pentia (haswell, broadwell) co tam jdou nastrkat podporuji ECC, napajeni z 12V only (+5Vsb).
S tim G3220 a 8G to zere 13W v idle, a zvazuji ze se to nasadi jako storage node - ma to 5 sata / 2xGbE, ale existuje i 10GbE karticka do toho.. zde ale hraje trocha stesti na eBay.

Z podobne X10 generace (ekvivalent 1150 / 4-th gen Intel) se daji sehnat levne desktopove desky, jen to ECC vyzaduje UDIMM coz neni uplne bezny, tak zvaz zda potrebujes nutne nove zelezo, nebo radeji stari, ktere se "sebeopravuje" a ma KVM over IP (-F verze u supermicro)

Na druhou stranu, u desktop desek mas vetsinou vhodnejsi video vystup, pokud bys nahodou chtel na tom stavet lokalni media server.

1207

Bazar / Re:Sháním backplate pro AM4

« kdy: 12. 12. 2020, 21:57:17 »

@by_cx - co se te desce stalo / odeslo na ni ?

1208

Hardware / Re:Při kolika vadných sektorech vyměnit disk

« kdy: 12. 12. 2020, 01:39:47 »

Tady jsou dva disky (oba WD RED, 6TB - WDCWD60EFRX-68L0BN1), pochazejici ze stejneho pole (takze zatez stejneho razu, ale vesmes domaci pohodicka):

Kód: [Vybrat]

2020-02-09 15:00 got 0 pending, 0 reallocated
2020-05-04 22:00 got 1 pending, 0 reallocated
2020-05-05 00:00 got 4 pending, 0 reallocated
2020-05-05 10:00 got 7 pending, 0 reallocated
2020-05-05 11:00 got 3 pending, 0 reallocated
2020-05-09 00:00 got 12 pending, 0 reallocated
2020-05-09 01:00 got 16 pending, 0 reallocated
2020-05-11 02:00 got 21 pending, 0 reallocated
2020-05-11 08:00 got 0 pending, 97 reallocated
2020-05-11 23:00 got 2 pending, 97 reallocated

Od 7. prosince se to pole (nedegradovane) odkopirovalo jinam, ale je videt ze u toho cteni temer celeho povrchu (minus oblasti kde by byla parita) dost narostl pocet realokovanych sektoru:

Kód: [Vybrat]

2020-02-09 15:00 got 0 pending, 0 reallocated
2020-11-15 12:00 got 4 pending, 0 reallocated
2020-11-15 13:00 got 0 pending, 0 reallocated
2020-11-20 20:00 got 0 pending, 40 reallocated
2020-11-23 18:00 got 0 pending, 41 reallocated
2020-11-24 16:00 got 0 pending, 43 reallocated
2020-11-24 22:00 got 3 pending, 44 reallocated
2020-12-07 15:00 got 3 pending, 50 reallocated
2020-12-07 17:00 got 1 pending, 116 reallocated
2020-12-07 18:00 got 3 pending, 230 reallocated
2020-12-07 19:00 got 4 pending, 242 reallocated
2020-12-08 22:00 got 5 pending, 242 reallocated

Treti disk umrel podobne v dubnu, 14 dni pred koncem zaruky (dostal jsem SMR *EFAX model, ktery jsem rovnou prodal). Tamten z kvetna to vzdal 14 dnu po zaruce. A za pul roku po zaruce treti. Ze 4 disku kupovanych najednou zije tedy jen 1. Ve stejnem poli byly i dva WD Green, a umrel jen jeden - po 6-ti letech

Takze pending muzou zmiznout (treba zapisem), ale reallocated uz nikoliv.

1209

Sítě / Re:Počet IRQ/sec na paket při trafficu

« kdy: 11. 12. 2020, 13:35:53 »

To chce lepsi/chytrejsi kartu, kdyz to myslite se sitarinou vazne - takovou, ktera nedela IRQ na kazdej paket, to je totiz velice praveky pristup

https://en.wikipedia.org/wiki/Interrupt_coalescing

1210

Hardware / Re:Externí 2.5" HDD bez SMR

« kdy: 10. 12. 2020, 20:38:08 »

Mám 4 TB externí disk od Seagatu, tloušťka 21mm a tak bych si dovolil nabídnout premisu, že do 7 nebo 9 mm tloušťky se 2 TB bez SMR jednoduše nevejdou.

a je to NonSMR? jakej model? je jeste v prodeji? ;-)

Je to SMR samozrejme (je to v 15mm rade 3/4/5TB), a uprimne, pri rychlosti kolem 120 az 70MB/s, je to zcela jedno.
https://www.seagate.com/www-content/product-content/seagate-laptop-fam/barracuda_25/en-us/docs/100804767c.pdf

Mam tyto 4TB pouzity v poli jako "cold storage", na data, ktere jsou spis urceny ke smazani, protoze se na ne nesahlo X let a nejsou zrejme uz nikdy potreba.

Prece nebudete ukladat miliony malych souboru nebo delat read-modify-write nad takovem chudem ulozisti.
By me zajimala jaka je vlastne motivace si porizovat 2T 2.5" disk, kdyz muzete mit omnoho lepsi SSD v 2.5", nebo omnoho vetsi kapacitu v 3.5".


2T/2.5" v 15mm (tj. bez SMR) se delalo jako WD20NPVZ (wd blue) nebo WD20NPVX (wd green), pred cca 5+ lety.

1211

Hardware / Re:Při kolika vadných sektorech vyměnit disk

« kdy: 09. 12. 2020, 11:53:13 »

Ahoj,

jak se díváte na vadné sektory na disku? Když např. disk hlásí, že má 47 vadných sektorů? S.M.A.R.T disku zatím hlásí, že je disk OK, ale vím, že někdo už by ho vyměnil. Máte nějaké pravidlo nebo existuje best practise?

Podotázka: Hlásí vadné sektory jen klasické disky nebo i SSD disky?

Díky

@admin: Omlouvám se, dal jsem to omylem do špatné sekce, ale sám to neumím přehodit jinam, díky

Menit co nejdrive - projev "disk ma vadny sektory" (a uz je jedno jestli v pending, nebo opravdu vadnych) znaci ze disk opravdu odchazi, a neni radno to riskovat.

Pokud mas treba RAID-6, tak nemusis zas uplne spechat, protoze to umi obnovit data ze zbylych disku. Nekdy pak problemy se spatnymi sektory zmizi po zapisu (takze je mozne v raidu pustit repair, ktery by mel zapsat na necitelny disk obnovena data ze zbytku pole).

Nikdy jsem ve SMART nevidel nic jineho nez "OK" - tedy az na jeden pripad ze soucasnoti, kdy Intel SSD ma ve starem firmware bug, ze to crashne a disk se odmita uplne bavit - nejde ani preflashovat, to fakt potesi, kdyz po secure-erase mate najednou tezitko :-) Netusil jsem ze to neni erase, ale self-destruct

U SSD nemas klasicke vadne sektory, ale Wear indicator, typicky jako procentualni metriku. A pak je dobre se treba divat na zapsanej objem dat a porovnat se specifikaci.

1212

Windows a jiné systémy / Re:Podpora iOS aplikací na intel Macboocích

« kdy: 09. 12. 2020, 11:39:57 »

Prý Big Sur umožní spouštět ipadové a iosové aplikace. Bude to ale fungovat na Macboocích s Intel procesormi?

(titulek:Podpora iOS aplikací na intel Macboocích)

Ktera iOS aplikace stoji za provoz na pocitaci, ze nema zadnou nahradu/ekvivalent, a stoji to i za to silene degradovane UX, protoze zadny Apple kompy nemaj ani v roce 2020 touchscreen?

1213

Software / Re:Oprava poškozených JPG souborů

« kdy: 06. 12. 2020, 16:29:34 »

bzip2 a porovnej velikost, pokud se to zkompresi na mene nez 95% velikosti, tak ty soubory data neobsahuji a byli jen pred-alokovane a neobnovis z toho nic.

1214

Hardware / Re:Datové disky pro malý server

« kdy: 04. 12. 2020, 17:10:10 »

Tie 2 spominane SSD co mam v internych SATA portoch RAID1 a bezi tam proxmox, tak su 250 GB. Ako som uz napisal, mam k dispozicii dalsie 2x USB 3.0 a este je tam 1x M.2 NVMe slot (PCIe 2.0 x 4, supports NGFF-2280 cards). Ten ale nemam vyuzity vobec, ale pri tom porte je uvedene M.2 SATA SSD is not supported. Takze do uvahy pripadaju len 2x USB 3.0.
eMMC ani nespominam, lebo to asi nevyuzijem

Pak existuje jeste kompromis - pouzit 1 SATA + 1 USB pro kazdy RAID-1, a to tak, ze na externi USB nastavite write-mostly, viz https://raid.wiki.kernel.org/index.php/Write-mostly

Zapisy tedy pojedou na oba, a pro cteni bude preferovana kopie ktera je pripojena interne skrze SATA.
Bude to imho mit maly vliv na vykon - propad zpusoben pouzitim jen jednoho media, protoze bezne se u mirroru pod mdraid pri vice-vlaknovem cteni vyuzivaji obe media, takze zrcadlene pole dava vyssi READ IOPS, nez jeden disk.

Pro vas je to asi jedno, pokud dobre chapu tak je to nejaka lowcost/lowpower a celkove nevykonna plaforma pro nenarocne chroustani. Vyhoda bude, ze muzete odpojit obe externi zarizeni v pripade napr. uklidu a system pojede (a nezapomente zapnout bitmapu, at se to resyncuje jen ve zmenenych castech).

PS:
Kdyby jste chtel ciste reseni a doinstalovat interni SATA, tak petiportovej radic pro M2 type M (x4 PCIe) existuje:
https://www.ybotonair.com/index.php?main_page=product_info&products_id=251172
Ten cip je pripojen ale jenom skrze dve Gen3 linky, u vas by jel v Gen2x2, tj. cca 800 MB/s pro pet disku.

1215

/dev/null / Re:Zrušená objednávka směle míří ke mně

« kdy: 04. 12. 2020, 13:48:19 »

voni beztak dobře věděj že vobědnávka byla stornovaná a prostě to zkoušej jestli jim nato skočíš a přecijen si to vod nich nevemeš

Pokud je zbozi je az tak nedostatkove, a je po nem poptavka - tak muze dat inzerat a prodat jeste s vydelkem, i kdyby to prodejci doplatil :-)