ZFS pozastavuje zápis po zaplnění bufferu

[hugochavez]

Jinak možná blbne hw disku? Stál by za to ho prověřit jednak smartem a pak vlastní zfs

Kód: [Vybrat]

zpool scrub all

Disk byl hned po koupi pro jistotu zkontrolován přes "badblocks -w". Díky za tip na zpool scrub. Jen se obávám, že výsledek budu vědět až za několik dní nebo týdnů.

Pokud muzu doporucit soft na recovery dat a analyzu stavu disku (klidne i novych = i ty uz jsou plny defektnich bloku) tak me se osvedcilo tohle https://en.wikipedia.org/wiki/SpinRite 
Napsal to pred lety Steve Gibson coz je takovej malej genius a SW funguje dost dobre i jako "udrzbar sektoru" na soucasnych SSD (pouzit level2 !! NEE level 4)
v pripade ze disk je hodne poskozen, zkousi soft cist stejny bit az 2.000x pri ruznych pozicich hlavy cimz se HDD hodne zahreje =ma sice zabudovanou teplotni stopku, ale podle kapacity a stupne poskozeni nekdy muze cteni dat presto trvat tydny pripadne mesice a nekdy je nutne dat disk v prubehu recovery jeste do lednice 
Stoji $90 a za tech 10let co ho pouzivam me jeste nikdy zadnej HDD neprekvapil tim ze by nahle  kleknul..... Ten soft to ukaze pomerne v predstihu pripadne dokaze zrekonstruovat data z disku kterej UZ KLEKNUL..... pokud tedy u nej neodesel motor protoze s tim zadnej SW nic udelat nemuze.

[Reklama]

[hugochavez]

Log(ZIL) alebo cache (L2ARC)? Sú to pre mňa 2 odlišné partície. Každá má zmysel, každá je určená na niečo iné a spolu sa dopĺňajú.

Přesně tak. L2ARC může být libovolně malá a může se klidně i porouchat, nic se neděje. ZIL je přesný opak - porouchat se nesmí (obsahuje ještě na disk nezapsaná data) a velikost musí mít dostatečnou podle toho, kolik se na disk (maximálně) zapisuje. Pokud se na ZIL nedá zapisovat v dostatečném množství a rychleji než na samotný disk, postrádá smysl a degraduje výkon.

male upresneni ohledne L2ARC:
ZFS provides a read cache in RAM, known as the ARC, to reduce read latency. FreeNAS® adds ARC stats to top(1) and includes the arc_summary.py and arcstat.py tools for monitoring the efficiency of the ARC. If an SSD is dedicated as a cache device, it is known as an L2ARC and ZFS uses it to store more reads which can increase random read performance. However, adding an L2ARC is not a substitute for insufficient RAM as L2ARC needs RAM in order to function. If you do not have enough RAM for a good sized ARC, you will not be increasing performance, and in most cases you will actually hurt performance and could potentially cause system instability. RAM is always faster than disks, so always add as much RAM as possible before determining if the system would benefit from a L2ARC device. If you have a lot of applications that do large amounts of random reads, on a dataset small enough to fit into the L2ARC, read performance may be increased by adding a dedicated cache device using Volume Manager. SSD cache devices only help if your active data is larger than system RAM, but small enough that a significant percentage of it will fit on the SSD.

 As a general rule of thumb, an L2ARC should not be added to a system with less than 64 GB of RAM and the size of an L2ARC should not exceed 5x the amount of RAM.

In some cases, it may be more efficient to have two separate pools: one on SSDs for active data and another on hard drives for rarely used content. After adding an L2ARC, monitor its effectiveness using tools such as arcstat. If you need to increase the size of an existing L2ARC, you can stripe another cache device using Volume Manager. The GUI will always stripe L2ARC, not mirror it, as the contents of L2ARC are recreated at boot. Losing an L2ARC device will not affect the integrity of the pool, but may have an impact on read performance, depending upon the workload and the ratio of dataset size to cache size. Note that a dedicated L2ARC device can not be shared between ZFS pools.
viz. http://doc.freenas.org/9.10/freenas_intro.html?highlight=deduplication#zfs-primer

Jinak kdyz ted koukam na svuj FreeNAS tak ukazuje:
ARC size Cur=22.7GB Avg=22.95G Max=23.4G Min=22.68G
L2ARC nemam
celkova osazena RAM je 32GB

[hugochavez]

Mám si tedy se ZFS hrát na Oracle Solaris nebo FreeBSD (nebo FreeNAS)?

Solaris je komerční placený produkt. Existují free klony, ale jsou málo používané, takže třeba tady nečekej, že ti s tím někdo poradí. FreeNAS je FreeBSD+UI specializovaný na NAS. Možná mají nějakých pár svých extra patchů, které se pak později dostanou do upstream FreeBSD, nevím, jak moc rychle a jestli vůbec. Je to od firmy https://www.ixsystems.com která se na ukládání dat specializuje, má i spešl odladěný HW a komerční podporu. Komerční varianta FreeNAS se jmenuje TrueNAS. S oficiálním hw to není úplně levná záležitost, ale mělo by to být velmi kvalitní.

TrueNAS je enterprise reseni https://www.ixsystems.com/servers/ 
a pro SOHO pouziti maj FreeNAS mini https://www.ixsystems.com/freenas-mini/
kterej je taky moc povedenej a ted koncem Aprila by meli zacit prodavat 8bay-FreeNAS mini.
Ja ten mini chtel kdysi koupit jako hotovy reseni ale v EU to nikdo neprodava a z USA by jen shipping vysel na $200 +DPH+CLO a to me odradilo kdyz cela krabice stala bez disku $1k. Taxem vygoogloval ze ceho to maj smontovany a postavil sem si to sam -ale nemam to tak hezky 
Jinak velky plus techle lidi od iXsystems je ze stavej "storage reseni na miru" =vyzpovidaj zadavatele co na tom chce provozovat za typ dat a jaky objemy a rychlosti a jeho ocekavani atd a podle toho navrhnou reseni a daj to dohromady. Navic je vyhoda ze to delaj ty samy lidi co pisou ten software takze i kdyz jim pak zavola zakaznik/uzivatel s konkretnim problemem tak ten kdo zvedne tlf vi o cem je rec..........na rozdil od spousty jinejch firem kde userovi natlacej hotovej server z regalu a kdyz zavola za tejden na support taxi akorat udela kolecko od 1 debila k druhymu.....

[Lol Phirae]

Pokud muzu doporucit soft na recovery dat a analyzu stavu disku (klidne i novych = i ty uz jsou plny defektnich bloku) tak me se osvedcilo tohle https://en.wikipedia.org/wiki/SpinRite 

Kristova noho!!!

[hugochavez]

Pokud muzu doporucit soft na recovery dat a analyzu stavu disku (klidne i novych = i ty uz jsou plny defektnich bloku) tak me se osvedcilo tohle https://en.wikipedia.org/wiki/SpinRite 

Kristova noho!!!

  jestli mas nejakou konstuktivni kritiku ci info taxem s tim! Jsem samy ucho! 



Clovek se vzdycky muze dozvedet neco zajimavyho a opravit si nazor.
Osobne si nemyslim ze by Gibsonovi slo o $, tim spis ze nabizi ze kazdy muze KDYKOLIV ten soft "vratit" a dostane svy $ zpet. Osobne jsem to tenkrat koupil spis abych podporil jeho tydenni podcast https://www.grc.com/securitynow.htm kterej mi hodne dal a kteej on delaj "na kolene a za svy" a ani nechtel zadny donations. Casem jsem zjistil ze ten SW funguje dost dobre na mizerny SSDka = OCZ mi vzdycky fungovaly par mesicu po fresh install a paxe system zacal obcas sekat, grafika obcas "kouzlila" atd. HW byl stejnej a Linux OS taky, takze to podle me bylo "chcipanim memory cells", projel sem to tim SW a problem na par mesicu zmizel. To je moje osobni zkusenost. To bylo ovsem pred lety, SSD se od ty doby dost zlepsily. Muj znamej zase nemoh najet Widle= nemoh se dostat ke svy praci protoze je fotograf. Tenhle soft mu pomoh' a pak radsi zacal vsechno hned zalohovat+vymenil disk.
Takze "take it or leave it" 
Mimochodem Gibson vetsinu softu co za ty roky napsal dal na net jako freeware, takze to rozhodne neni chlap kterej je posedlej penezma.
Posledni jeho pocin je napr. tohle  https://www.grc.com/never10.htm
 coz je "Never 10 is an easy to use utility which gives users control over
whether their Windows 7 or 8.1 will upgrade itself to Windows 10"
coz napsal jako reakci na to jakym zpusobem vnutil M$ jeho kamaradce upgrade na W10 o kterej ona nikdy nezadala a pak "protoze se ji tam vsechno zmenilo" z nej byla nestastna....
Hint: tady o tom mluvil v utery v podcastu https:/twit.tv/shows/security-now/episodes/553?autostart=false a k dnesnimu dni tam vidim  80k downloads    nezda se ze by lidi jeho softu neverili 
http://www.infoworld.com/article/3049165/microsoft-windows/steve-gibsons-never10-vs-josh-mayfields-gwx-control-panel.html

[Reklama]

[Lol Phirae]

jestli mas nejakou konstuktivni kritiku ci info taxem s tim! Jsem samy ucho! 

Zkus Google.

Pro toho "experta" nemam slušné slovo. Krom podobných snake-oil sraček produkuje ještě FUD typu "OMG, tvůj počítač odpovídá na ping, tvůj firewall nefunguje a hackeři dostanou!!!", "reverzní DNS záznam je strašně nebezpečný" a myslí si, že když budu packety dropovat místo rejectu, tak se počítač stane neviditelným a nikdo se o něm nedozví.

 

[hugochavez]

jestli mas nejakou konstuktivni kritiku ci info taxem s tim! Jsem samy ucho! 

Zkus Google.

Pro toho "experta" nemam slušné slovo. Krom podobných snake-oil sraček produkuje ještě FUD typu "OMG, tvůj počítač odpovídá na ping, tvůj firewall nefunguje a hackeři dostanou!!!", "reverzní DNS záznam je strašně nebezpečný" a myslí si, že když budu packety dropovat místo rejectu, tak se počítač stane neviditelným a nikdo se o něm nedozví.

 

no oznacil's ten soft za podvod taxem se ptal proc a mam si to sam vygooglovat.  prima!

pokud jde o "nebezpecny reverse DNS" musis si uvedomit KDY ten text byl psanej= cca 10 let zpatky.
A nesnazi se tam o nic jinyho nez vysvetlit beznymu americkymu BFU ze kdyz brouzda po netu tak NENI ANONYMNI  protoze existuje jakysi reverzni DNS zaznam ktery ukazuje jeho IP pres kterou se da dostat k jeho ISP ci primo zjistit geolokaci viz.

 "It may be used to uniquely identify you on the Internet. In that way it's like a "supercookie" over which you have no control. You can not disable, delete, or change it.................... we wanted to make you aware of this possibility. Note also that reverse DNS may disclose your geographic location."

Zaroven muze tahle IP prozradit i uzivatelovo "account ID" coz mozna souvisi se zpusobem jakym ISP administruji svy zakazniky v USA= nevysvetluji jim nic o IP adresach apod. ale reknou jim ze kdyz volaj na support kvuli vyuctovani anebo zapojeni/blokovani sluzeb taxe maj zahlasit "cislem uctu" = account ID (odvozene ale v realu od jejich IP pokud ISP neprovozuje DHCP) coz muze byt vy/zneuzito. Napr tim ze sousedovi odhlasis internet protoze te sere vecny stekani jeho psa, anebo mu priobjednas naky Xtra sluzby a oni mu to mileradi zapnou vzdyt prece uvedl spravny account ID)
Takze nic hlubsiho v tom nehledej.

Pokud jde o dropovani ping paketu namisto reject- urcite to neni koser podle "internetove bible" ale ono kdyz nechces aby te nekdo z netu otravoval tak co myslis ze je lepsi? Delat "ze tam nejsi" anebo na kazdy jeho zavolani odpovidat??    

Za sebe muzu rict ze taky nemam zajem odpovidat kdejakymu Cinanovi kterej mi pinga moji verejnou IP (takze taky dropuju pakety) a ani nemam zajem aby mi nekdo scanoval porty.......staci ze semi kolem FW kazdou chvili vometa Google a Baidu...

Jinak kdyz uz jsme u portu, tam co linkujes nahore je ShieldsUp coz je moznost "zvenku" si nechat oskenovat ktery porty jsou open/closed +popis co jsou zac. To mi prijde jako uzitecna vec, sam jsem ji X-krat pouzil kdyz sem neco predelaval na FW a chtel sem se ujistit "ze je zvenku zavreno".
Ale zase! Spustil tu sluzbu pred X lety = v dobe kdy si lidi hromadne nosili z kramu domu router-vetes za par $ ktera navic mela v defaultu aktivovany PlugNplay. A uz tenkrat byla hromada Widli zavirovana a uz tenkrat si trojani a vselijakej bordel otvirali pres PnP porty tak aby botmaster moh' z IRC lip takovej zombie PC komandovat.
Povedomi o internetu a jeho fungovani bylo tenkrat vicemene nulovy..... v 1 z tech podcastu dokonce tvrdil ( a ja nemam duvod mu neverit) ze situace byla tak tragicka ze ze svyho PC videl C-disky Widlaku patricich pod stejnej LAN segment u jeho ISP....!

Jinak muzu te ubezpecit ze clovek kterej->>

Gibson started working on computers as a teenager, and got his first computing job with Stanford University's artificial intelligence lab when he was 15 years old. He studied electrical engineering and computer science at the University of California, Berkeley.

si je urcite vedom toho ze dropnutim ping paketu se pocitac nestava na netu neviditelnym   

https://en.wikipedia.org/wiki/Steve_Gibson_%28computer_programmer%29

https://www.grc.com/sqrl/sqrl.htm

Takze asi tak.

[Lol Phirae]

no oznacil's ten soft za podvod taxem se ptal proc a mam si to sam vygooglovat.  prima!

Jo. Vygoogluj. Definitivně zničit už poškozený disk nekonečnými pokusy o čtení/zápis zvládneš i bez jeho snake-oil utility za 90 dolarů nebo kolik za tu podvodnou sračku chce. Takhle nikdo data recovery nedělá. Krom toho, ten křáp ustrnul vývojem asi před 15 lety, v době, kdy se dal dělat low-level formát z BIOSu. Dnes nic takového samozřejmě není možné a to, co eventálně mohlo kdysi snad něco dělat, je skutečně akorát snake-oil dobrý k definitivnímu doražení nakřáplého disku.

Pokud jde o dropovani ping paketu namisto reject- urcite to neni koser podle "internetove bible" ale ono kdyz nechces aby te nekdo z netu otravoval tak co myslis ze je lepsi? Delat "ze tam nejsi" anebo na kazdy jeho zavolani odpovidat??

Tak já to tady pastnu celý, tu jeho kokotinu:

Ping Reply: RECEIVED (FAILED) — Your system REPLIED to our Ping (ICMP Echo) requests, making it visible on the Internet. Most personal firewalls can be configured to block, drop, and ignore such ping requests in order to better hide systems from hackers. This is highly recommended since "Ping" is among the oldest and most common methods used to locate systems prior to further exploitation.

Když budu pakety dropovat, tak tomu útočníkovi je jasné, že ne že ten počítač neexistuje, ale naopak to, že je za firewallem, protože kdyby tam ten počítač nebyl, tak místo toho dostane od routeru před ním normální odpověď ICMP Destination Unreachable (net unreachable/host unreachable - Type 3 Code 0/1).

si je urcite vedom toho ze dropnutim ping paketu se pocitac nestava na netu neviditelnym   

To je možné, nicméně ten nesmysl furt cpe chudákům, co si - jak jsi správně napsal - jen chtěj zvenku otestovat, jestli jim ten firewall funguje. Permanentně jim ten nesmysl už přes 15 let cpe přes ten jeho Shields-Up který se rozšířil jako mor. Přes 15 let první věc, co potom BFU udělá, je to, že vleze na diskusní fórum výrobce firewallu a začne řvát "Oh noes, your firewall is POS, my computer not stealth, you suck!!!111!".

Je mi úplně jedno, jak je ten test starej, buď ať to aktualizuje nebo ať to vypne místo šíření FUD. Dement.

[hugochavez]

no oznacil's ten soft za podvod taxem se ptal proc a mam si to sam vygooglovat.  prima!

Jo. Vygoogluj. Definitivně zničit už poškozený disk nekonečnými pokusy o čtení/zápis zvládneš i bez jeho snake-oil utility za 90 dolarů............. Takhle nikdo data recovery nedělá. Krom toho, ten křáp ustrnul vývojem asi před 15 lety, v době, kdy se dal dělat low-level formát z BIOSu............co eventálně mohlo kdysi snad něco dělat, je skutečně akorát snake-oil dobrý k definitivnímu doražení nakřáplého disku.

Ten soft byl od zacatku myslenej jako "refreshing the surface" protoze disk controller si casto chybu uvedomi az kdyz uz data nejdou vubec precist= pozde. Navic muze dochazet k tzv. bit-rot =uhnivani bitu, coz je problem ktery napr. resi ZFS pravidelnym SCRUBem. Tenkrat ZFS nebyl takze napad donutit disk "cist jednou za cas VSECHNY bity" byl v tehdejsi dobe prulomovej. A zrejme to fungovalo lip nez cokoliv jinyho na trhu. Druhy ukol byl dostat data z disku kterej je na pokraji smrti "za kazdou cenu"=  a Gibson se tim nikdy netajil ze pokud je disk v klinicky smrti a pouzije se na nej SpinRite jako instance posledni zachrany jak vydolovat data, tak to budou asi taky posledni data ktery vubec poskytne a pak adios amigos!
Coz ale kazdej kdo nema jinou zalohu celkem rad akceptuje. Je ale fakt ze ten soft ve vyvoji zaostal takze napr. uz nezvlada disky s velkyma kapacitama. Anebo -i kdyz by mu melo bejt fuk jakej 'tam nahore" beha OS tak presto nedokaze udelat test na mym NASu kde je 5x1TB a vsechny jsou full encrypted v geli. Trva 45min nez vubec nacte CO a KOLIK tam je disku. Az se k tomu dostanu udelam naky screenshots a pisnu Gibsonovi co on nato. Solo sem ty disky nezkousel.
Dalsi vec kterou mnozi povazujou za vaznej nedostatek je ze nezachranuje data rovnou nekam jinam ale uklada horko tezko precteny bity zpet na medium ktery je stejne jednou nohou v hrobe....
Na druhou stranu napr. level4 povazuju za docela dobrej test kvality= zasifrujes celej disk napr. pomoci TC a pak se vsechny bity ctou, flipnou a zapisou a znovu prectou flipnou a znova zapisou. Paxe udela analyza kolik je vadnejch sektoru. Nekdy jeto tragedie uz u novyho disku. No a jak rikam snake-oil ne-snake-oil na "surface=refresh" SSDcek semito osvedcilo naramne. Nerikam ale ze neexistujou lepsi softy. -ty ale budou asi za jiny $    Ten soft proste JE 15let starej.
BTW dela na novy verzi, mela by bejt ready ted v lete. A kazdej kdo uz licenci ma ze stary verze taxi sosne novou gratis- a takhle to prej bude navzdy = tomu chlapovi skutecne nejde o prachy.

Když budu pakety dropovat, tak tomu útočníkovi je jasné, že ne že ten počítač neexistuje, ale naopak to, že je za firewallem, protože kdyby tam ten počítač nebyl, tak místo toho dostane od routeru před ním normální odpověď ICMP Destination Unreachable (net unreachable/host unreachable - Type 3 Code 0/1).

Jo to mas pravdu ale jaxem uz psal- ber to jako osvetu smerovanou pred 15ti lety beznymu americkymu BFU. Tam nemuzes resit naky routery a ICMP hlasky 

To je možné, nicméně ten nesmysl furt cpe chudákům, co si - jak jsi správně napsal - jen chtěj zvenku otestovat, jestli jim ten firewall funguje. Permanentně jim ten nesmysl už přes 15 let cpe přes ten jeho Shields-Up který se rozšířil jako mor. Přes 15 let první věc, co potom BFU udělá, je to, že vleze na diskusní fórum výrobce firewallu a začne řvát "Oh noes, your firewall is POS, my computer not stealth, you suck!!!111!".

Tak ono ze psousta uzivatelu rve na vyrobce FW ze vyrabej PoS neni az zas tak od veci    Je to v podstate popis realnyho stavu. BTW nedavno si tydlety vykukove zkouseli prolobovat u FCC takovy regule ze by v podstate zarizli firmware jako DD-WRT, Tomato atd.
Ale jinak mas v podstate pravdu. Ale jaxem psal uz driv- tenkrat to byl Wild West (teda nee ze by sme se od ty doby kdovijak posunuli) a napr. Shields-Up byla reakce na totalni komercni sracko-routery ( a sme zas u toho PoS)  ktery oteviraly pres DEFAULTNE AKTIVOVANY PnP (=aby to vsechno fungovalo hned po zapnuti a BFU jim nevolali na support protoze support stoji $ a nezbylo by pak na vejvar pro akcionare) porty do interfernetu jaxi kde jaka kravina anebo trojan v LANu zamanul a v GUI se to tomu chudaku uzivateli ani nezobrazilo!! A mam dojem ze dodneska takovou prasecinu nektery "profesionalni" vyrobci routeru lidem vesele prodavaj. Pak neni jina moznost nez aby externi porty proskenoval nekdo jinej=mene blbej.

Je mi úplně jedno, jak je ten test starej, buď ať to aktualizuje nebo ať to vypne místo šíření FUD. Dement.

  Ber to tak ze to delal ve svym volnym case a provozoval za svy $ na svym zeleze (a upload bandwith neni dodneska v USA nijak levna zalezistost= soudruzi u Netflixu by ti mohli vypravet jak je kdejakej Comcast vykuk chce podojit), takze "darovanemu koni na zuby nesahej" 
Ale aktualizovat by ten svuj web 1x za cas mel.........uz mu to rikalo vic lidi......

[hugochavez]

PS: jen pro orientaci par udaju o mem ZFS systemu.
deska
 http://www.asrockrack.com/general/productdetail.asp?Model=C2750D4I#Specifications 
4x8GB ECC RAM, 5x1TB WD RED (kvuli spotrebe) nastaveny jako RaidZ2 s kompresi LZ4 + full disk encryption Geli  (FreeBSD default crypto protoze Oracle-crypto nelze kvuli copyrightu pouzit) Sifrovani probiha HW AES-NI ktere deska podporuje.

Pokud se nekdo nechal inspirovat a planuje pouzit stejnej typ desky anebo ten druhej typ se 4-jadrem (jinak ale identickej) tak je dobry vedet ze ta deska ma zvlastni uchylku= trva klidne i 40-50 sekund nez vubec nabehne BIOS    do ty doby black screen a vypada to jako by deska byla defektni. To sem si taky ze zacatku myslel taxem zagoogloval a zjistil sem ze nektery Amici vratili i 2 desky jako vadny nez jim u 3ti doslo ze proste neskutecne pomalu nabiha. Jinak s ni problemy uz pak nejsou. Otazka je jestli je chytry delat mix Intel+Marvell nez tam prsknout vsechno od Intelu.

PS: typ se 4jadrem pouzivali donedavna iXsystems do svyho FreeNASmini reseni  https://www.ixsystems.com/freenas-mini/  ale ted uz tam davaj standartne 8mi jadro.