Příspěvky

3346

Server / Re:ZFS pozastavuje zápis po zaplnění bufferu

« kdy: 08. 03. 2016, 09:04:42 »

Na 4-diskovým RAIDZ-1, SATA disky WDC WD5002ABYS-02B1B0 7200RPM, bez L2ARC, bez šifrování, deska obstarožní supermicro, Xeon E5405@2.00GHz, FreeBSD 10:

Kód: [Vybrat]

# dd if=ubuntu-14.04-server-amd64.iso of=/dev/null bs=1M
564+0 records in
564+0 records out
591396864 bytes transferred in 3.092000 secs (191266773 bytes/sec)

# dd if=/dev/ada0 of=/dev/null bs=1M count=564
564+0 records in
564+0 records out
591396864 bytes transferred in 5.133316 secs (115207569 bytes/sec)

Při druhém spuštění - nacachováno v RAM:

Kód: [Vybrat]

# dd if=ubuntu-14.04-server-amd64.iso of=/dev/null bs=1M
564+0 records in
564+0 records out
591396864 bytes transferred in 0.190847 secs (3098798373 bytes/sec)

3347

Server / Re: ma ty prostoto!

« kdy: 08. 03. 2016, 08:53:28 »

Jaky rychlosti z toho tlacis ty? a s jakyma HDD??

Nemam nikde srovnatelnou kombinaci. Na serverech mam bud jenom dva disky v mirroru, nebo vic, ale bez šifrování. Ale co si matně pamatuju, tak GELI s AES-NI by mělo dávat víc než disky a ty WD RED dají taky určitě kolem 100MBps. Hashe ti procesor rozhodně nevytíží, takže tam bych úzký hrdlo taky nehledal a čtení z víc disků by mělo dávat víc než z jednoho...

Schválně zkus přímo na tom stroji pustit přes sysutils/dd_rescue nějakej zaručeně nenacachovanej soubor do /dev/null, kolik ti to hodí.

3348

Server / Re: ma ty prostoto!

« kdy: 08. 03. 2016, 00:41:51 »

Download uz je jiny kafe=cca 60MB/s. ZFS pool je namountovanej na Linux pres NFS. Sambu nepouzivam a tipuju ze rychlosti by byly o poznani nizsi. Jinak trafik jde pres 1Gb switch a pfSense router (ten ma taky 1Gb sitovku) protoze server je na jiny LAN nez noutas, coz by ale nemelo mit zasadnejsi vliv na rychlost....... Takze asi tak )

Tech 60MBps bude asi spis tim NFSkem nebo siti, ne? Kdybys to pustil lokalne do /dev/null, tak ti to da urco vic, ne?

3349

Server / Re:ZFS pozastavuje zápis po zaplnění bufferu

« kdy: 07. 03. 2016, 23:47:36 »

Čemu vadí L2ARC na SSD disku? Neměl by naopak urychlovat čtení?

Ale míň než RAM. P se ti snažil říct, že dokud můžeš, máš přidávat RAM. Až když nemůžeš, dávat SSD.

3350

Server / Re:ZFS pozastavuje zápis po zaplnění bufferu

« kdy: 07. 03. 2016, 18:44:46 »

Log(ZIL) alebo cache (L2ARC)? Sú to pre mňa 2 odlišné partície. Každá má zmysel, každá je určená na niečo iné a spolu sa dopĺňajú.

Přesně tak. L2ARC může být libovolně malá a může se klidně i porouchat, nic se neděje. ZIL je přesný opak - porouchat se nesmí (obsahuje ještě na disk nezapsaná data) a velikost musí mít dostatečnou podle toho, kolik se na disk (maximálně) zapisuje. Pokud se na ZIL nedá zapisovat v dostatečném množství a rychleji než na samotný disk, postrádá smysl a degraduje výkon.

3351

Studium a uplatnění / Re:Proč tolik matematiky?

« kdy: 07. 03. 2016, 10:12:43 »

Trebas CSU ma dost zvlasne udelane kategorie, takze tam jsem nepochodil. Ale cisla bych videl urcite rad.

ČSÚ určitě ne, to je příliš hrubé členění. Ani podobný US úřad to nemá o moc lepší. Museli bysme jít do nějakých specializovaných studií na tohle téma. Nějaké údaje mají recruiteři, ale tam bys zas řekl, že ti operují jenom s inzeráty na lopaty

3352

Studium a uplatnění / Re:Proč tolik matematiky?

« kdy: 07. 03. 2016, 09:18:46 »

Driv mivala obdobna firma IT cloveka, dnes naklikaji gmail, gapps a dropbox a "jsou hotovi". (Ja netvrdim, ze delaji dobre nebo spatne. Jen, ze se to deje, a nejspis bude dit ve vzrustajici mire.)

Ta "vzrustajici mira" ale není (zatím?) nijak vysoká: podle průzkumu citovaného tady [1] ~ 20% firem používá GDocs v nějaké míře, z toho třetina v celé organizaci. Takže to je cca 6% celku a pořád to ještě neznamená exkluzivní použití s vyloučením jiné infrastruktury.

Proti tomu tady máme daleko silnější trendy, kvůli kterým naopak firmy nějaké "základní"/"běžné" ajťáky shánějí jak šílené.

Ale myslím, že se o tom nemá cenu bavit na téhle úrovni. Pokud tě zajímá pravda, zkus najít nějakou statistiku, kolik procent lidí v IT dělá na jaké pozici. Určitě nějaká bude. Chce to jenom hledat (mně se to narychlo nepodařilo).

[1] http://www.techrepublic.com/blog/google-in-the-enterprise/a-study-shows-that-almost-20-of-companies-use-google-apps/

3353

Studium a uplatnění / Re:Proč tolik matematiky?

« kdy: 06. 03. 2016, 23:32:47 »

Krasny priklad je, ted to schytam zprava zleva, SaaS (napsal bych cloud, ale to bych si pak od sebe uz ani kurku nevzal). Neni to tak davno, kde  i relativne male firmy mely extra cloveka na veci, ktere dneska dela stroj (sprava mail, skladiste dokumentu). Polovina toho, co kdysi patlali lidi rucne za ne obstara wordpress.com...

To je pravda. Ale myslím si, že na jeden takovej ztracenej job se vyhrne pět na programování v Javě nebo Javascriptu

Koneckonců, na ty procenta jednotlivých pozic by se daly najít tvrdý data, kdyby se někomu chtělo

3354

Server / Re:Nativní ZFS v Linuxu pozastavuje po zaplnění bufferu zápis na 8 TB disk

« kdy: 06. 03. 2016, 22:59:31 »

Pozerám na výpis. Ak je log partícia veľká 80MB, tak sa veľmi rýchlo zaplní a ďalší zápis drhne.

Áááá, dobrej postřeh, toho jsem si ani nevšimnul, nenapadlo by mě, že někdo bude na ssd vyhrazovat 80MB To by dost stálo za zkoušku ten ZIL odstranit, jak to s výkonem pohne. Může to udělat za běhu, takže pohoda.

3355

Server / Re:ZFS pozastavuje zápis po zaplnění bufferu

« kdy: 06. 03. 2016, 17:46:00 »

Disk byl hned po koupi pro jistotu zkontrolován přes "badblocks -w". Díky za tip na zpool scrub. Je se obávám, že výsledek budu vědět až za několik dní nebo týdnů.

Opakuju: tohle není normální situace, máš tam něco velmi špatně.

To je jeho účel. Potřebuji aby fungoval i plný.

Opět špatný předpoklad/požadavek.

You need to keep free space in your pool. It's mainly for copy-on-write actions and snapshots. Performance declines at about 85% utilization. You can go higher, but there's a definite impact.

http://serverfault.com/questions/511154/zfs-performance-do-i-need-to-keep-free-space-in-a-pool-or-a-file-system

Ty chceš prostě vlastnosti Ferrari a rozpočet máš na Wartburga, to nikdy fungovat nebude. Nemůžeš chtít desítky terrabajtů, postupně přidávat disky za běhu, deduplikovat a jánevímcoještě a honit to na kdovíjaké plečce se 4GB RAM. To prostě nejde, smiř se s tím. Buď to udělej pořádně, nebo to nedělej vůbec, tímhle způsobem nemá smysl se o to snažit.

3356

Studium a uplatnění / Re:Proč tolik matematiky?

« kdy: 06. 03. 2016, 17:40:08 »

Dalsi vliv ma to, co postihlo i fyzicke lopaty - bagr nahradil deset lopat a podobne veci lze pomalu pozorovat i v IT, jak postupne dospiva.

Můžeš uvést pár příkladů? Mně přijde, že je to spíš naopak - s tím, jak dneska má noťas už každý druhý důchodce, množí se dotay typu "ty děláš do těch počítačů, mohl bys mi poradit, proč mi nehrají videa?"

Stejně tak zavádění počítačů (čili i sítě a nějakého toho servříku) do všech firem si vyžaduje nějakého správce...

Nemám pocit, že by se poptávka po nižších IT pozicích snižovala, spíš naopak. Snad možná jenom ty operátorky děrnopáskových terminálů už dneska nepotřebujeme

3357

Studium a uplatnění / Re:Proč tolik matematiky?

« kdy: 06. 03. 2016, 15:58:08 »

Mno, ono to hlavne neni bud-a-nebo, ale spojite spektrum. A takove te "stredni" tridy, kde potrebujes trebas statistiku+algoritmy, najdes docela dost.

Souhlas. Ale myslím, že tam platí nepřímá úměra - čím odbornější/specializovanějsí práce, tím míň lidí je na ni potřeba.

3358

Studium a uplatnění / Re:Proč tolik matematiky?

« kdy: 06. 03. 2016, 15:15:45 »

A casy se ocividne meni.

Nevím jak. Na jednoho programátora překladačů jsou pořád potřeba tisíce programátorů webů.

3359

Studium a uplatnění / Re:Proč tolik matematiky?

« kdy: 06. 03. 2016, 14:29:25 »

Akorát lopaty si myslí, že stačí krumpáč (a lopata)

Na jednoho inženýra s logaritmickým pravítkem bylo potřeba tisíce lidí, kterým krumpáč a lopata stačily.

3360

Vývoj / Re:numpy extract s podmienkou

« kdy: 06. 03. 2016, 09:28:50 »

Já bych se s tím nemazal a udělal bych to takhle: https://gist.github.com/mprymek/5ef88e3d486164dd7fa0

S numpy/pandas úplně rutinně nedělám, takže nedokážu posoudit efektivitu, ale aspoň se s tím takhle pak příjemně pracuje