Fórum Root.cz
Hlavní témata => Software => Téma založeno: Benda 04. 11. 2012, 01:40:16
-
Zdravim,
resim v zamestnani problem s ukladanim dat.
Zakoupil jsem server SuperMicro s 10x 2TB disky a rad bych ho vyuzil jako iSCSI uloziste pro virtualni servery pod vmware.
Zkousim Centos 6.3 x64 + zfs (presneji zfsonlinux.org)
Vse funguje, ale i tak mam trosku obavu ohledne spolehlivosti.
Ma nekdo zkusenosti s necim podobnym??
-
Zdravíčko,
na zfsonlinux jsem se koukal taky a měl bych strach to nasadit do produkce. V práci jsem potřeboval rychle nasadit úložiště se ZFS, takže jsem sáhnul po Nexentě. Za rok jsem si byl už se Solarisem natolik jistý, že jsem z Nexenty přešel na OpenIndianu. Rozumnou podporu ZFS má i FreeBSD. Jaký plánujete typ RAIDu? Co je to za krabici od toho Supermicra? Byl v tom i motherboard se SAS řadičem? Počítáte také s disky pro systém, L2ARC a ZIL? Kolik RAM plánujete osadit?
-
jedna se o 3U server (2x800W PSU) 16 x 3,5",
v konfiguraci 2x 500GB (RAID 1) 10x 2TB (RAID 6)
je osazen radicem LSI MegaRAID SAS 9260-16i
8GB RAM
4x core Xeon
-
Zkousim Centos 6.3 x64 + zfs (presneji zfsonlinux.org)
Vse funguje, ale i tak mam trosku obavu ohledne spolehlivosti.
Ma nekdo zkusenosti s necim podobnym??
Môj malý domáci server (Atom D525 + 4GB RAM + 2TB +3TB disky) som prevádzkoval asi 2 roky na Gentoo+zfsonlinux.
Asi pred týždňom som prešiel na FreeBSD.
Všetko, čo doma potrebujem (Apache+PHP+Mysql, nfs, Sambu, Postgresql, Tomcat) som nastavil za 2 dni bez väčších problémov, jediný problém mi teraz robí tlačiareň.
Výkon diskov sa na rovnakom železe zvýšil niekoľkonásobne, FreeBSD+zfs je v oveľa viac otestovaná v produkčnom nasadení ako zfsonlinux, preto je to podľa mňa lepšia volba.
-
Počítáte také s disky pro systém, L2ARC a ZIL? Kolik RAM plánujete osadit?
L2ARC a ZIL disky určite pomôžu výkonu, ja používam na desktope (Gentoo amd64 + zfs) raidz1: pool: desktop
state: ONLINE
scan: scrub repaired 0 in 2h18m with 0 errors on Sat Nov 3 02:02:41 2012
config:
NAME STATE READ WRITE CKSUM
desktop ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
ata-ST3320418AS_5VM1GR1M-part2 ONLINE 0 0 0
ata-WDC_WD10EARS-00Y5B1_WD-WCAV5N460072-part2 ONLINE 0 0 0
ata-SAMSUNG_HD154UI_S1XWJ1KS811196-part2 ONLINE 0 0 0
logs
sda3 ONLINE 0 0 0
cache
ata-OCZ-AGILITY3_OCZ-R672ME4QSRZI2CU5-part4 ONLINE 0 0 0
errors: No known data errorsa rozmýšľam ako dostať nejaký SSD disk na server, ale moja doska toho veľa neumožňuje. PCI mám obsadenú sieťovkou a USB2 je pomalé.
-
Vse funguje, ale i tak mam trosku obavu ohledne spolehlivosti.
Vůbec nepíšeš, na jaké nasazení se to má použít - jestli pro tvoje osobní účely, pro testování, pro vývoj, ...?
Podle mě je tohle konkrétní řešení dobré tak akorát na odpolední hraní si, večerní wow efekt a to je asi tak všechno. Nasadit to do ostré produkce, to mi přijde spíš jako hodně černý humor - na derivátu Solarisu bez mrknutí oka, na FreeBSD dneska už jo (s dostatkem RAM a možná lehkým dotuněním), ale na Linuxu?! Ufff... A v kombinaci s iSCSI už je to úplný sci-fi.
-
Na samozrejme ze ho chci pouzit do ostreho provozu. Urceno na archivaci velkeho objemu dat.
Linux jsem pouzil z duvodu instalace podpurneho SW od vyrobce LSI.
Premyslim ze tak rozbehnu FreeNAS. Nevím jak to potom dopadne s obsluhou raid controlleru.
-
iSCSI umi pristup primo na soubory, ze je nutne nasazovat ZFS? V pripade sdileni disku ven, bych pouzil maximalne tak LVM a filesystem neresil.
-
Mim cilem je takovy lepsi NAS (iSCSI, ftp, samba).
Na rychlost nemam zadne naroky, kdyz to pobezi 10Mbit/s pro zapis tak mi to staci. PRistup bude jen pro 2 servery.
Nejdulezitejsi je dostupnost a moznost vymenit vadny hdd za chodu.
-
Mým cílem :) :) no fuj to jsem se upsal
-
Nejdulezitejsi je dostupnost a moznost vymenit vadny hdd za chodu.
Dobré dostupnosti těžko dosáhneš nasazením experimentální technologie. Vyměňovat vadné HD za chodu můžeš na libovolném RAIDu. Pokud ti jde primárně o dostupnost, kup pořádný hardwarový RAID, dej na to nějaký léty prověřený filesystém a nevymýšlej kraviny :)
-
OK takze tvoje rada je nasadit ext4
-
OK takze tvoje rada je nasadit ext4
Moje rada je nasadit do produkce ověřenou a podporovanou technologii a nebláznit :)
-
Moje rada je nasadit do produkce ověřenou a podporovanou technologii a nebláznit :)
[/quote]
Moc jsi me nepomohl
-
Moc jsi me nepomohl
ext3, ext4, xfs.
-
Moc jsi me nepomohl
ext3, ext4, xfs.
ext4 raději ne :) zrovna jsem řešil problém, kterej firmy naprosto neřeší. extrémní zatížení systému při jeho zaplnění (cca 95%).
ext3 to nedělá (nad stejnými daty) - to, že mám nechat skoro půl terabajtu jen tak volných mi moc nesedí.
-
Nevim pro koho to delas. Jestli je to pro firmu anebo je to jen na hrani, ale ceny NetAppu zacinaji nekde okolo 200KKc.
-
REseni pro firemni data. to pole me stalo 100tic zkuste to sehnat levneji
-
Kaslu na to kdo se boji sere v sini, Rozjedu FreeNAS a dej se vule bozi, stejne ty data bude mit na dvou serverech.
Jinak dik za pomoc
-
Linux jsem pouzil z duvodu instalace podpurneho SW od vyrobce LSI.
Premyslim ze tak rozbehnu FreeNAS. Nevím jak to potom dopadne s obsluhou raid controlleru.
Nejen z těchto důvodů je lepší použít řadič s out-of-band obsluhou. Já jsem osobně spokojen s Areca 12xx a 1680 (podpora v dist. jádře debianu), má vlastní eth a lepší výkon (osobně měřeno přes tiobench) jak LSI Megaraid (o možnostech jako live migrace ani nemluvě :) )
-
No :-) pekny radic skoda ze jsem uz koupil LSI , nechce se mi ho vyhodit stal 16tic
-
S uspechem ve firme pouzivame http://www.open-e.com/ jiz nekolik let.
Je to profi reseni postavene zrejme na linuxu, ten ale neuvidis, vse resi webova konzole.
Ma to i synchronni replikaci na druhy stroj vcetne HA.
Muzu jen doporucit.
-
No :-) pekny radic skoda ze jsem uz koupil LSI , nechce se mi ho vyhodit stal 16tic
OT: Za firemni prachy to jeste chapu, ovsem sam bych za nej tolik nedal, i kdyby byl v zlate krabici. Pro sebe sem koupil starsi "vojetej" LSI8888 na ebay, stal me 60€...
-
Zdravím,
rozhodně bych zůstal u ZFS. Jinak HW raid je pro ZFS zcela kontraproduktivní, to LSI je pro tento účel idealní železo. Místo těch dvou pětistovek na systém bych tam dal dvě ssd, přičemž by na nich byly tři slicy - malej syspool (20GB), ještě menší ZIL (na 10 až 60 sekund zápisu), oboje v mirroru a ze zbytku by se udělal L2ARC (aspoň 60 + 60 GB). Jinak 8GB RAM je na fileserver zoufalost, bude potřeba notně přitlačit, zvlášť při dnešních cenách pamětí...
-
Pokud neni pozadavek na cool veci jako dedup a thin provisioning, proc vlastne FS? Nestaci LVM?
-
No preci jen jeste zkusim ten freenas + megacli od LSI teda pokus se mi porazi to zprovoznit.
Dam vedet v patek snad to stihnu.
Drzte mi palce :-)
-
No preci jen jeste zkusim ten freenas + megacli od LSI teda pokus se mi porazi to zprovoznit.
Pokud bys to myslel vážněji, možná by nebylo od věci zvážit třeba i http://www.ixsystems.com/storage/ix/truenas/
-
Nejdulezitejsi je dostupnost a moznost vymenit vadny hdd za chodu.
Dobré dostupnosti těžko dosáhneš nasazením experimentální technologie. Vyměňovat vadné HD za chodu můžeš na libovolném RAIDu. Pokud ti jde primárně o dostupnost, kup pořádný hardwarový RAID, dej na to nějaký léty prověřený filesystém a nevymýšlej kraviny :)
Bacha. HW raidy jsou primo na compech na ustupu. Je to spis takova setrvacnost adminu kdy to driv jinak neslo a procesory byly pomale. Opravdu spickove odrzovane hw implementace jsou jen v polich a na SAN. S temi poutovymi kartami za dvacku si zadelas akorat na problemy kdyz bude treba pole obnovit.
Z vule nejvyssi bylo u nas na produkci rozhodnuto pomalu vsechny host based hw raidy zlikvidovat. Takze se to dela pouze na urovni dle tebe zrejme poutovych technologii jako je ext3,zfs a veritas. A z volume manageru LVM,(aix),LVM2. Na windows s jejich neschopnym volume managerem zustavaji hw reseni. Widle maji dost problemu samy se sebou a tak v pripade pruseru je umeni je nahodit primo z pole protoze fakt netusis jak ten raid uvnitr funguje. Az si budes nekdy v zahranici vybirat z bankomatu, tak rada techto systemu na sw raidu bezi;) A kvuli vykonu i rada systemu pro obchodovani na burze(pokud nejedou all in memory). Ale nic jsem nerikal...
-
Zdravím,
rozhodně bych zůstal u ZFS. Jinak HW raid je pro ZFS zcela kontraproduktivní, to LSI je pro tento účel idealní železo. Místo těch dvou pětistovek na systém bych tam dal dvě ssd, přičemž by na nich byly tři slicy - malej syspool (20GB), ještě menší ZIL (na 10 až 60 sekund zápisu), oboje v mirroru a ze zbytku by se udělal L2ARC (aspoň 60 + 60 GB). Jinak 8GB RAM je na fileserver zoufalost, bude potřeba notně přitlačit, zvlášť při dnešních cenách pamětí...
Ano mate pravdu s tim ZFS. Je to oficialni stanovisko Oracle. Pro ZFS hromadu blbych disku bez zadne logiky za tim cili JBOD. Jakmile je zatim nejaka logika pripadne mate nekde logicke luny vystavene jeste nedej boze ze stejneho storage poolu uz je to blbe. ZFS si dela statistiky a podle toho prizpusobuje sve chovani per disk. Kdyz mate ty disky ale vystavene z jednoho rekneme raid5 poolu tak se uplne zabiji pozitivni vlastnosti zfs.
To je chyba ktere se dopousti i rada systemovych integratoru. Nekdy je mene vice a to je zrovna ten pripad.
RAM nesouvisi ani tak s tim ze je neco fileserver jako s pouzitym filesystemem. A ZFS je asi nejvic nenazrany fs co jsem za poslednich rekneme 6 let videl.
-
dle tebe zrejme poutovych technologii jako je ext3,zfs a veritas.
To jsem prece vubec nerekl. Rekl jsem, ze ma OP pouzit nejakou osvedcenou technologii. To je podle me bud ext3 nebo LVM na Linuxu nebo ZFS na FreeBSD nebo (jeste lip) Solarisovych derivatech.
Co se tyce hw vs. sw raid, ta debata tady byla nedavno. Oboje má svoje nevýhody. Ja osobne pouzivam sw raidy, takze se dobyvas do otevrenych dveri :)
-
chcem sa spytat, ako stoji kvalita implementacie ZFS v "opensolarisovych" OS, pripadne FreeBSD a v zfsonlinux, v case ked Oracle sa "odstrihol " od podpory opensolarisu ? Nevychadzaju teraz vsetci len z jednych "poslednych open" zdrojákov ?
-
chcem sa spytat, ako stoji kvalita implementacie ZFS v "opensolarisovych" OS, pripadne FreeBSD a v zfsonlinux, v case ked Oracle sa "odstrihol " od podpory opensolarisu ? Nevychadzaju teraz vsetci len z jednych "poslednych open" zdrojákov ?
No tak kazdopadne v solarisovych OS je to delsi dobu a jsou to produkty z "jedne staje"... Ve FreeBSD devitkove rady uz by melo byt uplne v pohode, prece jenom se to taky uz ladi nejaky ten patek - ze zacatku to byla trochu divocina, ale ted uz se to v produkci bezne pouziva.
Z jakych zdrojaku vychazi jaky solarisovy derivat, je popsane na jejich strankach a nejspis i na wiki. Nejde o to, ze by Oracle zverejnovani zdrojaku zarizl, takze nejde o "posledni open".
-
pytam sa preto, lebo vsetky "aktualne"free veci pouzivaju zpool verziu 28 a len Solaris je uz na 33. Osobne mam nasadeny zfsonlinux na ubuntu server 12.04 LTS na domacom NAS-e: 4x2TB, raidz a zatial spokojnost.
-
pytam sa preto, lebo vsetky "aktualne"free veci pouzivaju zpool verziu 28 a len Solaris je uz na 33.
Jo, ted jak na to koukam, tak jsi mel asi pravdu. Zmatlo me, ze jsem kdysi cetl, ze se Illumos chce snazit o binarni kompatibilitu se Solarisem, tak jsem predpokladal, ze ty zakladni veci systemu jsou dal open. Zjevne ale ne, to je teda (pro me) dost nemile prekvapeni :(
-
pytam sa preto, lebo vsetky "aktualne"free veci pouzivaju zpool verziu 28 a len Solaris je uz na 33.
Jo, ted jak na to koukam, tak jsi mel asi pravdu. Zmatlo me, ze jsem kdysi cetl, ze se Illumos chce snazit o binarni kompatibilitu se Solarisem, tak jsem predpokladal, ze ty zakladni veci systemu jsou dal open. Zjevne ale ne, to je teda (pro me) dost nemile prekvapeni :(
Ona ta divergence je ještě větší - nové opensource verze mají verzi poolu nastavenou na 5000 a mají novou vlastnost, nebo spíše pole "feature", ve kterém jsou taxativně definovány jednotlivé vlastnosti FS. Není to podle mě špatný přístup - dobře tak půjdou postihnout rozdíly v implementaci na různých OS.
-
1) vsetky ne-Solaris implementacie ZFS su zalozene na poslednom open-source ZFS, ktore bolo v dostupne pred cca 2 rokmi (Alebo su to 3? ten cas strasne leti). od tej doby v tom viac ci menej placaju vsetky distribucie svoj kod, ako potrebuju. Preto illumos zaviedol verzovanie podla pristupnych ficur miesto sekvencie, ako v nej pokracuje Oracle.
2) Sun/Oracle po uzavreti do ZFS pridal podporu dost zaujimavych veci (enkrypcia, megove bloky) a okrem toho obrovske mnozstvo bugfixov. K tomu sa viaze 3)
3) cena licencie Solarisu je $1000/CPU/rok. Za tuto cenu mozete mat plne podporovany najnovsi Solaris s najnovsimi otestovanymi patchmi, moznostou eskalacii a fixami vasich chyb. Naroky NAS/iSCSI masiny v pohode utiahne jeden 4jadrovy Xeonovy procak z poslednych 2 rokov (budem rad, ak ma opravite v pripade, ze sa mylim).
Predpokladam, ze to znie ako reklama na Solaris, ale nema to tak byt. Len chcem poukazat na to, ze plateny SW nemusi byt vzdy ZLO, ako sa zvykne prezentovat. A cena je podla mna viac nez primerana (zadarmo to ale nie je, no...)
-
Len chcem poukazat na to, ze plateny SW nemusi byt vzdy ZLO, ako sa zvykne prezentovat. A cena je podla mna viac nez primerana (zadarmo to ale nie je, no...)
Zlo to určitě není, pokud za ty peníze dostanu něco, co jinde ne. Ta cena je možná docela dobrá pro větší centralizované úložiště, ale (pokud to takhle, jak píšeš, platí univerzálně) úplně diskvalifikuje tenhle OS ze spousty jiných nasazení - jako firemní desktop, jako OS pro cluster se spoustou uzlů, jako úložiště pro malou firmu apod. A to je škoda, protože Sun (budiž mu země lehká) se myslím docela hezky snažil udělat ze Solarisu univerzální OS.
Já osobně když už chci investovat do učení se nějakého OS, tak jsem raději, když ho potom budu moct nasadit na co největší množství míst (homogenita vždycky správce potěší).
(just my $0.02)