Souborový systém pro big data

[Jan Forman]

Moc jsi me nepomohl

ext3, ext4, xfs.

ext4 raději ne zrovna jsem řešil problém, kterej firmy naprosto neřeší. extrémní zatížení systému při jeho zaplnění (cca 95%).
ext3 to nedělá (nad stejnými daty) - to, že mám nechat skoro půl terabajtu jen tak volných mi moc nesedí.

[Reklama]

[Ivan]

Nevim pro koho to delas. Jestli je to pro firmu anebo je to jen na hrani, ale ceny NetAppu zacinaji nekde okolo 200KKc.

[Benda]

REseni pro firemni data. to pole me stalo 100tic zkuste to sehnat levneji

[Benda]

Kaslu na to kdo se boji sere v sini, Rozjedu FreeNAS a dej se vule bozi, stejne ty data bude mit na dvou serverech.
Jinak dik za pomoc

[OndraG]

Linux jsem pouzil z duvodu instalace podpurneho SW od vyrobce LSI.
Premyslim ze tak rozbehnu FreeNAS. Nevím jak to potom dopadne s obsluhou raid controlleru.

Nejen z těchto důvodů je lepší použít řadič s out-of-band obsluhou. Já jsem osobně spokojen s Areca 12xx a 1680 (podpora v dist. jádře debianu), má vlastní eth a lepší výkon (osobně měřeno přes tiobench) jak LSI Megaraid (o možnostech jako live migrace ani nemluvě )

[Reklama]

[Benda]

No :-) pekny radic skoda ze jsem uz koupil LSI , nechce se mi ho vyhodit stal 16tic

[TomJ]

S uspechem ve firme pouzivame http://www.open-e.com/ jiz nekolik let.
Je to profi reseni postavene zrejme na linuxu, ten ale neuvidis, vse resi webova konzole.
Ma to i synchronni replikaci na druhy stroj vcetne HA.
Muzu jen doporucit.

[Rhinox]

No :-) pekny radic skoda ze jsem uz koupil LSI , nechce se mi ho vyhodit stal 16tic

OT: Za firemni prachy to jeste chapu, ovsem sam bych za nej tolik nedal, i kdyby byl v zlate krabici. Pro sebe sem koupil starsi "vojetej" LSI8888 na ebay, stal me 60€...

[Milan Beneš]

Zdravím,
rozhodně bych zůstal u ZFS. Jinak HW raid je pro ZFS zcela kontraproduktivní, to LSI je pro tento účel idealní železo. Místo těch dvou pětistovek na systém bych tam dal dvě ssd, přičemž by na nich byly tři slicy - malej syspool (20GB), ještě menší ZIL (na 10 až 60 sekund zápisu), oboje v mirroru a ze zbytku by se udělal L2ARC (aspoň 60 + 60 GB). Jinak 8GB RAM je na fileserver zoufalost, bude potřeba notně přitlačit, zvlášť při dnešních cenách pamětí...

[Mordae]

Pokud neni pozadavek na cool veci jako dedup a thin provisioning, proc vlastne FS? Nestaci LVM?

[Benda]

No preci jen jeste zkusim ten freenas + megacli od LSI teda pokus se mi porazi to zprovoznit.
Dam vedet v patek snad to stihnu.
Drzte mi palce :-)

[Mirek Prýmek]

No preci jen jeste zkusim ten freenas + megacli od LSI teda pokus se mi porazi to zprovoznit.

Pokud bys to myslel vážněji, možná by nebylo od věci zvážit třeba i http://www.ixsystems.com/storage/ix/truenas/

[Trident]

Nejdulezitejsi je dostupnost a moznost vymenit vadny hdd za chodu.

Dobré dostupnosti těžko dosáhneš nasazením experimentální technologie. Vyměňovat vadné HD za chodu můžeš na libovolném RAIDu. Pokud ti jde primárně o dostupnost, kup pořádný hardwarový RAID, dej na to nějaký léty prověřený filesystém a nevymýšlej kraviny

Bacha. HW raidy jsou primo na compech na ustupu. Je to spis takova setrvacnost adminu kdy to driv jinak neslo a procesory byly pomale. Opravdu spickove odrzovane hw implementace jsou jen v polich a na SAN. S temi poutovymi kartami za dvacku si zadelas akorat na problemy kdyz bude treba pole obnovit.
Z vule nejvyssi bylo u nas na produkci rozhodnuto pomalu vsechny host based hw raidy zlikvidovat. Takze se to dela pouze na urovni dle tebe zrejme  poutovych technologii jako je ext3,zfs a veritas.  A z volume manageru LVM,(aix),LVM2. Na windows s jejich neschopnym volume managerem zustavaji hw reseni. Widle maji dost problemu samy se sebou a tak v pripade pruseru je umeni je nahodit primo z pole protoze fakt netusis jak ten raid uvnitr funguje. Az si budes nekdy v zahranici vybirat z bankomatu, tak rada techto systemu na sw raidu bezi;) A kvuli vykonu i rada systemu pro obchodovani na burze(pokud nejedou all in memory). Ale nic jsem nerikal...

[Trident]

Zdravím,
rozhodně bych zůstal u ZFS. Jinak HW raid je pro ZFS zcela kontraproduktivní, to LSI je pro tento účel idealní železo. Místo těch dvou pětistovek na systém bych tam dal dvě ssd, přičemž by na nich byly tři slicy - malej syspool (20GB), ještě menší ZIL (na 10 až 60 sekund zápisu), oboje v mirroru a ze zbytku by se udělal L2ARC (aspoň 60 + 60 GB). Jinak 8GB RAM je na fileserver zoufalost, bude potřeba notně přitlačit, zvlášť při dnešních cenách pamětí...

Ano mate pravdu s tim ZFS. Je to oficialni stanovisko Oracle. Pro ZFS hromadu blbych disku bez zadne logiky za tim cili JBOD. Jakmile je zatim nejaka logika pripadne mate nekde logicke luny vystavene jeste nedej boze ze stejneho storage poolu uz je to blbe. ZFS si dela statistiky a podle toho prizpusobuje sve chovani per disk. Kdyz mate ty disky ale vystavene z jednoho rekneme raid5 poolu tak se uplne zabiji pozitivni vlastnosti zfs.
To je chyba ktere se dopousti i rada systemovych integratoru. Nekdy je mene vice a to je zrovna ten pripad.
RAM nesouvisi ani tak s tim ze je neco fileserver jako s pouzitym filesystemem. A ZFS je asi nejvic nenazrany fs co jsem za poslednich rekneme 6 let videl.

[Mirek Prýmek]

dle tebe zrejme  poutovych technologii jako je ext3,zfs a veritas. 

To jsem prece vubec nerekl. Rekl jsem, ze ma OP pouzit nejakou osvedcenou technologii. To je podle me bud ext3 nebo LVM na Linuxu nebo ZFS na FreeBSD nebo (jeste lip) Solarisovych derivatech.

Co se tyce hw vs. sw raid, ta debata tady byla nedavno. Oboje má svoje nevýhody. Ja osobne pouzivam sw raidy, takze se dobyvas do otevrenych dveri