Fórum Root.cz

Hlavní témata => Server => Téma založeno: Josef 17. 07. 2014, 10:54:39

Název: Big Data - storage
Přispěvatel: Josef 17. 07. 2014, 10:54:39

Ahoj,

vcera jsem tu videl konverzaci na tema Hadoop. Po shlednuti par slidu dokumentace me zaujal system storage a jeho replikace. Jeden soubor je rozsekan na X casti a ulozena na ruznem nodu a kazda cast je replikovana na nodech. Kapacita storage se rozrusta podle poctu nodu. Existuje neco takoveho samostatne i mimo hadoop?

omlouvam se za skolacky popis, ale tak snad je jasne co myslim

Název: Re:Big Data - storage
Přispěvatel: JardaP . 17. 07. 2014, 12:23:18

GlusterFS + striping?

Název: Re:Big Data - storage
Přispěvatel: Matas 17. 07. 2014, 15:02:36

hned z patra mne napada treba XtreemFS, HekaFS (CloudFS), GlusterFS a spousta dalsich... ale souborovych systemu tohohle typu je vice, staci pohledat heslo "distributed filesystems"... kazdy ma nejake sve vyhody ci nevyhody, zavisi na ucelu pouziti.

Název: Re:Big Data - storage
Přispěvatel: fahacz 17. 07. 2014, 17:30:00

http://sheepdog.github.io/sheepdog/
http://ceph.com/

Název: Re:Big Data - storage
Přispěvatel: Ondra Satai Nekola 17. 07. 2014, 19:42:50

Hadoopi FS nemusis pouzivat se zbytkem hadoopu, muzes klidne pouzit jenom FS. Ale zalezi na tom, k cemu presne to potrebujes...

Název: Re:Big Data - storage
Přispěvatel: Honza 17. 07. 2014, 22:25:32

Kdo z vás reálně používá některý z těch FS, který tu doporučujete?

Název: Re:Big Data - storage
Přispěvatel: DK 17. 07. 2014, 23:11:42

GlusterFS, bez problemu (HA reseni)