Jak Google řeší svoje úložiště?

Ales

Jak Google řeší svoje úložiště?
« kdy: 23. 05. 2014, 09:23:10 »
Ahoj,
zajimalo by me jak google resi svoje uloziste. Jeji DC jsou slozena z obycejnych desktopu... Jak ale resi uloziste? Maji jedno velke DC vyhradne pro tyto ucely? Jak pak resi zalohu / replikaci maji zalozni DC kam se data periodicky replikuji?
Nebo mezi vsema temito desktopy udelaji jaky si virtualni LVM?
« Poslední změna: 23. 05. 2014, 10:57:36 od Petr Krčmář »


JardaP .

  • *****
  • 11 064
    • Zobrazit profil
    • E-mail
Re:Jak Google resi svoje uloziste?
« Odpověď #1 kdy: 23. 05. 2014, 09:49:47 »
Oni snad nikdy prilis mnoho detailu nezverejnili, ale kdyz chcete vedet vice o tom, jak to ma Google resene, pouzijte Google. Mozna byste neco nasel tady: http://highscalability.com/google-architecture

BTW, oni to nemaji slozene z desktopu, ale motherboardu s pameti, bez grafiky, nejakymi disky, vse pripojene ke zdroji a bez kastle strceno do regalu.

Ales

Re:Jak Google resi svoje uloziste?
« Odpověď #2 kdy: 23. 05. 2014, 09:52:47 »

andy

Re:Jak Google resi svoje uloziste?
« Odpověď #3 kdy: 23. 05. 2014, 09:53:34 »
Presnejsie su to ich vlastne custom pc.

mif

Re:Jak Google řeší svoje úložiště?
« Odpověď #4 kdy: 23. 05. 2014, 11:08:50 »
HDFS je urcite jedna moznosti.


andy

Re:Jak Google řeší svoje úložiště?
« Odpověď #5 kdy: 23. 05. 2014, 11:24:16 »

Ivan

Re:Jak Google resi svoje uloziste?
« Odpověď #6 kdy: 23. 05. 2014, 12:15:36 »
Presnejsie su to ich vlastne custom pc.

Presne tak. Vsechni "vedi" ze google nepouziva drahe znackove servery, ale ze HA resi softwarove a ze vse bezi na lowend hardware. A chteji to delat taky tak. Malokdo ale doda, ze ten lowend HW se neda nikde koupit a ze jim ho na zakazku vyvinul Gigabyte - alespon jednu generaci.

Takze: "Delat to jako Google" opravdu neni jednoduche ani levne.

BrainLess

Re:Jak Google řeší svoje úložiště?
« Odpověď #7 kdy: 23. 05. 2014, 13:37:25 »
No to samozrejme neni uplne tak pravda. Oni zacali taky s normalnima deskama a az geneze je dostala k tomu ze si je nechaj delat na zakazku a hlavne k tomu maji patricne upravenej zdroj aby jeho ucinnost byla co nejvyssi.

strepty

Re:Jak Google řeší svoje úložiště?
« Odpověď #8 kdy: 23. 05. 2014, 14:11:50 »
Neviem ako ma robene datove ulozisko Google a dost pochybujem ze to zverenia. Pocuval som rozhovor sefa jednej podobnej globalnej datovej sluzby a ten napriklad na otazku kde maju uloziska povedal ze na vychodnom a zapadnom pobrezi a kde su presne nemoze povedat. Povedal len ze su prepojene tak ze data su zaroven na vychodnom aj na zapadnom pobrezi a datove ulozisko pre nich robi provider.

Natix

Re:Jak Google řeší svoje úložiště?
« Odpověď #9 kdy: 24. 05. 2014, 00:58:47 »