BTRFS na velkých diskových polích

JimJam

BTRFS na velkých diskových polích
« kdy: 29. 01. 2017, 13:02:16 »
Nazdar!

Chci se zeptat, mate nekdo zkusenost s provozem BTRFS na velkych HW polich - radove desitky TB v raidu 10, 50, 60? Cetl jsem v par diskuzich, ze tyto moderni FS jsou spise stavene na to, ze si delaji nad diskama vlastni RAID a ze prave delat jim HW radicem definovane pole je spise na skodu, protoze pak to degraduje jejich vykonove vlastnosti. Ma to byt jestli jsem pochopil spravne z duvodu, ze BTRFS vi lip co kam zapsat na ktery disk nez radic. Na druhou stranu jsem cetl, ze BTRFS je stabilni a doporucovan pro produkci jenom v rezimu RAID-0 nebo RAID-1, ze jeho implementace pro vyssi RAIDy jeste neni uplne stabilni a ze to pak radeji pouzit HW raid.

Takze zaver je zatim pro mne, ze udelat HW treba RAID-60, ale muze se stat, ze BTRFS na tom bude mit horsi vykon (nez treba EXT4).

Diky za rady a zkusenosti!
« Poslední změna: 30. 01. 2017, 08:59:43 od Petr Krčmář »


PCnity

  • *****
  • 706
    • Zobrazit profil
    • E-mail
Re:BTRFS a HWRaid
« Odpověď #1 kdy: 29. 01. 2017, 13:24:04 »
Hello,

Pre mna najvacsia vyhoda BTRFS bola jeho schopnost opravit silent coruption, kedze si drzi checksumy dat. Na 14 TiB poli mi v priebehu 4 rokov online scrub opravil radovo desiatky chyb (8*4 TB RAID 10).

Ak das btrfs na HW RAID, prides o checjsumy dat, kontrolovat si bude uz len metadata.

Btrfs vsak aktualne NIE JE vhodna na RAID5/6/50/60... Ak teda nechces vsetko mirrorovat, chod do ZFS on Linux. Idealne daj systemu disky cez AHCI, alebo kazdy disk ako samostatny LV a sprav nad tym RAIDZ2.

ZFS je imo considered stabilnejsie ako btrfs a to aj na Linuxe. Zachovas si najvacsiu vyhodu (checksumy) a vykon na normalnom serverovom zeleze nebude o nic horsi.

Ak nezapnes dedeuplikaciu, nemas ani ziadne extra naroky na operacnu pamat.

Jenda

Re:BTRFS a HWRaid
« Odpověď #2 kdy: 29. 01. 2017, 16:40:45 »
Na 14 TiB poli mi v priebehu 4 rokov online scrub opravil radovo desiatky chyb (8*4 TB RAID 10).

Proboha, co to bylo za HW? Má to vůbec ECC paměť?

Ak das btrfs na HW RAID, prides o checjsumy dat, kontrolovat si bude uz len metadata.

Ne, bude kontrolovat i data. Akorát se nedostane k alternativní kopii, takže jenom zahlásí chybu. Soubor pak můžeš obnovit ze zálohy.

PCnity

  • *****
  • 706
    • Zobrazit profil
    • E-mail
Re:BTRFS a HWRaid
« Odpověď #3 kdy: 29. 01. 2017, 17:21:41 »

Proboha, co to bylo za HW? Má to vůbec ECC paměť?

Ne, bude kontrolovat i data. Akorát se nedostane k alternativní kopii, takže jenom zahlásí chybu. Soubor pak můžeš obnovit ze zálohy.

1) Praveze, HP, Xeon E3-1230 v2 a unbuffered ECC... Zabudovany HP SATA Radic v AHCI rezime, consumer grade disky Toshiba (7200 rpm) a je ziaden vypadok prudu (predimenzovana UPS) ani spindowny. Tie bit flipy pripisujem skor tym diskom.

2) Ano, sorry, zle som to naformulol.

abc123

Re:BTRFS a HWRaid
« Odpověď #4 kdy: 29. 01. 2017, 22:49:50 »
sprav si rovnicu ake vyhody ti da HW raid a ake BTRFS v pripade ze si bude disky a kopie udrziavat same. Neviem sice co myslis pod velkymi HW poliami, ci nejake enteprrise SAN riesenia, alebo len napichane velke disky do HW radica v servri. AK to prve, tak nejaky raid na urovni OS ani nemusis riesit, len si nahadz LUNy do poolu a nechaj to externe pole nech sa stara o disky, jedine co ma lokalne zmysel riesit je corssite mirroring, alebo DR kopie diskov. Ak je su to len lokalne disky a raid, tak by som ja osobne siel do SW raidu kvoli flexibilite.