Jak popsat mé zklamání? Ceph je naprosto suprový distribuovaný storage…Ve kterém ztráta i několika mašin vůbec nic neznamená, pokud jich máte dostatek.
Integrace s Proxmoxem je naprosto vynikající. Je to fakt super odolné, předčilo to všechna má očekávání co do odolnosti. Dokonce tam funguje deduplikace, takže když máte 20 stejných virtuálek, tak jejich data nezabírají 20x, ale defakto 1x, když se jedná o tentýž kernel.
OK, v čem je háček?
- V tom, že gigabit má pomalé latence na to, aby to uživil ve větších počtech strojů
- V tom, že jakékoliv plotnové disky, i 15000 otáčkové, budou mít vyhledávací dobu příliš dlouhou na provoz Cephu.
- Nárůst výkonu 1x1Gbps vs. 2x1Gbps na všech strojích je nepoznatelný.
- Upgrade Cephu 17.2 na verzi 18.2 měl zajistit performance improvements…No, je to ještě pomalejší, než na verzi 17.2.
Testoval jsem to samozřejmě s tím téměř nejpomalejším možným. 7200 otáčkové disky, naschvál ještě různých kapacit, abych viděl, jak se to chová ve worst case scenario a 2x1Gbps síť ke každému z 8 serverů v domácím prostředí.
Komu naopak Ceph doporučit
Máte servery s alespoň 10Gbps síťovými kartami, všude JEN a pouze SSD disky? Tak tehdy bude Ceph pro vás dost možná to pravé, ořechové, protože kombinace rychlé sítě a velmi rychlých ssd disků může hrát v tomto případě velkou roli. Umření i několika disků, napříč různými servery nebude problém. Jen pokud jste od výrobce nafasovali RAID řadiče ve standardním provedení, budete muset jejich firmwary reflashovat do HBA režimu, aby se v systému identifikoval každý disk jako 1 fyzické zařízení, na který díky tomu CEPH bude rozkládat zátěž.
Souhalsím, je to vhodné jako velkoobjemové úložiště, tedy dokumenty, fotografie, záohy VM,… , Není to vhodné jako úložiště pro databáze a ani moc pro systémové disky VM.
A u těch záloh bych ještě uvažoval, jak rychle do toho chce člověk nalít a odlít všechna data. Pokud je potřeba něco rychlejšího, nebo tahat větší objemy dat v kratších časech, tak na tom gigabitu to bude bolestně pomalé. Kdybych měl lepší hardware, tak by mě zajímalo, jestli se to zlepší s 10Gbps linkou, pak bych o tom uvažoval. Věřím, že za pár let budu mít všude 10Gbps a většina strojů už bude mít všude SSD disky, takže do budoucna kombinace 10Gbps linek a třeba využití starších SSD disků, které už jsou na běžné použití příliš „malé“, by to bylo rozhodně velmi zajímavá myšlenka recyklace starších SSDček a věřím, že se do něčeho takového v budoucnu pustím.
Ostatně mít teď k dispozici třeba 10 nebo 20 zbytečných 512GB SSDček, tak na tom už bych se asi nebál něco provozovat díky kombinaci rychlosti a odolnosti.
Databáze už bych dnes neprovozoval ani na SATA SSD discích, ale pouze na NVME SSD discích díky lepším latencím. VMka linuxácké bych na plotnách zvládal bez problému, ale Windowsácké VMka na HDD jsou ekvivalentem týrání zvířat.