Lagring för databas! (Postgresql, R-server)

Ja, ZFS innehåller det mesta i funktionsväg, så det är praktiskt att välja det. Dock finns andra mekanismer som tillsammans gör ungefär allt som ZFS gör, och mer därtill. Sedan några år tillbaka har t ex Linux' logiska volymhanterare stöd för att använda SSD-enheter eller andra snabba lagringesenheter som läs- och skrivcache för större, långsammare lagringsenheter.

Både LVM och ZFS ger bra möjligheter att öka lagringsutrymme genom att lägga till fysisk lagring (hårddiskar). ZFS har dessutom bra integritetsskydd, men jag vet inte om du vinner något på det eftersom du tänkt lagra allt (?) skyddsvärt data i en relationsdatabas, som har eget integritetsskydd.

Det låter som en bra idé att ha den samlade mängden grunddata på ett ställe med tillräckligt dataskydd och tillräcklig tillgänglighet. Återstår frågan hur data görs tillgängligt för analysmaskinerna, så att dessa får tillräcklig prestanda. Jag ser två egenskaper som kommer att styra designen:

1. Kommer analysmaskinerna att vara intresserade av samma data vid samma tillfälle? Om så är fallet är det fördelaktigt att placera cache i någon form (ram, SSD, snabb disk) nära lagringen. Om de inte är intresserade av samma data är det nog bättre att placera en eventuell cachefunktion närmre de virtuella maskinerna.

2. Working set: Hur mycket data är intressant per analysjobb? Om det i förväg inte går att säga vilken delmängd av data som behövs för att göra analysjobbet (eller om denna mängd inte är mycket mindre än den totala mängden data) är det kanske inte vettigt att göra jobbet i form av en ETL, utan analysjobbet får hämta data från central databas efter behov.
   Det här kommer att ha stor påverkan på hur IOPS och internminne disponeras mellan de virtuella maskinerna.

Kommer all nätverkstrafik att göras inom samma virtualiseringshost, eller behöver data flyttas mellan noder i ett kluster? Vilka överföringshastigheter kan man i så fall räkna med mellan de virtuella maskinerna?