Någon med erfarenhet av Ceph för VM Storage (Proxmox)

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008

Någon med erfarenhet av Ceph för VM Storage (Proxmox)

Har flyttat över till Proxmox och tänkte jag kunde prova labba lite med Ceph för VM Storage.

Min tanke skulle vara att köra två noder med diskar i varje och en extra MON. 2x500GB SSD på vardera nod. En annan tanke var att köra tre noder med en på remote location för att synca storage dit - men det ska tydligen inte lira så fint...?

Är väl bara i starten av detta, men något man ska tänka på? Vet att man inte ska köra mindre än 3 noder i production, men man tager vad man haver.

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Dec 2003

Varför inte virtualisera upp det och testa med tre noder?

| Citera för svar! | Gilla bra inlägg! |

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008

@BrusE: Jo då det kan jag absolut göra, men rent performance-mässigt lär jag inte se så mycket då. Jag har min nya server hemma snart och då kan jag prova.

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Dec 2003
Skrivet av moron:

@BrusE: Jo då det kan jag absolut göra, men rent performance-mässigt lär jag inte se så mycket då. Jag har min nya server hemma snart och då kan jag prova.

Du kan använde det som testbänk. Då är det inte så noga med prestandan.

| Citera för svar! | Gilla bra inlägg! |

Trädvy Permalänk
Medlem
Registrerad
Dec 2002
Skrivet av moron:

@BrusE: Jo då det kan jag absolut göra, men rent performance-mässigt lär jag inte se så mycket då. Jag har min nya server hemma snart och då kan jag prova.

Jag är lite nyfiken om du testat något ännu? Jag har testat DRBD och det lirar bra, men har inte gjort några prestandamätningar då jag kört via vbox för att få det att fungera. Men Ceph verkar vara inbyggt i proxmox så det hade varit kul att se hur det lirar.

[size="1"]*signatur raderad*, referrallänkar behöver vi inte gömma i signaturer (§8 marknadsföring)[/size] Till MOD: Ditt smartskafft, man gömmer inte något som är helt synligt!

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008

@fragwolf: Hehe, nja, jag konsoliderade allt till en server så allt ligger lokalt nu

En server här, några servrar där.

Trädvy Permalänk
Medlem
Registrerad
Dec 2002
Skrivet av moron:

@fragwolf: Hehe, nja, jag konsoliderade allt till en server så allt ligger lokalt nu

okej, det var synd. Sitter å pillar lite med det just nu. Har inte möjlighet att själv testa prestandan ännu.

[size="1"]*signatur raderad*, referrallänkar behöver vi inte gömma i signaturer (§8 marknadsföring)[/size] Till MOD: Ditt smartskafft, man gömmer inte något som är helt synligt!

Trädvy Permalänk
Medlem
Registrerad
Dec 2016

Lite gammalt men svarar ändå,
Jag skulle inte köra ceph med en nod på en remote plats, pga latency, vilket även ceph säger http://tracker.ceph.com/projects/ceph/wiki/Can_Ceph_Support_M...
Det finns lite lösningar för det, t.ex hittade jag http://tracker.ceph.com/projects/ceph/wiki/Rgw_new_multisite_... men kanske något liknande som det här http://www.sebastien-han.fr/blog/2016/03/28/ceph-jewel-previe... kan vara intressant?
Kräver dock lite mer hårdvara.

Det viktigaste att tänka på är att köra 3 MON, och att när du kör snurrdisk så rekommenderas det att köra replica set 3, vilket i princip gör att varje bit speglas på 3 olika OSDer.
Så försök att använda minst 3 OSDer (diskar), och se till att försöka lägga till så att du får 3 OSDer varje gång.

Prestandamässigt så har jag kört så mycket som nätverket klarar i princip, dock har jag bara kört med 1Gbps interface, så inte tryckt 10Gbps, men för det jag sett och använt så har det fungerat utmärkt.
Körde ceph för virtuella diskar, så inte använt det för något riktigt transaktionsintensivt som t.ex databas, men skulle nog kunna fungera bra då också.
Den setupen jag använt har varit SSD journal/cache, sen snurrdisk i botten, med replica set 3.

Det som skulle vara kul vore att testa med vore att använda NVMe och SSD only, för att se hur snabbt det kan gå.