Större hostinglösning, 100k unika, etc.

Permalänk
Medlem

Större hostinglösning, 100k unika, etc.

Hej,

För ungefär ett år sedan kom det sig att det företaget jag jobbar åt började hosta en wordpressblogg åt en person. Företaget jag jobbar på, sysslar med hemsidor, diverse CMS system, etc. Så egentligen inget konstigt med att vi hostade själva bloggen, men det är inget som vi brukar göra.

I vilket fall, den här bloggen växte sig ganska så jäkla stor. Så vi fick lyfta över bloggen till en dedikerad server (Xeon quad 3,06Ghz, 6gb ram) med en dedikerad 15Mbits uppkoppling.
Bloggen har mellan 10-15k unika besökare per dag, 35-40k sidvisningar. Och runt en halv miljon imagerequests. Multipliera detta med 10, för att få ett hum om vad portalen kommer ha vid lansering

Idag får jag reda på att den här personen och ett antal andra stora bloggare runt om i norden höll på att utveckla en bloggplattform. Där redan ett tiotal bloggare i ungefär samma storlek som vår kund redan var uppskrivna och involverade i projektet.

Dom hade en "IT-person" som rekomenderade dom att börja med en VPS med dessa specs:
2 Kärnor
2GB ram
60GB lagring
1TB trafik

Jag försökte så snällt som möjligt förklara att jag tror inte det räcker på långa vägar. Jag hade inte hostat enbart 1 av bloggarna på en sådan VPS.

Dom har flera än dessa 10 bloggare som är villiga att flytta in till denna portal, men dom vill lansera med 10st för att räta ut eventuella problem. Tror dom hade runt en 20-30 "lined-up" alla inte riktigt lika stora, men ändå flera tusen unika per dag.

Jag frågade deras "it-kille" om han tänkt på skalbarhet, redundans, etc och fick bara jakande svar.

Jag föreslog en sådan här lösning (väldigt förenklad nu)

Lastbalanserare
2 Frontend webservers
1 SQL server
SAS Storarge
Rikligt med bandbredd

För att man vid behov även senare lätt skulle kunna gå över till DRBD kluster med lässlavar och dylikt på SQL sidan, och "bara putta in" mer frontend servers, vid behov.
Mitt företag tänker inte hosta denna lösning, jag står som utomstående och ger rekommendationer.

Så kära sweclockers, tänker jag helt fel och min lösning är overkill, bör jag låta dem köra sitt eget race, etc?
Hur hade ni gjort?

Permalänk
Medlem

Tycker din lösning låter sund. Aldrig provat nested DRBD men vet inte om det är något du planerat? Köra två noder är inget problem däremot.

Vad du kan göra är väl att påtala det för din kund och visa att ni finns redo att ta över om det krävs.

Undra vad för IOPS de får ut på de där 60GB för SQL...
Glöm inte att se över backupen heller.

Permalänk
Medlem
Skrivet av Xerbee:

Tycker din lösning låter sund. Aldrig provat nested DRBD men vet inte om det är något du planerat? Köra två noder är inget problem däremot.

Vad du kan göra är väl att påtala det för din kund och visa att ni finns redo att ta över om det krävs.

Undra vad för IOPS de får ut på de där 60GB för SQL...
Glöm inte att se över backupen heller.

Tack för bra svar. De 60GBB han ville ha, var även för lagring av staticcontent. Så den stackars disken hade behövt hantera många miljoner läsningar/skrivningar dygnet runt.

Permalänk
Medlem
Skrivet av VitoC:

Tack för bra svar. De 60GBB han ville ha, var även för lagring av staticcontent. Så den stackars disken hade behövt hantera många miljoner läsningar/skrivningar dygnet runt.

Känner att jag bara måste återuppliva denna.

Det slutade med att dom körde på sin "lilla" VPS.

12:00 Bloggportalen går live
12:03 Bloggportalen börjar gå riktigt segt
12:07 VPSen går ner.

12:36 dom ringer mig

-Yeah, we launched our blogportal earlier today, it crashed after only a few minutes.
-Me: Yup, I saw that - I told you it wouldnt be able to handle the trafic.
-Can you help us, we need it live ASAP!
-Me: Sorry, I told you guys earlier that setting up a sustainable system for that amount of trafic requires planning.
-Please, we really need your help, our host dont want to help us.
-Me: I can help you, but it wont be up for atleast a few days
-Sorry, that is uacceptable we need it live today.
-Me: Sorry, I cant help you then.
-Okay, we will find someone else that can help us then.
-Me: Good luck, and talk to you later.

Permalänk
Medlem
Skrivet av VitoC:

Känner att jag bara måste återuppliva denna.

Det slutade med att dom körde på sin "lilla" VPS.

12:00 Bloggportalen går live
12:03 Bloggportalen börjar gå riktigt segt
12:07 VPSen går ner.

12:36 dom ringer mig

-Yeah, we launched our blogportal earlier today, it crashed after only a few minutes.
-Me: Yup, I saw that - I told you it wouldnt be able to handle the trafic.
-Can you help us, we need it live ASAP!
-Me: Sorry, I told you guys earlier that setting up a sustainable system for that amount of trafic requires planning.
-Please, we really need your help, our host dont want to help us.
-Me: I can help you, but it wont be up for atleast a few days
-Sorry, that is uacceptable we need it live today.
-Me: Sorry, I cant help you then.
-Okay, we will find someone else that can help us then.
-Me: Good luck, and talk to you later.

Humor

Visa signatur

pfSense: GA-J1900N-D3V Quad-core Celeron 2GHz, Samsung 4GB, pfSense 2.2.2@USB
ESXi: i5 3470S, Gigabyte GA-B75N, Corsair XMS3 16GB, Intel PRO/1000 VT Quad GbE, Streacom F7C, ESXi@USB
Campfire Audio Lyra II, HiFiMAN HE-400, Yamaha EPH-100, Audioengine D1, FiiO E10

Permalänk
Avstängd
Skrivet av VitoC:

Hej,

För ungefär ett år sedan kom det sig att det företaget jag jobbar åt började hosta en wordpressblogg åt en person. Företaget jag jobbar på, sysslar med hemsidor, diverse CMS system, etc. Så egentligen inget konstigt med att vi hostade själva bloggen, men det är inget som vi brukar göra.

I vilket fall, den här bloggen växte sig ganska så jäkla stor. Så vi fick lyfta över bloggen till en dedikerad server (Xeon quad 3,06Ghz, 6gb ram) med en dedikerad 15Mbits uppkoppling.
Bloggen har mellan 10-15k unika besökare per dag, 35-40k sidvisningar. Och runt en halv miljon imagerequests. Multipliera detta med 10, för att få ett hum om vad portalen kommer ha vid lansering

Idag får jag reda på att den här personen och ett antal andra stora bloggare runt om i norden höll på att utveckla en bloggplattform. Där redan ett tiotal bloggare i ungefär samma storlek som vår kund redan var uppskrivna och involverade i projektet.

Dom hade en "IT-person" som rekomenderade dom att börja med en VPS med dessa specs:
2 Kärnor
2GB ram
60GB lagring
1TB trafik

Jag försökte så snällt som möjligt förklara att jag tror inte det räcker på långa vägar. Jag hade inte hostat enbart 1 av bloggarna på en sådan VPS.

Dom har flera än dessa 10 bloggare som är villiga att flytta in till denna portal, men dom vill lansera med 10st för att räta ut eventuella problem. Tror dom hade runt en 20-30 "lined-up" alla inte riktigt lika stora, men ändå flera tusen unika per dag.

Jag frågade deras "it-kille" om han tänkt på skalbarhet, redundans, etc och fick bara jakande svar.

Jag föreslog en sådan här lösning (väldigt förenklad nu)

Lastbalanserare
2 Frontend webservers
1 SQL server
SAS Storarge
Rikligt med bandbredd

För att man vid behov även senare lätt skulle kunna gå över till DRBD kluster med lässlavar och dylikt på SQL sidan, och "bara putta in" mer frontend servers, vid behov.
Mitt företag tänker inte hosta denna lösning, jag står som utomstående och ger rekommendationer.

Så kära sweclockers, tänker jag helt fel och min lösning är overkill, bör jag låta dem köra sitt eget race, etc?
Hur hade ni gjort?

Är dem serriösa?
En sådan portal med 100-150k besökare /dag kräver ett välbyggt och bra designat (tekniskt designat) hostingsystem, med cache, lastbalansering, dedikerad databasserver. ungefär som din rekomenderade setup med några ändringar:

Lastbalanserare - skickar vidare till cache
2 cache (varnish, memcached eeller liknande. kan slås ihop och vara på samma maskiner som backend servrarna för att minska antalet fysiska maskiner)
2 backend webservers
1 SQL server
1 NFS server, som lagrar själva webbfilerna, webbservrarna ansluter till denna för att mappa upp webbmapparna.
Rikligt med bandbredd

Din rekomenderade:
Lastbalanserare
2 Frontend webservers
1 SQL server
SAS Storarge
Rikligt med bandbredd

Skrivet av VitoC:

Känner att jag bara måste återuppliva denna.

Det slutade med att dom körde på sin "lilla" VPS.

12:00 Bloggportalen går live
12:03 Bloggportalen börjar gå riktigt segt
12:07 VPSen går ner.

12:36 dom ringer mig

-Yeah, we launched our blogportal earlier today, it crashed after only a few minutes.
-Me: Yup, I saw that - I told you it wouldnt be able to handle the trafic.
-Can you help us, we need it live ASAP!
-Me: Sorry, I told you guys earlier that setting up a sustainable system for that amount of trafic requires planning.
-Please, we really need your help, our host dont want to help us.
-Me: I can help you, but it wont be up for atleast a few days
-Sorry, that is uacceptable we need it live today.
-Me: Sorry, I cant help you then.
-Okay, we will find someone else that can help us then.
-Me: Good luck, and talk to you later.

hahah:)

Visa signatur

System: Corsair Obsidian 550D Midi Tower Svart || Corsair AX 850W PSU || Intel® Core i7-3770K Processor || ASUS P8P67-M || 2 x Intel® SSD 520 Series 180GB || Gigabyte GeForce GTX 670 2GB PhysX CUDA ||

Permalänk
Avstängd

LOL!

håll oss uppdaterade!!

Permalänk
Medlem

Några ganska vitala frågor är i vilket språk sidan är skapad, php, ruby, java? Vilken databas användas, mysql, oracle, mssql?

...och kanske den mest vitala frågan, vad är budgeten?

Det jag skulle rekommendera för en portal som ska kunna ta 100-150K unika besökare per dag:

Lastbalanserare F5 BIG-IP

4x NGINX cache servrar för static content (en master som har alla filer som enbart används för att servra de andra 3 servrarna med content, de övriga hämtar filer från denna vid behov och laddar direkt från sin cache om filerna finns där, man slipper därmed NFS lösningar och annat för att distribuera filerna). Finns även en bra purge-modul till nginx man kan använda för att ta bort gammalt cacheat matrial vid uppdatering av static-content.

4x App servrar, NGINX / PHP-FQM / Memcached om de är en php-baserad blogg

Databaser, en master och 2 slavar, samtliga appservrar använder mastern för skrivningar, appserver 1-2 använder den första slaven, 3-4 använder den andra slaven för läsningar.

Om datamängden är realtivt låg, säg under 500 GB så duger det förmodligen med 15krpm SAS-diskar i varje maskin, annars ska man nog helst titta på 8G-fiber channel SAN.

Totalt skulle denna lösning gå på ~100K i inköp om man kör på den billigare lagringslöningen med 15Krpm sas disk och 1U/2U servrar. Säg att du sedan behöver ett halvrack hos lämplig co-location leverantör och 100 Mbit/s bandbredd pratar vi lånt räknat 10K/mån.

Permalänk
Skrivet av VitoC:

Känner att jag bara måste återuppliva denna.

Det slutade med att dom körde på sin "lilla" VPS.

12:00 Bloggportalen går live
12:03 Bloggportalen börjar gå riktigt segt
12:07 VPSen går ner.

12:36 dom ringer mig

För djävla roligt att du uppdaterade. Så klockrent med folk som inte lyssnar på bra rekommendationer.

Visa signatur

"Tråden får vara öppen så länge diskussionen hålls saklig och civiliserad. "
"... och där låser vi tråden. Tramspellar.
*Låst* "
Andreas D. ^^,
Citera för svar. =3

Permalänk
Medlem

Vill inte ge för mycket information om portalen, då jag inte vill outa dom.

Men kan säga att dom kör Wordpress MU, lighthttpd och MySQL.

Dom hittade en i helgen som "hjälpte dom" så nu är portalen "uppe"
Dom kör nu 1x web 1x sql. Fick även reda på att dom har bara en 20Mbits port.

För att hålla portalen uppe, så får nu bloggarna bara visa 2 inlägg på startsidan, och max 1 bild per inlägg.

Jag håller dock på och sätter upp ett system i det tysto åt dom, för jag misstänker att om ett par dagar så kommer jag vare sig jag vill eller inte behöva göra det :/

Permalänk
Avstängd

Bra. Här har vi ett exempel på att vara proaktiv. Jag föreslår att när du är klar med din lösning, så ringer du dem och berättar att du gjort det och frågar om de vill titta närmre på din lösning. Att du kan lösa deras problem permanent.

Permalänk
Medlem

Väldigt roligt
Är det bara jag som hade valt att lägga ut hela hostingen på någon som verkligen kan detta och har resurserna att hålla en hög upp tid o avsätt hur många besökare. Jag tänker mig någon typ av cloud. Typ azure, S3 eller liknande. Tror jag hade valt en sådan lösning åtminstone i början när man inte vet hur det ska gå då man enbart betalar för det man använder.

Permalänk
Medlem
Skrivet av reconnnn:

Väldigt roligt
Är det bara jag som hade valt att lägga ut hela hostingen på någon som verkligen kan detta och har resurserna att hålla en hög upp tid o avsätt hur många besökare. Jag tänker mig någon typ av cloud. Typ azure, S3 eller liknande. Tror jag hade valt en sådan lösning åtminstone i början när man inte vet hur det ska gå då man enbart betalar för det man använder.

Ja S3 hade ju verkligen löst problemen.......

Permalänk
Medlem
Skrivet av iXam:

Ja S3 hade ju verkligen löst problemen.......

S3 är enbart för lagring va inte hosting?
Har inte en aning om vad amazons tjänst heter jag vet bara att de har någon
Det enda jag gjort med amazons tjänster är ett program som laddar ner loggar från S3 behövde dock inte bry mig om vad dem innehöll

Tror dock folk förstår vad jag menade med mitt inlägg.

Permalänk
Medlem

Tycker din inställning låter vettig. Cachning av data hade jag också siktat in mig på. Jag brukar köra med Memcache, men bygger ju då ofta system från grunden och har full koll på hur, var och när saker cacheas. Då det nu är Wordpress som driver bloggarna så kan man ju inte gör exakt vad man vill. Men plugins skall existera för Wordpress för integration med Memcache som är en väldigt snabb in-memory caching lösning. Sätt upp en sådan burk med 16-32GB ram så får databas servern och webservern vila rätt mycket och det hela kommer kännas mycket snabbare för besökare.

Update: Läste hela tråden och såg att det hunnit hända en del... Lolz och gl

Visa signatur

Gigabyte Aorus Master | 32gb DDR4 3466MHZ CL14 | Ryzen 3950X | 3080Ti
En lång rad Intel system som barnen fått som speldatorer, VR-dator, massa bärbara, servrar, RPi's och andra boxar :P

Permalänk
Arvid Nordqvist-mannen

Haha humor! Skit ska skit ha, speciellt när dessa inte lyssnar på en som kan.

Bra gjort av dig, tror också de kommer kontakta dig rätt snart. Lycka till.

Permalänk
Medlem

Uppdatering:

Ett par av bloggarna har nu dragit sig ur projektet, och kommer att starta en egen portal. Denna gången med min hjälp

Permalänk
Medlem
Skrivet av VitoC:

Uppdatering:

Ett par av bloggarna har nu dragit sig ur projektet, och kommer att starta en egen portal. Denna gången med min hjälp

Konstigt, det är så många som inte vet hur man prestandatestar osv...

Visa signatur

Battlestation: 12700k - RTX3090 - 32gb ram - 512GBm2 med 32GB Optane - 1TB SSD
Server: 2x Xeon E5-2670 - 64GB Ecc ram

Permalänk
Avstängd

Grattis!

Hoppas din konfig rullar på bra, så kommer de se att din lösning är bättre. Då kommer de också komma till dig, så du får mer cred.

Permalänk
Medlem

Vad roligt att du uppdaterade!

Hoppas det går bra med den framtida portalen, skriv gärna mer om vad för lösning det blir i slutändan. Alltid skoj att läsa om välbyggda system

Permalänk
Medlem

Bumpar nu, nästan 1 år senare.

Portalen är live.
Throughput vid lansering: ≈ 150Mbit
Requests /s ≈ 400

Om jag har mer tid någon dag, kan jag nog skriva en roman om detta projekt.

Permalänk
Medlem

När får vi veta vilken portal detta gäller då? Så vi kan kolla på resultatet.

Permalänk
Skrivet av VitoC:

Bumpar nu, nästan 1 år senare.

Portalen är live.
Throughput vid lansering: ≈ 150Mbit
Requests /s ≈ 400

Om jag har mer tid någon dag, kan jag nog skriva en roman om detta projekt.

Romanen vill jag läsa! Alltid roligt att läsa designtänk osv för olika lösningar, speciellt webdelen.

Ser framemot detta!

//Tobias

Visa signatur

..:: Workstation ::.. ..:: Asus P8Z77-v LX ::.. ..:: MSI GTX1060 6GB ::.. ..:: i5 3450 Ivy Bridge /w Antec KÜHLER H2O 620 Sluten Vattenkylning ::.. ..:: Corsair 16GB DDR3 600MHz/CL9/VENG ::.. ..:: NoName 650W ::.. ..:: Dell 24" 2408WFP ::.. ..:: Server ::.. ..:: AMD ..:: FX-8320 ::.. ..:: 16GB ::.. ..:: XFX HD6450 ::.. ..::250GB SSD Samsung 840 EVO::.. ..:: 3x 2TB wd black ::.. ..:: VCP6-DCV ::.. ..:: vmware esxi 6.7 ::..

Permalänk
Medlem

Varför inte köra på appfog eller heroku..?

Visa signatur

CoreOS

Permalänk
Medlem

Den romanen skulle jag vilja läsa:)

Permalänk
Medlem

Jag skulle också vara intresserad av en roman/novell om projektet, och kanske en liten teknisk genomgång med tänket bakom och vad för teknik som faktiskt används, vad som har utvärderas och vad som förkastats.

Visa signatur

Citera så hittar jag tillbaks och kan ge svar.

Permalänk
Medlem

Ser fram emot den romanen.

Det kostar att snåla.

Visa signatur

C64 eller A500

Citera så jag hittar tillbaka.

Permalänk
Medlem

Underbar tråd, man känner igen sig lite för mycket

Visa signatur

What evah! i'll do what i want! | Det stavas väl inte väll...såvida du inte ska skriva välling.
"Det var väl bra"

Permalänk
Medlem
Skrivet av VitoC:

Bumpar nu, nästan 1 år senare.

Portalen är live.
Throughput vid lansering: ≈ 150Mbit
Requests /s ≈ 400

Om jag har mer tid någon dag, kan jag nog skriva en roman om detta projekt.

Skrivet av kallabaz:

När får vi veta vilken portal detta gäller då? Så vi kan kolla på resultatet.

Idd.. var kan man se resultatet?

Visa signatur

Citera mig för svar :D
- Årets Citat: Vattenulf -
"Pumpen snurrar inte den står stilla i botten på chassit. Om den hade snurrat skulle slangarna blivit vridna så det vill man ju inte."

Permalänk
Medlem
Skrivet av VitoC:

I vilket fall, den här bloggen växte sig ganska så jäkla stor. Så vi fick lyfta över bloggen till en dedikerad server (Xeon quad 3,06Ghz, 6gb ram) med en dedikerad 15Mbits uppkoppling.

Tänkte bara kolla, hur flyttade ni över den? Gjorde ni det live eller stängde ni ner sidan och sedan flyttade den?

Om live, hur bar ni er åt?

Edit: Såg nu att denna tråd var rätt gammal