AMD gör monsterprocessor med 16 kärnor, inbyggd grafikdel och HBM-minne

Om du skulle bencha ett SAP Hana kluster med 64TB RAM mot en Oracle M7 scale-up server med 64 TB RAM, så är det givet att scale-up servern vinner i Enterprise workloads där det kommuniceras mycket mellan cpuerna. Dessutom kan varje Oracle M7 cpu, göra SQL queries i en hastighet utav 120GB/sec, så det är ytterligare ett skäl till varför Oracle M7 servern skulle vinna SAP Hana. Jag undrar vad en x86 cpu klarar av? Är det 5GB/sec SQL queries? Visst skulle Hana klustret ha mer cpuer, men det är inte det viktigaste när det gäller affärssystem, annars skulle en UV2000 vinna alla Enterprise benchmarks. Dessutom har en M7 server 32 cpuer, 1024 cores och 8192 trådar så den har gott om cpu kraft (och den är immun mot heartbleed och bl.a. buggar när pekare går utanför sitt reserverade minne - varje process har en unik nyckel till sitt reserverade RAM område, och för varje operation så krävs att nyckeln överensstämmer, annars larmar och avbryter M7 cpun). Men det vore konstigt om Oracle inte vann såna här benchmarks, eftersom de servrarna är skapta för just affärssystem. På samma sätt vore det konstigt om inte UV2000 vann beräkningsbenchmarks, eftersom de är skapta för sånt (bl.a har de MPI rätt i hårdvaran).

Fujitsu SPARC M10-4S server skalar till 64 cpuer, men de är inte av typen Niagara, utan av typen SPARC64 cpuer. De påminner om POWER/x86 till uppbyggnaden, men få starka trådar, och Fujitu cpu sitter bl.a i Superdatorer såsom "K". Oracle Niagara SPARC har tidigare fokuserat på through-put, på att få så mycket arbete gjort som möjligt på kortast tid, men med core S4 kommer den också ha starka trådar (den kan växla mellan through-put eller starka trådar, on the fly). SPARC64 är en mer traditionell cpu. Sun hade en server med 144 cpuer för decennier sedan.

Oracle har en interconnect som heter Bixby som skalar upp till 96 cpuer (dvs man slår ihop tre st M6/M7 servrar), men jag tror prestandan blir lidande då, eftersom det kommer bli flera hopp att nå cpuer långt bort. Sen kanske det inte heller är så stor marknad för 96 scale-up servrar, kanske därför Oracle inte börjat sälja en sån server. SPARC M6/M7 har kopplat ihop alla 32 cpuer med varandra på detta sätt:
http://regmedia.co.uk/2013/08/28/oracle_sparc_m6_bixby_interc...
man ser vilket ormbo det blir när cpuer ska kommunicera, tänk då 64 cpuer eller 96 cpuer! Man ser att i värsta fall, så måste man mellanlanda en gång, det blir alltså max ett extra hopp för att nå till en cpu maximalt långt bort, tex att cpu 0 ska nå cpu 31. Att det bara är ett hopp i värsta fall, är extremt bra. Detta leder till att hela M6/M7 servern har låg värsta latens och lämpar sig för t.ex. SAP eller databaser - vilket är naturligt eftersom affärssystem är Oracles levebröd. Om man har 96 cpuer så blir det fler hopp, och då ger det inte längre bra Enterprise prestanda där kod branchar vilt, och kommunicerar hela tiden mellan cpuerna.

Om vi tittar på Bull Bullion, den första 16-cpu x86 Enterprise servern, så ser den ut så här:
https://deinoscloud.files.wordpress.com/2012/10/bullions-bcs....
Man ser att det är inte så bra, det blir flera hopp för att nå cpuer långt bort redan vid lite som 16 cpuer. Prestandan måste bli lidande. För övrigt påstår Bullion att de har
https://deinoscloud.wordpress.com/2012/10/26/bulls-implementa...
In July 2012, the bullion server has been ranked as the world’s fastest x86 enterprise-class server, according to the international SPECint®_rate2006 benchmark.
Jag tror inga stora affärsföretag bryr sig om parallella beräkningsbenchmarks som SPECint. Istället är affärsföretagen mer intresserade utav Enterprise workloads, SAP benchmarks etc. Affärsservrarna är ju där de stora pengarna finns med skyhöga marginaler.

Precis. Om du har en 4 cpu eller 8 cpu x86 server, så får du otroligt mycket kraft idag. Det räcker för de flesta. Dessutom går de upp till 12TB RAM idag. Vilket är helt otroligt bra. IBMs största Mainframes har ju länge gått upp endast till 4TB. Och IBMs största Unix server POWER8 E880 går upp till 16TB, precis som deras största POWER7 server. En 8 cpu x86 server kan lätt ersätta mindre Unix servrar och mindre Mainframes.

Men är vi överens om att det är skillnad på scale out servrar, och scale up servrar? Ingen kan ersätta den andre. Scale-up kan inte ersätta Scale-out på beräkningar. Och på samma sätt kan inte en Scale-out server ersätta en Scale-up server på monolitisk kod som branchar mycket, typfall är affärssystem. Överens?
http://www.realworldtech.com/sgi-interview/6/
Typically, much of the work in HPC scientific code is done inside loops, whereas commercial applications, such as database or ERP software are far more branch intensive. This makes the memory hierarchy more important, particularly the latency to main memory. Whether Linux can scale well with a ERP workload is an open question. However, there is no doubt that with each passing month, the scalability in such environments will improve. Unfortunately, SGI has no plans to move into this SMP market, at this point in time.
http://www.theregister.co.uk/2011/09/20/scalemp_supports_amd_...
The vSMP hypervisor that glues systems together is not for every workload, but on workloads where there is a lot of message passing between server nodes – financial modeling, supercomputing, data analytics, and similar parallel workloads. Shai Fultheim, the company's founder and chief executive officer, says ScaleMP has over 300 customers now. "We focused on HPC as the low-hanging fruit.

Det spelar väl ingen roll hur man definierar det, marknadsförarna är inte tekniskt kunniga och gör ofta fel. Om de säger SMP, Numa, kluster, whatever - spelar det roll? Det viktiga är användningsområdena. Microsoft säger ju att Windows är perfekt för den ena krävande miljön efter den andra - men faktum är att ingen kör stora seriösa system på Windows. Marknadsförarna får säga vad de vill om Windows, men vad används den till? Och vad används SGIs servrar till? Jo, HPC beräkningar, enligt de själva. De är alltså hårt nischade, och inga general purpose servrar. Man kan köra vad som helst på en Oracle eller IBM Unix server - både scale-up affärsystem och scale-out beräkningar. Men eftersom de bara skalar till 16 eller 32 cpuer, så är det bättre att välja en riktig scale-out server, som SGI med 256 cpuer. När det gällde kappsegling, som Larry Ellison är en fantast utav, så designades Oracles kappseglingbåt och kördes alla tunga beräkningar på en Oracle SPARC M6 server, så det går att köra beräkningar på scale-up servrar. Men det hade gått mycket snabbare med en SGI klustermed 256 cpuer förstås. Men SGI är inte lämpligt att köra scale-up saker, typ, ERP affärssystem (enligt information från SGI själva).

Det är bara beräkningsservrar som använder MPI, och om man har det i hårdvara som SGI, så är man hårt nischad. Ingen IBM eller Oracle server har sån hårdvara.

SGI gör inte såna ERP benchmarks, därför att deras MPI bestyckade 256 cpu kluster inte är lämpade för sånt:
http://www.realworldtech.com/sgi-interview/6/
Typically, much of the work in HPC scientific code is done inside loops, whereas commercial applications, such as database or ERP software are far more branch intensive. This makes the memory hierarchy more important, particularly the latency to main memory. Whether Linux can scale well with a ERP workload is an open question. However, there is no doubt that with each passing month, the scalability in such environments will improve. Unfortunately, SGI has no plans to move into this SMP market, at this point in time.

Min poäng är att det skillnad på scale-up och scale-out servrar (kalla dem vad du vill). Båda är designade att lösa ett specifikt problem, och ingen kan ersätta den andre. Det är min poäng. När det gäller beräkningar, så är det SGI UV2000 servrar man ska köpa. Eller, ScaleMP. Men jag tror SGI är snabbare, därför att ScaleMP gör det i mjukvara (använder en mjukvaru hypervisor för att slå samman många noder i ett kluster, se länk ovan), som SGI gör i hårdvara. När det gäller ERP affärssystem så är det IBM eller Oracle man ska köpa för bästa prestanda. En SGI UV2000 kan inte ERP affärssystem, enligt information från SGI, och frånvaron av SAP eller TPC benchmarks.

är det tävling i skriva en bok på kortast tid ?

Men vad är det som vi inte är överens om egentligen? Vad är problemet? Jag påstår att Scale-up servrar som IBM och Oracle stora Unixservrar är specialiserade mot affärssystem, medan Scale-out servrar som SGI och ScaleMP är specialiserade mot beräkningar. Och jag påstår även att scale-out servrar (som närmast kan jämföras med kluster) inte kan effektivt köra affärssystem, och jag påstår att Scale-up servrar inte är vidare bra på att köra tunga beräkningar, då är SGIs scale-out servrar bättre. Jag påstår även att de största scale-up servrarna stannar vid, typ 32 cpuer, pga affärskod branchar för mycket och det blir för mycket kommunikation mellan cpuerna. Jag påstår även att de största scale-out servrarna stannar vid 256 eller 512 cpuer eller däromkring, därför att beräkningskod branchar inte alls, och kan köra sin lilla beräkningsloop i cachen, utan att kommunicera mycket med noder långt bort.

Så vad är det för något du inte håller med mig om? Vad är problemet? Helt uppenbart är du väldigt påläst inom detta område med tunga servrar, och besitter kunskaper som inte vanliga lekmän har. Skulle inte förvåna mig om du jobbar/har jobbat med sånt här. Men, vad är det vi är oense om? Vad reagerar du på, vad tycker du är så provocerande? Att Scale-out servrar inte kan ersätta scale-up servrar? Eller vad?

Problemet är att det finns folk som inte förstår att det är skillnad på olika uppgifter, och det finns folk som tror att en 256 scale-out server kan ersätta en scale up server. De tror alltså, på fullaste allvar att en Scale-out server har 35.000 datakanaler så att varje cpu är kopplad till varje annan cpu, så scale-out servrar klarar av affärskod.

Det finns folk som inte tror på detta. Det spelar ingen roll hur mycket du förklarar och postar länkar, de förstår inte detta, eftersom de inte jobbar med sånt här så biter inga förklaringar. Det går inte in, du kan debattera med dem under flera års tid och posta hur mycket länkar som helst - förgäves. Det. Går. Inte. In. No. Matter. What.

Det är mycket möjligt, jag har inte kategoriskt förnekat detta. Min poäng är att en scale-up server inte använder MPI för att köra affärskod. Det används bara i kluster för beräkningar.

Precis. Skälet är att de inte klarar av att köra affärskod. Här är en lista på alla SAP benchmarks, och i topp är det bara scale-out servrar, dvs IBM och Oracle Unixservrar. Det finns inte en enda scale-out server med på listan.
http://global.sap.com/solutions/benchmark/sd2tier.epx?num=100

Jag har citerat vissa länkar, och klippt ut lite text. Då förstår man inte sammanhanget om jag inte lade in ord som förklarar sammanhanget. Poängen med att jag även lade in länken, är för att man ska kunna gå tillbaka till originalet och se vad som egentligen stod där. Om jag ville luras så skulle jag aldrig postat med länken. Jag tycker inte alls det är fult att komma med förklarande ord. Möjligen borde jag lagt till orden inom [] klamrar.

Exempel, om det står så här:
"SGI will not go into this market" och jag ändrar till "SGI will not go into this ERP Business system market" så är det inte för att luras, utan för att klargöra. Jag borde dock gjort så här istället: "SGI will not go into this [ERP Business system] market", men jag trodde ingen skulle bry sig. De flesta orkar inte läsa länkarna, så då är det bättre att jag klargör med extra information vad det handlar om.

Det tror jag kan vara rimligt.

Men nu pratar vi om high-end servrar med ordentlig prislapp. Oracle har börjat gå ifrån den traditionella Unix marknaden, som är vikande, där istället Windows och Linux tar över på småservrar med 1-8 cpuer. Istället satsar Oracle på "Engineered systems" eller vad de nu kallar det - dvs en black box som består av en stor scale-up Unix server på 1500kg, och 32 cpuer och 32TB/64TB RAM, och som bara kör förinstallerade affärssystem, och den marknaden växer mycket kraftigt. Oracle satsar alltså på stora allt-i-ett-system som är specialiserade att köra t.ex. Oracles stora databas. Larry Ellison säger att han inspirerats av Apple, där de kontrollerar allting: hårdvara, OS, mjukvara, etc - dvs rubbet. Och såna homogena enhetliga produkter slår produkter där man själv plockat ihop olika delar. Oracle kontrollerar ju all hårdvara: cpu, moderkort, etc - och kontrollerar även operativssystemet Solaris, och även middleware Java och även affärssystemen/databasen, etc - så allt är mycket trimmat och finstämt. Om databaskillarna vill snabba upp en speciell funktion så kan cpu killarna bygga in den, och operativsystemet kan exponera den. Allt är råtrimmat och därför får Oracle ut grymt mycket mer prestanda än t.ex. IBM eller Hana. Kom igen, en enda cpu gör 120GB SQL queries/sekund? Det är ju sjukt snabbt, många ggr snabbare än alla andra.

En 64TB Oracle databasserver kommer köra över ett 64TB Hana databaskluster - alla dagar i veckan. Hana har inga hårdvaruacceleratorer att utnyttja, de kör klustrad RAM som är ineffektivt jämfört med en enda stor scaleup server på 64TB RAM, etc etc. Kort sagt, Unix marknaden är vikande, men "engineered systems" är kraftigt växande eftersom Oracle konstruerar och kontrollerar hela stacken (hårdvara, os, middleware, applikation) så det blir oerhört snabba servrar. IBM borde göra på samma sätt, för deras POWER unix servrar agerar på en vikande marknad och en vanlig unixserver POWER kommer aldrig kunna konkurrera mot t.ex. en högt specialiserad databasserver.

Vet inte vilka du pekar på.

Men i alla fall, ska man gå till lågniviå (lekmannivå, såna med viss insikt vad som sitter i burken, som jag t.ex).

Kommer ihåg bulldozer lanseringen. AMD och vissa andra hävdade att den cpu:n skulle fungera bra mycket bättre i win 8 (som inte ens var släppt beta än, om jag inte har fel) och Linux, än win 7. Jag själv var lite skeptisk att den skulle få någon större boost (bara för os:et skulle hantera så många trådarna/kärnorna bättre). För det mesta programmen kör ju på 1/2 kärnor bäst så att säga (hade jag fått lära mig tidigare, var ju mitt uppe i CPU köp dessutom så vill ju köpa en som höll i många år och dessutom läst på en del om IPS och trådar/kärnor). Blev ingen bulldozer som även syns i sign

Var så att win 8 hade just detta inbyggt, därför det pratades hårt från AMD om hur bra prestanda det blev där. Var ju ett par år sen nu, så kommer inte ihåg exakt alla detaljer så kul att du tog upp det Jo, du har så rätt i sak:)

Var ju lite åt det hållet jag menar med det skrevs högre upp, att det är redan svårt efter 2 kärnor att få bra effektivitet (även jag inser det utan server kunskaper ).

Inga namn. Men det finns folk som på fullaste allvar tror att stora och enormt dyra Unix servrar med 32 cpuer har spelat ut sin roll, och att såna servrar enkelt kan ersättas med billiga SGI servrar med flera hundra eller tusen(?) cpuer. När man säger att det är olika maskiner med olika användningsområden och kan inte ersätta varandra, så vägrar de tro på det. Man ber dem posta lite affärsbenchmarks om de nu påstår att SGI servrar kan ersätta stora Unix servrar, men det finns inga såna benchmarks. Och då kommer de med massa bortförklaringar, och till slut säger de att SGIs scale-out servrar kan ersätta alla andra maskiner på marknaden. Jag frågar efter benchmarks, men ser inga. Och jag frågar efter varför det inte finns några stora Linux servrar med 32 cpuer som används till afärrsystem, men får inga svar. Och ändå insisterar de på att SGIs scale-out servrar kan köra affärssystem - men ingen gör det och det finns inga länkar på det heller. Det spelar ingen roll hur mycket du förklarar och postar länkar och ber dem posta länkar som bevisar deras tes (det kan de inte) - ändå vägrar de ändra sin tro.

Linux schemaläggare är mer effektiv. Linux skalar ju utmärkt på stora scale-out system som SGIs servrar. SGI kör bara Linux på deras scale-out servrar. Likaså alla superdatorer (som är beräkningskluster) kör ju Linux. Men ingen kör Linux på scale-up servrar på 32 cpuer - där är Linux för dåligt. Då är Unix bättre på att skala scale-up servrar. Detta besvisas av att inga bra benchmarks i affärssystem innehas av Linux, det är alltid Unix i toppen. Linux kommer i botten. Det är bara att googla själv efter benchmarks och se.

Vad är det jag ska skärpa mig om? SAP Hana är till för scale-out servrar. Visst kan du köra Hana på en enstaka nod med t.ex. 6TB RAM - men det tappar ju poängen. Poängen är att Hana ska klara av riktigt stora laster om det nu ska ersätta Oracles databas i stora konfigurationer. Och att köra en enda Hana nod är ju menlöst då. Då är det bättre med ett Hana kluster. Fast en Oracle scale-up 64TB RAM server kommer alltid vara mycket snabbare.

Min poäng är att en Scale-up server inte kan ersätta en Scale-out server, och vice versa. Det är alltså fel att tro att en SGI UV2000 server med 100 tals cpuer kan agera affärsserver, och ersätta en 32 cpu Unix server. Om detta är vi överens hoppas jag, du verkar hålla med mig om detta, se det understrykna ovan.

Sen förstår jag inte riktigt vad vi är oense om. Kan du specificera? Visst, t.ex. säger du att jag har fel om Hana som faktiskt kan köra scale-up server (dvs om du begränsar dig till en liten x86 single nod server) men jag pratar ju om stora laster. Och då har jag inte fel när jag säger att Hana inte är till för stora scale-up servrar, utan till för scale-out servrar (dvs klusters enligt min egen terminologi).