Simulator med 8st 55" skärmar: söker tips

Framförallt säkerhetskurser för vår personal men även en del externa kurser. Simulatorn på Chalmers är fantastisk, var dit för ett par år sedan på studiebesök när de körde en övning med ett flertal universitet spritt över världen. Då jobbade de på ett autopilotsystem som kommunicerade sinsemellan. Så om någon avvikelse upptäcktes kunde rutter planeras om för flera fartyg för att minimera risker. Var inte så mycket action på skärmarna, har för mig svenskarna hade i uppdrag att ta sig över något hav.. i realtid.

Tror inte jag har något behov av att gruppera ihop skärmarna, är som du är inne på, i hoppet om att man kan styra belastningen till olika grafikkort med simulatorns mjukvara.

Blir mycket labbar, förhoppningsvis kan leverantören vara delaktig och eventuellt göra lite förändringar i deras applikation då de själva ser nyttan med att minimera antalet fysiska burkar i simulatorer. Men sånt sker inte i en handvändning.

Uppdatering

Fick idag svar från leverantören att man kan tilldela olika grafikkort olika processer i simulatorn. Så det ser ljust ut! Är inne på att bygga en SuperMicro server med 3st 3060 ti men tänkte inleda med ett 3060 ti, ett 3070 och ett 3080 om man kan få tag på det efter årsskiftet.

Här är serverhårdvaran jag tänkte bygga i:
https://www.supermicro.com/products/system/4U/7049/SYS-7049GP...

Kittad med dubbla xeon silver 10c/20t 3.2GHz boost, 6x8GB ram, lite ssd's i raid.

Ska börja med att försöka mig på VFIO med GPU passthrough som i ltt's 2 gamers 1 cpu men misstänker att det inte blir en stabil lösning.

Mindre uppdatering: Inväntar hårdvaruleveranser. Som de flesta andra upplever är bristen på grafikkort påtaglig, har ett RX6800 på ingång idag och 3060ti samt 3070 beräknat i lager idag (redan framflyttat två gånger). Får se om jag får tag på ett 5700XT eller 6800XT också för att ha lite mer att jämföra med.

Hoppas komma igång med mjukvarutester under början av februari men allt hänger på leveranser.

Större uppdatering:
Har äntligen fått fatt på serverhårdvara och två 3070, det tog sin tid men nu börjar det äntligen hända grejer. Ska lägga på drivers och lite mjukvara i början av nästa vecka för att sedan frakta ut servern till simulatorn. Sen kommer det bli lite väntetid innan jag har tillfälle att lägga på simulatormjukvaran och testa den i produktionsmiljö.

Spenderade någon timme med att montera grafikkort och lägga på OS. Kommer inledningsvis köra på Win10 då en månads fördröjning av hårdvaruleveranser stökar till min tidsplan en del...

Här är lite bilder från dagen
https://photos.app.goo.gl/MHDGdPGZCSYBy1Kz8

Liten men stor uppdatering.

Har lyckats koppla upp datorn mot alla skärmar och fick även till lastbalansering mellan grafikkorten. Kändes som julafton när man fick dra skärmkablar och fick upp windowsloggan på samtliga skärmar.

Efter några timmars körning konstatera vi att prestandan inte riktigt är vad vi önskade, på öppet hav rullar det på fint i 60fps med 8ggr 1920*1080 pixlar men så fort vi testar med lite väder i skärgården så börjar ett par skärmar sjunka i framerate. In till en stad och det blir katastrofalt, drygt 30-40fps per skärm.

Efter lite analys av hwinfo loggar och task managern i Windows har jag kommit fram till att cpun bottleneckar. Endast 40% cpu belastning men de trådar som arbetar ligger i 100% (ca 12st).
GPUs belastas till ca 80% när allt rullar i 60fps, lägger vi på väder och geometri sjunker lasten till 60%, även det ett tecken på cpu bottleneck. Tyvärr rann tiden ut och jag har inte hunnit testa några åtgärder ännu. Glömde även bort att ta bilder på simulatorn i drift men har en bild att bjuda på.

https://photos.app.goo.gl/Wjoj8yhH1V6a1apG7

Nästa tester blir efter påsk om allt går enligt plan. Kan försöka filma lite om jag kommer ihåg.

Om någon mot förmodan skulle göra något liknande, aktivera hardware acceleration i Windows grafikinställningar om skärmar fryser lite random men aktiveras så fort musen förs över till den frusna skärmen

Uppdatering igen då. Har haft två framgångsrika dagar på simulatorn. Inledde med tester där man inaktiverade HT, det resulterade i att CPU lasten gick upp till närmare 70% och lite stabilare framerate men fortfarande inte bra. CPU affinity på olika cores resulterade i väldigt dålig prestanda, verkar som att Windows scheduler duger rätt bra. Efter en hel del felsökande noterade vi att om man stängde av två skärmar med tillhörande last så droppade load på "fel" grafikkort. Detta ledde oss till att misstänka att fel grafikkort rendererade fel skärms task. Efter en ommappning av renderdevice id's så hoppade alla skärmar upp i 60FPS stumt. Testade att låsa upp framerate limit på tre skärmar på ett grafikkort och fick ut ca 100FPS per skärm. Med andra ord, prestandan räcker och blir över. Problemen berodde på att grafikkorten kastade bilderna mellan varandra för att visa de på korrekt skärmar och det sög musten ur korten och eller CPUn.

Nu ska den nya lösningen testas skarpt under utbildning ett par veckor, efter det får vi utvärdera om det är en lösning att spika, dokumentera installation och konfiguration. En sån sjuk lättnad att det var konfigurationsfel som orsakade prestandaproblemen och inte någon begränsning av mjukvara eller hårdvara.

Tog tyvärr inte någon video och endast en bild när vi lyckades knäcka fysiken lite och båten blev stuntflygplan.
https://photos.app.goo.gl/zWJTNsYAQJ8CEd7E9

Misstänker att det kan dröja en stund till nästa uppdatering, om jag inte möjligen får tag på lite filmmaterial att dela med mig av

Hej och tack för input. Med facit i hand tror jag att prestandaförlusten med slavkort blir för hög då det drar en del kraft att kopiera över bild mellan grafikkorten. I mitt fall hade jag tur och kan i simulatormjukvaran assigna en task per skärm och fyra tasks per grafikkort, därmed få till en god lastbalansering med två "mid range" kort. Har varit extremt lärorikt, denna typ av lösning var inget som leverantören ens testat tidigare.

Tog mig tid att filma lite. Kan väl direkt säga att jag ska försöka röra kameran mindre när jag filmar nästa gång ':)

Vaxholmsbåtar i Vaxholm
https://photos.app.goo.gl/pqvj2HLJuRD6M9cW6

Stridsbåt 90 i Sankt Petersburg
https://photos.app.goo.gl/HHB5v8FMUnhshih89

Varning för högt oljud vid 1:48
https://photos.app.goo.gl/N6CH1QUfGYjDJn2q9

Det är varningar. Kollade inte vad det var men antagligen att jag är nära land. Instrumenten i simulatorn är riktiga och uppför sig som om de var ombord på ett fartyg.

Dags för en liten uppdatering. Vi har flyttat in i nya lokaler, en hel del strul men nu är det mesta på plats och simulatorn är i bruk.

Blev ett maffigt rack med de numera fem maskinerna som driver alla skärmar på bryggorna samt lite extra skärmar i klassrum och instruktörsrum. Totalt 38 full HD skärmar uppkopplade med hdmi extendrar. Varje maskin huserar dubbla xeon cpus, dubbla rtx 3070 och dubbla 10gbit nic i teaming för vem behöver inte 20gbit uplink till servern

Fortfarande en del finlir kvar, har också fortsatta problem med Windows som kan få för sig att frysa en skärm tills man för muspekaren över skärmen eller man startar om applikationen. Tror det är någon strömsparfunktion i Windows som orsakar detta men har inte lyckats klura ut vad isåfall.

Bilder från nya lokalerna

https://photos.app.goo.gl/n2tkkW4irM1GtjkF6