Hjälp med "AI"-dator till jobbet

Eller en Framework desktop med 128G minne? 27.499:-

Ställer om frågan här..

Hur mycket vram behövs för att köra "Stablediffusion och liknande"? lokalt!
Som TS frågade efter..

Hur mycket minne behöver de vettiga modellerna?

Vill bara varna för att det är stor skillnad i krav när det kommer till att generera bilder och videos.

En bild kan de flesta grafikkort med så lite som 8gb vram lösa, men att generera videos längre än nån sekund kan dra upp till 40+ GB vram med dagens modeller. Då snackar vi om grafikkort på flera tiotusen kronor.

Ett billigare alternativ kan vara att köpa en Mac Studio med en Ultra processor och massa Ram, men stödet för alla modeller är generellt lägre än för Nvidia kort (stablediffusion ska funka).

En Framework desktop kan avsätta 110G av sitt ramminne till den inbyggda grafikkretsen.

Det är dock en RDNA-baserad krets, så kika på om ROCm funkar med det ni vill köra.

Observera att Mac Studio-datorers minneshastighet fortfarande är signifikant långsammare än dagens NVIDIA-grafikkort (även med de med mindre videominne).

Mitt RTX3090 har 935GB/s medan M2 Ultra har 800GB/s och den sammanlagda prestandan måste kombinera minneshastigheten med den faktiska GPU-hastigheten och hur dessa samverkar och den "performance overhead" det orsakar.

Förenklat men inkorrekt talat är att ta 935 GB dividerat med modellens storlek (24 GB exempelvis) för att få ut 38 tokens per sekund (TPS). Men detta överensstämmer inte med LM Studio när jag faktiskt får runt 28 TPS med en modell på bara 20 GB stor. Då skulle det bli 46,75 TPS om det stämde. Men minneshastigheten är inte 100 % använd eller 100 % effektivt använd under inferensprocessen (=när den skriver ut nästa ord).

Tar vi då 28 / 46,75 så får vi ~60 %. Vi kan därmed anta att i runda slängar så får vi bara ut runt 60 % av minneshastigheten från "grafikkort" för en given modellstorlek. Tar vi då 935*0,6/20 = 28,05 vilket överensstämmer med vad jag sett i LM Studio för en 20 GB modell.

Använder du "resonerande" LLM:er så kanske du måste vänta mellan 3-6 minuter för varje svar beroende på hur många tusentals ord som används för modellen att "tänka". Dessutom verkar de kunna hamna i loopar så de "resonerar" om samma flöde innan den ger sig och då har du väntat typ 1-2 minuter i onödan för samma svar som ändå riskerar vara "hallucinationsdrabbat".

Förbered bara företaget ifråga på att lokala AI-modeller inte går att jämföra i ren prestandahastighet (kvalité är mer subjektivt men anta att du troligen kan få lite bättre för större modeller online, gratis eller inte), dvs., "TPS" och/eller tiden det tar att generera en bild och/eller video.

Vill du ha en rejäl prestandaskjuts i AI-generering med grafikkort - och ändå vara rätt långt borta från onlinebaserad prestandahastighet - så är det 5090 eller uppåt som gäller. Trots att företaget kanske betalar 60-70 lax för en färdig dator med 5090 så är det fortfarande långt ifrån vad onlinebaserade serverdrivna AI-modeller kan erbjuda i prestandahastighet. Gör detta klart för dem då de garanterat kommer tycka att det är "för dyrt".

Mvh,
WKF.

https://www.komplett.se/product/1318977/gaming/gamingdator/ga...

Denna finns fortfarande i lager. Då får du hela paketet, för just nu går det knappt att få tag på "billiga" 5090 utan att behöva köpa fullständiga datorer där de ingår i konfigurationen.

Du bör berätta för företaget att grafikkort idag är mycket mer knappa och dyrare än för flera år sedan: "Okej, vi kanske kan få tag på enbart ett 5090 om typ några månader. Funkar det?"

På https://civitai.com/ hittar du bildmodeller som går att ladda ned helt gratis för lokal användning. (VARNING: NSFW-modeller kan förekomma men går att filtrera bort så de aldrig syns vid sökning!)

Mvh,
WKF.

Hmm, har vi ett glapp i terminologi här? Om du skriver tekniksnille inom citationstecken tror jag vi måste ställa ett par kontrollfrågor.

Vad betyder "köras lokalt" här? Betyder det att personen som skall göra jobbet skall sitta vid den datorn eller skall själva "AI:andet" ske på den datorn?

I det vanliga användningsmönstret kör man via sin browser och allt beräkningstungt sker på någon AI-providers servers-farm (i molnet ).

Det andra alternativet är att alla beräkningarna körs lokalt, dvs på den datorn du frågar efter. Det är vanligt att företag inte vill använda någon annans moln för att hantera företagshemligheter och då föredrar man att köra saker på egna maskiner.

Är det viktigt att det jobbet som görs inte "ses" av andra eller går det bra att det körs hos någon extern? Om jobben ändå körs hos någon extern AI-provider så krävs det inget speciellt av datorn som skall användas. Skall alla beräkningarna göras på den maskinen så kommer det att kosta. Som alla andra sagt: mycket minne både i datorn och på grafikkortet.

Varför behöver ni köra det lokalt? Måste gå snabbare och vara billigare att köpa det från företag som erbjuder sådana tjänster vid behov.
Ska ni köra det lokalt med samma typ av precission blir det antingen inte billigare eller så kommer det ta betydligt längre tid att få ett svar/bild/video.

Hej!

Att redigera högupplösta stillbilder i RAW-format kräver nödvändigtvis ingen supervärsting-dator av allra dyraste snitt, men att redigera högupplöst video kan däremot kräva detta beroende på upplösning och längd på filmen. Det som också kräver väldigt mycket av datorn är just bearbetningen av AI.

Du kanske har hört talas om begreppet "AI-dator". Vad som i första hand menas med det är att processorn innehåller något som heter NPU. Lite förenklat kan man säga att NPU:n är som en processor inne i processorn och syftet med NPU:n är att accelarera just AI- funktioner och att på så sätt avlasta den "vanliga" processorn. NPU är en slags AI-accelerator alltså.

Med andra ord:
Ni ska absolut se till att er nya processor har inbyggd NPU! Att köra utan NPU är en dålig ide nu när denna teknik är på plats och gör sitt jobb!

Jag skulle rekommendera en Intel Core Ultra 9 285K som CPU, eftersom det är frågan om produktiv användning och inte spelande samt att den har denna NPU. NPU finns även på vissa andra modeller och fabrikat också, men eftersom ni inte ska ha datorn för gaming så föredrar jag personligen Intel för detta ändamål.

Ni kommer behöva ett moderkort av socket LGA 1851 och helst Z890. ASUS-pris på Inet mellan typ 4 290 kr och 10 190 kr beroende på krav på antal anslutningar mm. Men som moderkort som sådan, så räcker ett moderkort för 4 290 kr gott.

RAM-minne kan man inte ha för mycket av....bara för lite! För spel/gaming så krävs det inte alltid så överdrivet mycket RAM. För redigering av högupplösta RAW-bilder, så krävs det oftast mer, säg 64 GB. För videoredigering kan det ibland krävas ännu mer, typ 96 GB beroende på filmen och hur ofta ni ska redigera just film. Mitt spontana intryck av din berättelse är att ni bör klara er långt med 64 GB. Men OBS! Se till att köra endast 2 RAM-stickor, oavsett storlek, alltså t.ex. 2 X 32 GB och inte 4 X 16. Då får man ut bäst effekt ur sina RAM!

Hårddiskarna bör vara av M.2-typ. Den disk som operativsystemet och programmen ska ligga på, bör helst vara av PCIe Gen 5. Övriga m.2-diskar kan gott vara av PCIe Gen 4.

Grafikkort:
Här räcker det oftast med 12 GB VRAM för högupplösta RAW-bilder. Video kan kräva 16 VRAM eller tom. 24 GB om det är väldigt omfattande videoredigering som det är frågan om.

Men kom ihåg att just AI-användadet i all sorts redigering, kräver mer av datorns prestanda jämfört med icke AI! Och det är bara ni som kan avgöra hur mycket och hur omfattande video kontra stillbilds-redigering ni kommer att ägna er åt. En sak till att tänka på, är att AI utvecklas i rasande fart just nu, liksom program som nyttjar AI mycket. Detta ställer högre och högre krav även på datorns komponenter. Att tänka lite lånsiktigt är alltså rätt klokt när det kommer till val av komponenter!

Bra kylning på samtliga komponenter och bra PSU ger stabilitet för hela systemet, men det ger också längre livlängd på alla datorns komponenter.

Chassits storlek och utformning bidrar också till mycket stor del av just kylningen. Dessvärre är det (enligt mig) vanligt att det sparas in på just chassit, när man kanske borde göra precis tvärtom!

Absolut max idag gällande bandbredd och RAM förberedd för 5090. 192GB RAM.
https://www.inet.se/datorbygge/b1634891/aimax

Men en mer korrekt rekommendation skulle ju vara ett Threadrippersystem med ADA 6000.

Har du eller någon annan erfarenhet av Stable Diffusion?

Jag har pysslat med det en hel del, och det är inte bara att trycka på knappen och generera. Det tar mycket arbete att få till bra bilder, och ännu mer video.

Stable Diffusion kräver också en Nvidia GPU. Det går att trixa till det med AMD, men om det är för ett företag är det inte värt besväret för hur mycket sämre/krångligare det är.

Vill ni endast göra bilder, och hastighet inte spelar roll, då kan ni köra vilken Nvidia GPU som helst med 16GB ram. Vill ni ha hastighet och/eller arbeta med video så är det 4090/5090 som gäller.

Men "AI dator" är också alldeles för generellt. Ni behöver veta exakt vilka program, och vilka arbetsflöden ni ska arbeta med. "AI" datorn är lite som att säga "Åk och köp ett fordon"... Det är ganska stor skillnad på MC, bil, cykel eller hjullastare.

Du har 3 alternativa spår, som har visats i tråden.

1) APU baserade, Unified memory architecture:
Exempelhårdvara - Mac Studio eller Ryzen AI Max (t.ex. Framework desktop som länkades ovan) eller Nvidia Digits i framtiden.

Fördel - Dessa kan köra runt 90-120GB stora modeller enskilt, samt kopplas tillsammans för att köra större modeller som stödjer partitionera över flera hårdvara. Skulle säga att att hastigheten kan vara Låg till Mellan (vill själv se noggranna utförda tester)

2) Desktop, CPU + GPU
Exempelhårdvara - Här är det I princip ett Nvidia 5090 som gäller, men nackdelen är mängden minne. Alternativt är att köra professionella kort från Nvidia eller AMD (med AMD behöver du veta vilka program du vill köra och om de stödjer ROCm)

Fördel - Kan köra små och mellanstora modeller till hög hastighet, plus för CUDA är att den är väldigt populärt out of the box och ROCm, om de fungerar för dina program och behov, kan möjliggöra mycket billigare varianter och möjligheter.

3) Workstation, CPU + MultiGPU
Exempelhårdvara - Threadripper eller Epyc och köra flera kort, lite mer komplicerat men finns mjukvaror "out of the box" som kan stödja multi-gpu

Fördel - Bra om du vill ha flera användare som ska kunna interface:a datorn via nätverket från en browser. T.ex. om du vill bygga en intern egen tjänst där ni sköter en on-prem liknande ChatGPT variant.

Egentligen går det att köra remote på samtliga 3 varianter, bara att variant 3 skulle kunna skala upp bättre.

Själv kör jag med AMD och ROCm har börjat ta fart, finns LM Studio som passar för samtliga 3 varianter och Amuse för variant 1 och 2. Har inte testat andra verktyg som Comfyui och liknande än. Men vill du ha enklast out of the box lösning, trots högre kostnad, så är Nvidia rätt väg att gå. Dock för variant 1 är Ryzen AI Max som t.ex. Framework desktop erbjuder en väldigt vass produkt trots ROCm.

Ett tips om ni är utvecklare så stödjer Jetbrains Rider IDE (deras AI assistant plugin) att man kör AI via LM Studio eller Ollama lokalt på datorn eller remote till AI datorn

Skulle vara kul om du återkopplar senare när du har valt och byggt upp er AI dator, hur ni använder den och upplever den fungera.

Glömde nämna en komponent som bild/videoredigerare bör ställa extra höga krav på och som man helst (dessvärre) bör lägga lite extra pengar på......nämligen bildskärmen.

Man brukar säga att skärmens storlek för bildredigering är optimal vid 27" även om detta är individuellt. Men det som tveklöst är den absolut viktigaste fuktionen på en bildskärm, är att den är avsedd för just bild & videoredigering. Det ställs nämligen helt andra krav på en sådan skärm jämfört med t.ex en gamingskärm. Färgnoggrannheten är ju extra viktig, alltså att skärmen kan återge alla färger på ett helt korrekt sätt och även svärta och skuggor mm. "Vanliga" bildskärmar klarar inte detta även om man kanske tror det, eftersom bilderna kan se bra ut. Men att "se bra ut" är inte samma sak som sanna och trovärdiga färger! Faktum är att skillnaden oftast är ganska stor. Och om man har höga kvalitetskrav och kanske jobbar mot kund så.....tja....då finns tyvär inga genväger! Och då kostar det också.

Utöver en riktigt bra foto-skärm, så bör man regelbundet även kalibrera bildskärmen. Antingen med hjälp av en extern kalibrator eller en inbyggd kalibrator inne i skärmen. Detta är en enkel procedur och går snabbt. Man brukar säga att man bör kalibrera skärmen ca. var 200:e timme.

De absolut bästa bildskärmarna på marknaden för just bild och videoredigering, är Eizo och i viss mån några modeller från NEC. Asus har också bildskärmar för detta ändamål och där är priserna mycket lägre, men de är långt ifrån lika bra som Eizo även om de är bättre än en sedvanlig gamingskärm. Eizo är mer eller mindre branschstandard bland fotoredigerarproffsen runt hela världen.

4K eller inte 4K?
Jag tycker personligen tveklöst att en 4K på 27' är det allra bästa för foto/video. 4K ger allra bäst effekt och nytta vid video, men även stillbildsredigering tar nytta av 4K så länge bilderna är högupplösta.
En Eizo 27" kostar ca.12 500 kr (plus kalibrator) och en Eizo 27" 4K med innbyggd kalibrator ligger på ca. 34 000 kr. Båda priserna från Cyberphoto.

Mac studio/mini är ju onekligen billigare än många andra alternativ. Beroende hur flexibelt företaget du jobbar på är kan ju ett alternative vara att köpa mac som man sen returnerar om det inte lever upp till förväntningarna (men då ska man vara noggrann med vad som gäller, företag har ju inte samma rättigheter i retur frågor som privatpersoner).

Nu tror jag du har missuppfattat vad NPU:n är bra på. Dess jobb är att köra lättare AI-workloads och fokus är att det skall dra lite ström. Den är tänkt för att köra enkla uppgifter som skall kunna gå mer eller mindre kontinuerligt utan att dra ur batteriet. En modern, high-end GPU har mångdubbelt mer beräkningskraft så i en stationär dator tillför en NPU egentligen ingenting. Det är bättre att köra på GPUn.

Nej, jag har inte alls missuppfattat NPU. Det är så som jag säger, men du har alldeles rätt i att den sparar ström vilket är bra i bärbara datorer. NPU avlastar både CPU och GPU i både stationära och bärbara datorer.

Har svårt att se att man kan sprida en AI last över ett diskret grafikkort och en NPU, så man får välja. Och då väljer man GPU som är mångdubbel kraftfullare

Men nån får rätta mig om jag har fel och det faktiskt går att använda både NPU och GPU till samma AI last.

Intels NPU4 i Lunar Lake ger up to 48 TOPS. Kombinerat med den inbyggda Xe2-grafiken, som maxar 67 TOPS, är det säkert vettigt att försöka dela upp arbetet på NPU och GPU. Men med exempelvis ett 4090s (1300+ TOPS), tror jag inte det är värt att ens försöka.