Vad behöver jag i hårdvaruväg för att köra denna LLM?

Permalänk
Hedersmedlem

Vad behöver jag i hårdvaruväg för att köra denna LLM?

Läste en nyhet om att nvidia släppt en språkmodell med mer data för europeiska språk
https://blogs.nvidia.com/blog/speech-ai-dataset-models/

Spännande! Den här vill jag utforska lite mer. Men jag vet inte vad som krävs för att köra det här lokalt.

Det är mest texthantering jag är intresserad av egentligen.
Så modellen NVIDIA Canary-1b-v2 är väl det jag vill testa. Artikeln har länk till hugging face för det här också.
https://huggingface.co/nvidia/canary-1b-v2

Det jag är mest nyfiken på är väl om man kan köra nå sånt här på en mini-pc. Säg en mac mini eller en Ryzen med HX 370 (ganska billiga i mini-pc väg).

Eller är det helt uteslutet för en OK upplevelse? Behöver NeMo vara inblandat och behövs i så fall nvidias hårdvara?

Jag tänkte att jag ville testa lite här - och kan lägga kanske 10k på hårdvara. Finns något med miniformat för det här månne?
Oavsett kommer inte en förmögenhet läggas på det här för lite testande ;).

Nån som vet vad som skulle kunna funka här?

Visa signatur

💻 → Lenovo Yoga slim 7 pro 14" Oled
🎮 → Steamdeck

Permalänk
Medlem

Jag googlade på "llm model memory requirements" och hittade denna: https://techtactician.com/llm-gpu-vram-requirements-explained...

Visa signatur

CCNP
FCSS

Permalänk
Skrivet av Söderbäck:

Läste en nyhet om att nvidia släppt en språkmodell med mer data för europeiska språk
https://blogs.nvidia.com/blog/speech-ai-dataset-models/

Spännande! Den här vill jag utforska lite mer. Men jag vet inte vad som krävs för att köra det här lokalt.

Det är mest texthantering jag är intresserad av egentligen.
Så modellen NVIDIA Canary-1b-v2 är väl det jag vill testa. Artikeln har länk till hugging face för det här också.
https://huggingface.co/nvidia/canary-1b-v2

Det jag är mest nyfiken på är väl om man kan köra nå sånt här på en mini-pc. Säg en mac mini eller en Ryzen med HX 370 (ganska billiga i mini-pc väg).

Eller är det helt uteslutet för en OK upplevelse? Behöver NeMo vara inblandat och behövs i så fall nvidias hårdvara?

Jag tänkte att jag ville testa lite här - och kan lägga kanske 10k på hårdvara. Finns något med miniformat för det här månne?
Oavsett kommer inte en förmögenhet läggas på det här för lite testande ;).

Nån som vet vad som skulle kunna funka här?

Det står här att https://huggingface.co/nvidia/canary-1b-v2/tree/main modellfilen tar 6,36 GB vilket brukar betyda att då ska du gärna ha 6,36 GB eller mer i videominne för ditt valda grafikkort. Däremot vet jag inte för just ljudmodeller om de kan behöva ännu ytterligare i form övriga modelldata och/eller tredjepartsgrejer som måste laddas in i samma videominne?

Sedan brukar minneshastigheten i videominnet ha en signifikant (kanske till och med avgörande(?)) effekt vid skarp användning (=exempelvis tokens per seconds vid bruk av språkmodeller). Exempelvis RTX3090 med 24 GB är fortfarande snabbare (tyvärr(?)) än AMD7900 XTX med 24 GB på grund av minneshastigheten även om de teoretiskt kan rymma lika stora modeller.

Mvh,
WKF.

Visa signatur

(V)ulnerabilities
(I)n
(B)asically
(E)verything
Programming

Permalänk
Hedersmedlem

Allright. Ja det var minsann milda minneskrav.
En del av lockelsen med mini-PCs är väl att de nya AMD ai max-grejerna kan ha en jäkla massa minne för stora modeller.
Och minne är relevant. Men ja, samtidit spelar minnesrymd mindre relevant om det inte finns beräkningskraft - eller hårdvarustöd.
Nånstans här var jag väl osäker på hårdvaruvalen.
Funkar exempelvis en mac mini med 16GB RAM här? Eller kommer det gå knackigt ändå?

Kanske är få som vet ;).
Det är bara så dyrt att testa ut bra hårdvara för ändamålet själv hehe.

Visa signatur

💻 → Lenovo Yoga slim 7 pro 14" Oled
🎮 → Steamdeck

Permalänk
Medlem
Skrivet av Söderbäck:

Allright. Ja det var minsann milda minneskrav.
En del av lockelsen med mini-PCs är väl att de nya AMD ai max-grejerna kan ha en jäkla massa minne för stora modeller.
Och minne är relevant. Men ja, samtidit spelar minnesrymd mindre relevant om det inte finns beräkningskraft - eller hårdvarustöd.
Nånstans här var jag väl osäker på hårdvaruvalen.
Funkar exempelvis en mac mini med 16GB RAM här? Eller kommer det gå knackigt ändå?

Kanske är få som vet ;).
Det är bara så dyrt att testa ut bra hårdvara för ändamålet själv hehe.

Jag hade hyrt GPU kraft från en molnleverantör istället om du bara vill testa lite?

Vad har du för GPU nu? Om du kan använda det (mha en ännu mindre modell) för att komma till en punkt där du vet vad du gör kommer du inte behöva bränna några pengar i onödan.

Permalänk
Hedersmedlem
Skrivet av pine-orange:

Jag hade hyrt GPU kraft från en molnleverantör istället om du bara vill testa lite?

Ja. Det låter ju faktiskt smartast. Halva grejen är att testa att köra det hela på lokala maskiner. Men det är bara halva grejen. Först förstå vad denna LLM faktiskt levererar.
Det här bör testas i molnet först. Du har ju rätt!

Jag får börja kolla där

Skrivet av pine-orange:

Vad har du för GPU nu? Om du kan använda det (mha en ännu mindre modell) för att komma till en punkt där du vet vad du gör kommer du inte behöva bränna några pengar i onödan.

Jag har ju skickat ut min desktop. Det jag har är en steamdeck i nuläget hehe. Och en laptop utan diskret grafikkort.

Så det finns egentligen utrymme att skaffa en bättre beräkningsenhet. Fysiskt och ekonomiskt

Visa signatur

💻 → Lenovo Yoga slim 7 pro 14" Oled
🎮 → Steamdeck