Forum Övrigt Övriga ämnen Underhållning Tråd

AI-modell lämplig för översättning

1
Skriv svar
Permalänk
Medlem ★
●

AI-modell lämplig för översättning

Jag har i Deepseek-rabaldret installerat Ollama på min Docker-server och insåg att detta kan man ju kanske nyttja till översättningar... Mitt bekymmer är att sambon inte är helt svensk-talande, och det är ju inte alltid engelska översättningar finns till t.ex nya tvserier på SVT eller Tv4, eller ens finns till äldre Svenska filmer.
Så... Subtitle Edit + Ollama är ju en kombo som funkar. Men vilken modell är lämplig?

Jag tänkte att en modell baserad på Flashback borde kunna svenska: https://huggingface.co/featherless-ai-quants/timpal0l-Mistral-7B-v0.1-flashback-v2-GGUF men otrevligare AI är nog svår att hitta... Spydig och dryg i svaren... Precis som Flashback, antar jag.
Den säger t.om att den inte pratar svenska, och sa det på svenska. Hmm.

Så, finns det nån rekommendation på modell för översättning svenska->engelska?
Snabb osv är ju en mindre fråga, då jag tänkte mig att köra igång det hela, sen får det tugga tills det är klart.
Hårdvarumässigt kommer den snurra på i5-7400, GF1060 och 48GB RAM för tillfället. Ingen fartdemon, men tid har den.

Visa signatur

// men vad vet jag, fråga en expert istället

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Den enklaste lösningen är att prova dig fram: börja med en modell med lägst antal parametrar (siffran framför B:et i modellnamnen) och ge det som ska översättas. Sedan tar du samma modell fast med högre antal parametrar tills att du upplever att det tar orimligt lång tid för dess ändamål.

Jag har ingen aning om huruvida 671B-modellen har svenska inbakat i sig? Djupdyk på diverse LLM-subreddits och prova dig fram är vad jag skulle rekommendera. Själv ska jag prova flera olika lokala LLM:er nu för webbutveckling för att se vad som fungerar bäst för min egen smak och tålamod.

GLHF!

Mvh,
WKF.

Visa signatur

(V)ulnerabilities
(I)n
(B)asically
(E)verything
Programming

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Kan rekommendera bazarr tillsammans med OpenAI whisper. Det är gjort för exakt det ändamålet och jag har kört det många ggr. Men inte testar just svenska > engelska.

https://wiki.bazarr.media/Additional-Configuration/Whisper-Pr...

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av WebbkodsFrilansaren:

Den enklaste lösningen är att prova dig fram: börja med en modell med lägst antal parametrar (siffran framför B:et i modellnamnen) och ge det som ska översättas. Sedan tar du samma modell fast med högre antal parametrar tills att du upplever att det tar orimligt lång tid för dess ändamål.

Jag har ingen aning om huruvida 671B-modellen har svenska inbakat i sig? Djupdyk på diverse LLM-subreddits och prova dig fram är vad jag skulle rekommendera. Själv ska jag prova flera olika lokala LLM:er nu för webbutveckling för att se vad som fungerar bäst för min egen smak och tålamod.

GLHF!

Mvh,
WKF.

Gå till inlägget

Mjo, B-siffran har jag klurat ut innebär (blandannat) hur mye GB jag behöver ladda hem Samt att mitt GF har 6GB RAM som bör vara en siffra att ta hänysyn till. Märkte också tidsskillnaden mellan Deepsek 1,5B och phi4 på 14B....

Jag körde igång https://huggingface.co/AI-Sweden-Models/Llama-3-8B-instruct-Q4_K_M-gguf innan jag åkte till jobbet. Får se vad den har spottat ut för resultat på översättning av "Torsk på Tallinn"...

Lägger till: pih4 var rätt okej på översättningen. Man behöver ju ändå läsa igenom lite grann, de fula orden var ju lite si och så i översättning t.ex.

Senast redigerat lägger till...
Visa signatur

// men vad vet jag, fråga en expert istället

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av mrTLU:

Mjo, B-siffran har jag klurat ut innebär (blandannat) hur mye GB jag behöver ladda hem Samt att mitt GF har 6GB RAM som bör vara en siffra att ta hänysyn till. Märkte också tidsskillnaden mellan Deepsek 1,5B och phi4 på 14B....

Jag körde igång https://huggingface.co/AI-Sweden-Models/Llama-3-8B-instruct-Q4_K_M-gguf innan jag åkte till jobbet. Får se vad den har spottat ut för resultat på översättning av "Torsk på Tallinn"...

Lägger till: pih4 var rätt okej på översättningen. Man behöver ju ändå läsa igenom lite grann, de fula orden var ju lite si och så i översättning t.ex.

Gå till inlägget

Hallå där! Kul att du hittat ett par modeller jag tränat

Blir intressant att höra hur AI-Sweden-Models/Llama-3-8B-instruct fungerar, kan vara värt att testa lite högre än Q4 om du märker att den underpresterar.

Denna modell skulle jag också kunna rekommendera; https://huggingface.co/AI-Sweden-Models/gpt-sw3-6.7b-v2-trans... - då de är en finetunead variant av GPT-SW3 Instruct, men endast på översättningsdata...

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av timpal0l:

Hallå där! Kul att du hittat ett par modeller jag tränat

Blir intressant att höra hur Llama-3-8B-instruct fungerar, kan vara värt att testa lite högre än Q4 om du märker att den underpresterar.

Denna modell skulle jag också kunna rekommendera; https://huggingface.co/AI-Sweden-Models/gpt-sw3-6.7b-v2-trans... - då de är en finetunead variant av GPT-SW3 Instruct, men endast på översättningsdata...

Gå till inlägget

Lite synd att den där inte fanns med på deras huvudsida https://huggingface.co/AI-Sweden-Models, ordet translator hade jag ju reagerat på annars!

En annan observation jag har gjort, är ju att man får lite insikt hur jäkla mycket datorkraft det krävs för att ställa en hyffsad enkel fråga..... Jag har bara kört ollama i två kvällar, kväll 1 på min dockerserver i7-4790 utan grafikkort och igår på min stationära enligt start-inlägget. Och det tar tid. Men i mitt användningsområde, så är det ju en mindre faktor.

Fast jag är nyfiken på hur min 3 år gamla jobbdator tar lasten, i7-gen11-nånting och Quadro RTX A3000. Tur att jag inte får installera vad jag vill kanske... Fick från IT att de inte gillade att jag hade Visual Code på datorn, som ändå var installerat via deras egen software-tjänst...

Visa signatur

// men vad vet jag, fråga en expert istället

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av mrTLU:

Lite synd att den där inte fanns med på deras huvudsida https://huggingface.co/AI-Sweden-Models, ordet translator hade jag ju reagerat på annars!

En annan observation jag har gjort, är ju att man får lite insikt hur jäkla mycket datorkraft det krävs för att ställa en hyffsad enkel fråga..... Jag har bara kört ollama i två kvällar, kväll 1 på min dockerserver i7-4790 utan grafikkort och igår på min stationära enligt start-inlägget. Och det tar tid. Men i mitt användningsområde, så är det ju en mindre faktor.

Fast jag är nyfiken på hur min 3 år gamla jobbdator tar lasten, i7-gen11-nånting och Quadro RTX A3000. Tur att jag inte får installera vad jag vill kanske... Fick från IT att de inte gillade att jag hade Visual Code på datorn, som ändå var installerat via deras egen software-tjänst...

Gå till inlägget

Bra poäng, borde kanske ligga på framsidan, så modellen hittats lättare...

Jupp så är det, tror absolut din GPU kommer gå snabbare.

Det finns en discord för likasinnade här; https://discord.gg/kabUPedJ (AI Nordics) välkommen!

Redigera
Citera flera Citera
1
Skriv svar