Permalänk
Medlem

Nvidias lokala ai på rtx-kort

Någon som hunnit testa installera och köra Nvidias AI som man installerar och kör lokalt mha rtx-kort?

Några reflektioner?

Jag tror vi är nära att alla kör lokala ai på olika prylar.

Permalänk
Medlem

Jag testade lite snabbt, var som chatbot GPT för det mesta, men testade inte mycket mer än så. Tog lång tid att läsa in egna texter, men fungerade bra med hänvisningar till vad den i så fall refererade till.

Tog bort den igen, men kan hända att jag testar den igen någon gång

Visa signatur

CPU: R7 5800X3D | GPU: XFX 6900XT Merc 319 | MB: Gigabyte X570 PRO-I| RAM: 2x16 Corsair LPX@3600MHz CL18|Cooling: Scythe Ninja 5 (Noctua A12x25)|PSU: Corsair SF750|SSD: Samsung 970 EVO Plus 1TB + Corsair MP510 4TB + Samsung 850 EVO 2TB + Samsung 850 PRO 2TB|CASE:NR200P

Permalänk
Hedersmedlem
Skrivet av Woaini:

Någon som hunnit testa installera och köra Nvidias AI som man installerar och kör lokalt mha rtx-kort?

Några reflektioner?

Vill testa. Men har ett RTX2000-kort. Dåligt stöd där. Finns en del andra språkmodeller man kan köra på CPUn sen tidigare vilka jag inte heller testat så det kanske häner mer på mig än bristande hårdvara hehe.

Skrivet av Woaini:

Jag tror vi är nära att alla kör lokala ai på olika prylar.

Vi är redan där. Schackdatorer har funnits tillgängliga för hemkörning sedan många år. Språköversättningsmodeller som lär från tidigare texter finns också sedan ett tag.
Bland annat ;). För de som grottar i det har dörren stått öppen för det här ett gäng år.
Men det börjar komma ut färdigtuggade lösningar utöver schackdatorer för oss mindre insatta nu. Intressanta tider.

Visa signatur

🎮 → Node 304 • Ryzen 5 2600 + Nh-D14 • Gainward RTX 2070 • 32GB DDR4 • MSI B450I Gaming Plus AC
🖥️ → Acer Nitro XV273K Pbmiipphzx • 🥽 → VR: Samsung HMD Odyssey+
🎧 → Steelseries arctic 7 2019
🖱️ → Logitech g603 | ⌨️ → Logitech MX Keys
💻 → Lenovo Yoga slim 7 pro 14" Oled