Lokal AI – för dig hemma och för ditt företag
De tre storlekarna vi använder genom hela serien: Mac Mini i aluminium, grafikkortet RTX 3090 och DGX Spark med sin guldfärgade front av metallskum. Spark är lika hög som Mac Mini, ungefär 5 cm, men bredare och därför plattare.
Kortfattat: Lokal AI betyder att du kör AI-modeller på din egen dator eller server i stället för i molnet. I den här serien handlar det mest om språkmodeller, den sortens AI som ChatGPT bygger på. Hemma får du en privat assistent utan prenumeration. På företaget stannar kunddata i huset och kostnaden blir förutsägbar. Vi visar steg för steg hur du kommer igång, oavsett om du har en Mac Mini eller en egen AI-server.
AI, språkmodell eller LLM – vad är skillnaden?
AI (artificiell intelligens) är ett brett begrepp för datorer som löser uppgifter som kräver något slags intelligens. Det omfattar allt från navigeringsappens ruttplanering till taligenkänning och program som skapar bilder.
En språkmodell, eller LLM (large language model), är en sorts AI som har tränats på enorma mängder text. Den skriver sina svar bit för bit genom att räkna ut vad som rimligen kommer härnäst. ChatGPT är en tjänst som bygger på OpenAIs språkmodeller. Llama, Qwen, Gemma och DeepSeek är exempel på språkmodeller som du kan ladda ner och köra själv.
Språkmodeller är en sorts AI, men långt ifrån all AI är språkmodeller.
När vi skriver "lokal AI" i serien menar vi alltså oftast en språkmodell som körs på din egen hårdvara. Bildgenerering och taligenkänning kan också köras lokalt, men det tar vi upp i separata artiklar.
Vad är skillnaden mot ChatGPT?
När du använder ChatGPT skickas det du skriver till OpenAIs servrar, där svaret räknas fram. Med lokal AI laddar du ner en språkmodell och kör den på din egen dator. Tekniken bakom är i grunden densamma, men skillnaden märks i fyra saker:
| Jämförelse | ChatGPT och andra molntjänster | Lokal språkmodell |
|---|---|---|
| Var hamnar det du skriver? | Hos tjänsteleverantören | Stannar på din dator |
| Kostnad | Gratis med begränsningar, annars månadsavgift eller betalning per användning | Gratis program. Du betalar för hårdvara och ström |
| Fungerar utan internet | Nej | Ja, när modellen är nedladdad |
| Kontroll | Leverantören bestämmer modell, regler och pris | Du väljer modell och bestämmer själv när du uppdaterar |
Välj det som passar dig:
Lokal AI hemma
Hemma handlar lokal AI om att ha en smart assistent som är din egen. Du kan be den sammanfatta långa mejl, förklara ett avsnitt i barnens mattebok, skriva ett första utkast till en annons eller gå igenom försäkringsvillkor, utan att någon annan läser med.
Vad du kan göra
- Privat assistent: chatta om sådant du inte vill dela med ett företag, som ekonomi, hälsa eller familj.
- Dina egna dokument: låt språkmodellen svara utifrån dina PDF:er, manualer och anteckningar.
- Ingen prenumeration: programmen är gratis och du kan använda dem hur mycket du vill.
- Förstå tekniken: du ser själv vad en språkmodell klarar, var den gör fel och varför.
Vad du behöver
Det viktigaste är minne. En Mac Mini med minst 24 GB minne, eller en dator med ett Nvidia-grafikkort med 12 GB eller mer, räcker för att komma igång. Ett RTX 3090 med 24 GB grafikminne klarar betydligt större modeller. I kapitel 2 hjälper vi dig att välja, och i kapitel 4 installerar vi allt steg för steg.
Illustration: så kan det se ut när du chattar med en lokal språkmodell i webbläsaren. Svaret bygger på ett påhittat försäkringsvillkor. I kapitel 5 visar vi Open WebUI steg för steg.
Lokal AI för företaget
För de flesta företag är frågan inte om AI är användbart, utan om det går att använda utan att skicka kunduppgifter, offerter och interna dokument till en extern tjänst. Med en lokal språkmodell går det.
Vad ni vinner
- Kunddata stannar i huset: frågor och dokument lämnar inte ert nätverk, vilket gör det enklare att följa GDPR och era avtal med kunder.
- Förutsägbar kostnad: en engångskostnad för hårdvaran plus el och underhåll, i stället för en avgift per anställd och månad.
- En gemensam AI-chatt för alla: varje anställd loggar in med sitt eget konto mot samma server.
- En modell som kan er verksamhet: en språkmodell kan finjusteras på ert material, er ton och era produkter.
- Automatisering: låt språkmodellen sortera inkommande mejl och skriva svarsutkast som en medarbetare godkänner.
Vad ni behöver
När flera ska använda samma språkmodell samtidigt rekommenderar vi en dedikerad AI-server, till exempel en DGX Spark med 128 GB minne. Enligt Nvidia kan den köra modeller med upp till 200 miljarder parametrar, alltså långt större än vad som ryms på ett vanligt grafikkort. Den är inte större än en bok och har låg ljudnivå. Ett mindre företag kan börja med en dator med RTX 3090.
En AI-server på kontoret: de anställda når den via webbläsaren, och frågor och dokument stannar i ert nätverk.
Vad klarar en lokal språkmodell i dag – och vad klarar den inte?
Dagens lokala språkmodeller är bra på att sammanfatta, skriva utkast, översätta, svara utifrån dokument och hjälpa till med kod. De största molnmodellerna är fortfarande starkare på långa och komplicerade resonemang. Vi är ärliga med det genom hela serien: i kapitel 6 kör vi samma uppgifter lokalt och i molnet så att du själv ser skillnaden.
- Bra på: sammanfattningar, utkast, översättning, frågor om egna dokument, enklare kod.
- Svagare på: mycket långa resonemang, svår matematik och nyheter. En språkmodell vet bara det som fanns i träningsdatan, om du inte ger den dokument eller låter den söka på nätet.
En sak gäller alla språkmodeller, lokala som i molnet: de kan låta säkra och ändå ha fel. Kontrollera därför alltid viktiga uppgifter.
Så använder vi språkmodeller på Alina
I kundtjänsten skriver en lokal språkmodell ett första utkast till svar, som en medarbetare sedan går igenom. I webbutiken hjälper den till med produkttexter. I verkstaden gör den om teknikernas anteckningar till tydliga sammanfattningar för kunden. Allt körs på våra egna maskiner, och i serien visar vi hur.
Din väg genom serien
Serien har 13 kapitel och vi publicerar ett nytt varje vecka. Du behöver inte läsa alla. Välj den väg som passar dig:
För privatpersoner
- Kapitel 2Välj rätt hårdvara
- Kapitel 3Hur mycket minne behövs?
- Kapitel 4Installera på Windows, Mac och LinuxPubliceras snart
- Kapitel 5Open WebUI: din egen ChatGPTPubliceras snart
- Kapitel 6Vi testade 8B till 70BPubliceras snart
- Kapitel 7Chatta med egna dokumentPubliceras snart
För företag
- Kapitel 2Välj rätt hårdvaraPubliceras snart
- Kapitel 7Sök i era dokumentPubliceras snart
- Kapitel 8LibreChat för hela kontoretPubliceras snart
- Kapitel 9Träna en modell på ert materialPubliceras snart
- Kapitel 12Sortera kundmejl med n8nPubliceras snart
- Kapitel 13Vad kostar det?Publiceras snart
Se alla kapitel i översikten →
Vanliga frågor
Behöver jag kunna programmera för att köra AI lokalt?
Nej. Med Ollama installerar du språkmodellen ungefär som ett vanligt program, och med Open WebUI chattar du i webbläsaren. Vi visar varje steg i kapitel 4 och 5.
Vad är skillnaden mellan AI och en språkmodell?
AI är det breda begreppet för datorer som löser uppgifter som kräver intelligens. En språkmodell (LLM) är en sorts AI som är tränad på text och skriver svar, som modellerna bakom ChatGPT.
Får vi använda lokal AI med kunddata?
En lokal språkmodell gör det lättare att följa GDPR eftersom data inte skickas till en extern tjänst. Ni behöver fortfarande en rättslig grund och rutiner för behörigheter och lagring. Enligt EU:s AI-förordning ska företag som använder AI-system dessutom se till att personalen får kunskap om verktygen, till exempel genom utbildning. Vi går igenom det i kapitel 8.
Är en lokal språkmodell lika bra som ChatGPT?
För vardagliga uppgifter räcker dagens lokala modeller långt. För de svåraste uppgifterna är de största molnmodellerna fortfarande starkare. I kapitel 6 jämför vi dem.
Vad kostar det att komma igång?
Programmen i serien är gratis. Kostnaden är datorn och strömmen. Har du redan en dator med ett Nvidia-grafikkort med 12 GB minne eller mer kan du börja i dag. I kapitel 13 räknar vi på vad det kostar jämfört med molntjänster.
Vill du komma igång?
Hemma: svara på fyra frågor i översikten så rekommenderar vi rätt dator för dig.
Företag: boka ett kostnadsfritt samtal om lokal AI för er verksamhet.
Nästa kapitel: Mac Mini, RTX 3090 eller DGX Spark? Så väljer du rätt dator. Publiceras snart.
