Kunstig intelligens har gått fra å være science fiction til å bli et daglig arbeidsverktøy for mange bedrifter. Men det er én ting som holder mange tilbake: personvern. Hva skjer med dataene dine når du sender dem til ChatGPT eller andre skybaserte AI-tjenester? Som IT-konsulent ser jeg dette spørsmålet stadig oftere — og heldigvis finnes det et godt alternativ.
Du kan kjøre store språkmodeller (LLM) lokalt på din egen maskin. Alt forblir på ditt eget nettverk, og ingen data forlater bygningen.
Hva er en lokal LLM?
En lokal LLM er en kunstig intelligens-modell som kjører direkte på din egen maskinvare — enten det er en arbeidsstasjon, en server i serverrommet, eller en dedikert GPU-maskin. I motsetning til ChatGPT eller Claude, som prosesserer alt i skyen, holder en lokal LLM alle data på ditt eget utstyr. Dette er spesielt relevant for bedrifter som håndterer sensitiv informasjon som kundeopplysninger, kontrakter, helsejournaler eller finansielle data.
Verktøy: Ollama og LM Studio
To verktøy har gjort det overraskende enkelt å komme i gang med lokal AI:
Ollama er et kommandolinjeverktøy som lar deg laste ned og kjøre åpne språkmodeller med én enkel kommando. Skriv ollama run llama3, og du har en kraftig AI-assistent kjørende lokalt i løpet av minutter. Ollama støtter en lang rekke modeller, inkludert Llama 3, Mistral, Phi-3 og CodeLlama for kode. Det beste? Ollama eksponerer et API som gjør det enkelt å integrere med andre verktøy og applikasjoner.
LM Studio tilbyr det samme, men med et brukervennlig grafisk grensesnitt. Du kan bla gjennom tilgjengelige modeller, laste dem ned med ett klikk, og begynne å chatte umiddelbart. LM Studio er perfekt for de som vil prøve forskjellige modeller uten å bruke terminalen.
Maskinvarekrav: Hva trenger du egentlig?
Her kommer den praktiske biten. Lokal AI krever mer maskinvare enn de fleste kontoroppgaver:
Minimum for små modeller (7B parametre): 16 GB RAM, en moderne prosessor (Intel i7/AMD Ryzen 7 eller bedre). Disse modellene gir overraskende gode resultater for oppsummering, enkel tekstbehandling og kodehjelp. Du trenger ikke nødvendigvis et dedikert grafikkort — mange modeller kjører helt greit på CPU, bare litt tregere.
For større modeller (13B-70B parametre): Her trenger du et dedikert grafikkort med god VRAM. Et NVIDIA RTX 4090 med 24 GB VRAM håndterer de fleste 13B-modeller godt. For 70B-modeller ser du gjerne på profesjonelle kort eller flere GPU-er — og da snakker vi investeringer på 30 000-100 000 kroner bare i grafikkort.
Kvantisering er nøkkelordet her. Ved å komprimere modellene (f.eks. fra 16-bit til 4-bit) kan du kjøre langt større modeller på mer beskjeden maskinvare, med bare en marginal reduksjon i kvalitet. En 4-bit kvantisert 13B-modell kjører komfortabelt på 16 GB VRAM.
Når gir lokal AI mening?
Lokal AI er ikke alltid det rette valget. Skybaserte tjenester som GPT-4 og Claude er fortsatt overlegne på de fleste komplekse oppgaver. Men det finnes klare scenarier der lokal AI vinner:
Personvern og compliance: Håndterer du sensitive data underlagt GDPR eller andre reguleringer? Da kan lokal AI fjerne en betydelig risiko. Ingen data forlater nettverket ditt.
Kostnadskontroll: Skybaserte API-er koster per forespørsel. Hvis du har høyt volum — for eksempel automatisk kategorisering av e-poster eller støttehenvendelser — kan lokal AI bli billigere over tid.
Offline-tilgang: Trenger du AI-funksjonalitet uten internettforbindelse? Lokal AI fungerer uavhengig av nettverkstilgang.
Eksperimentering: Vil du teste og tilpasse modeller uten å bekymre deg for API-kostnader? Lokalt kan du eksperimentere fritt.
Kom i gang i dag
Min anbefaling? Start med Ollama. Installer det på en maskin med minst 16 GB RAM, kjør ollama run llama3, og test det med reelle oppgaver fra din hverdag. Evaluer kvaliteten på svarene, og vurder om det dekker behovet ditt — eller om du trenger skytjenester i tillegg. De fleste ender opp med en hybrid-tilnærming: lokal AI for sensitive oppgaver, sky-API-er for de mest krevende.
Har du spørsmål om lokal AI og hvordan det kan fungere for din bedrift? Ta gjerne kontakt for en uforpliktende prat.
