-
·
Onsite offline LLM: internt spørsmål-og-svar uten sky
Et lokalt RAG-system som svarer ansatte ut fra firmaets egne kilder, med tilgangskontroll per chunk og vLLM for gjennomstrømming.
-
·
Hva en lokal 70B-modell faktisk krever av maskinvare
En 70B-modell trenger rundt 40 GB VRAM på 4-bit og 140 GB i fp16, og valget står mellom ett proff-kort, ett consumer-kort eller to kort med tensor-parallell.
-
·
Norsk RAG: hvorfor BGE-M3 slår engelske embedding-modeller
Engelske embedding-modeller presterer dårlig på norsk tekst, og da hjelper det ikke hvor god språkmodellen bakerst er.