Spørsmålet kommer stadig oftere fra folk som vil kjøre en 70B-modell på egen maskin i stedet for å sende data ut i skya: hva krever det egentlig av maskinvare? Nesten alt koker ned til VRAM. Regnestykket er ikke vanskelig, men det er lett å bomme på det likevel.
VRAM er flaskehalsen
Modellen må ligge i GPU-minnet for å kjøre raskt. Det er vektene som setter gulvet, og de er ikke til å diskutere med. For en 70B-modell snakker vi om:
- Rundt 40 GB når du kvantiserer til 4-bit.
- Rundt 140 GB i fp16, altså full presisjon.
Og dette er bare vektene. Kontekstvinduet kommer i tillegg, og jo lengre kontekst, jo mer VRAM spiser det. En modell som så vidt får plass med kort kontekst, sprekker med en gang du skrur opp lengden.
Tre veier til 70B
I praksis finnes det tre måter å skaffe nok minne på.
1. Ett proff-kort med mye VRAM
Et enkelt kort med 96 GB kjører en 70B-modell uten å svette, med god plass til kontekst i tillegg. Dette er den enkleste veien: ingen splitting, ingen ekstra konfig som kan gå galt. Det er også den dyreste.
2. Ett consumer-kort
Et consumer-kort på 32 GB strekker rett og slett ikke til for 70B ved fornuftig kvantisering. Du kommer til rundt en 32B-modell, eventuelt 70B i hardhendt kvantisering med dårligere kvalitet og kort kontekst. Fint til å leke seg og teste, men ikke noe å sette i produksjon.
3. To kort med tensor-parallell
To 32 GB-kort kan huse en 70B-modell sammen ved at vektene deles over begge med tensor-parallell. Det gir 64 GB samlet, og til lavere pris enn ett stort proff-kort. Prisen du betaler i stedet er mer oppsett, og en rask forbindelse mellom kortene er et krav, ikke en luksus.
Minne er ikke nok for flere brukere
Her er fella mange går i: nok VRAM løser bare tilfellet der én person bruker modellen. Skal flere kjøre samtidig, trenger du batching. En server som vLLM slår forespørslene sammen og holder gjennomstrømmingen oppe under last. Uten batching stuper ytelsen så fort bruker nummer to og tre kobler seg på, uansett hvor mye minne du har til overs.
Grov prissortering
| Alternativ | Samlet VRAM | 70B? | Relativ pris |
|---|---|---|---|
| Ett consumer-kort | 32 GB | Nei (kun 32B) | Lavest |
| To consumer-kort | 64 GB | Ja, med parallell | Mellom |
| Ett proff-kort | 96 GB | Ja, enkelt | Høyest |
Prisene svinger mye og endrer seg fort, så les tabellen som et spenn og ikke som fasit.
Konklusjon
Regn ut minnebehovet før du legger inn bestillingen. Legg sammen vekter og kontekst, ta et bevisst valg på kvantisering, og bestem tidlig om systemet skal betjene én bruker eller mange. To kort med tensor-parallell gir mest VRAM per krone til 70B, mens ett proff-kort gir minst hodebry. Consumer-kortet alene er bare feil verktøy for 70B.
