-
·
Hva en lokal 70B-modell faktisk krever av maskinvare
En 70B-modell trenger rundt 40 GB VRAM på 4-bit og 140 GB i fp16, og valget står mellom ett proff-kort, ett consumer-kort eller to kort med tensor-parallell.
·
En 70B-modell trenger rundt 40 GB VRAM på 4-bit og 140 GB i fp16, og valget står mellom ett proff-kort, ett consumer-kort eller to kort med tensor-parallell.