8 GB Mac માટે શ્રેષ્ઠ LLM.

8 GBમાં 73માંથી 16 ઓપન મૉડલ સારાં ચાલે છે. ડિફૉલ્ટ રીતે GPU તેમાંથી આશરે 6 GB વાપરી શકે છે. ઝડપ ચિપ પર આધાર રાખે છે: M1 પર 68 GB/sથી M2 પર 100 GB/s સુધી.

સારું ચાલતું સૌથી સ્માર્ટMiniCPM5 2B8-બિટ · 2.7 GB · 11–30 tok/sસારું ચાલતું સૌથી મોટુંGranite 4.2 8B4-બિટ · 4.5 GB · 7–18 tok/s

8 GBવાળાં Mac

M1થી M3ની 3 ચિપ 8 GB સાથે આવે છે. તેની પોતાની યાદી અને ઝડપ જોવા કોઈ પણ ચિપ ખોલો.

સારાં ચાલે છે 21

કૉન્ટેક્સ્ટ માટે જગ્યા સાથે સમાય છે, M2 પર સેકન્ડના 10 કે વધુ ટોકન.

મૉડલવર્ઝનમેમરીM1M2
MiniCPM5 2B2.52B · ઇન્ટેલિજન્સ 12.58-બિટ2.7 GB11–2017–30
Granite 4.2 8B8B · ઇન્ટેલિજન્સ 11.14-બિટ4.5 GB7–1210–18
Granite 4.2 3B3B · ઇન્ટેલિજન્સ 9.18-બિટ3.2 GB10–1714–25
Gemma 4 E4B8B · ઇન્ટેલિજન્સ 8.94-બિટ4.5 GB12–2218–32
Nemotron 3 Nano 4B3.97B · ઇન્ટેલિજન્સ 4.88-બિટ4.2 GB10–1711–19
Llama 3.1 8B Instruct8B4-બિટ4.5 GB7–1210–18
Gemma 4 E2B5.1B6-બિટ4.1 GB16–2924–42
Qwen3.5 4B4B8-બિટ4.3 GB13–2410–19
Phi-4 mini instruct3.8B8-બિટ4 GB10–1811–20
Llama 3.2 3B Instruct3.21B8-બિટ3.4 GB12–2113–24
SmolLM3 3B3B8-બિટ3.2 GB10–1714–25
LFM2.5 2.6B2.69B8-બિટ2.9 GB11–1916–28
Qwen3.5 2B2B8-બિટ2.1 GB15–2621–38
Llama 3.2 1B Instruct1.23B8-બિટ1.3 GB24–4235–62
Qwen3.5 0.8B0.8B8-બિટ0.9 GB34–6050–89
Qwen3 0.6B0.6B8-બિટ0.6 GB51–9175–133
Qwen3.5 9B9B · ઇન્ટેલિજન્સ 11.23-બિટ ઓછી ગુણવત્તા3.9 GB8–1412–21
Ministral 3 8B8.9B · ઇન્ટેલિજન્સ 5.53-બિટ ઓછી ગુણવત્તા3.9 GB8–1412–21
Phi-4 (14B)14B2-બિટ ઓછી ગુણવત્તા4.4 GB7–1210–18
Gemma 4 12B Unified12B2-બિટ ઓછી ગુણવત્તા3.7 GB8–1512–22
Qwen3 8B8.2B3-બિટ ઓછી ગુણવત્તા3.6 GB9–1513–22

માંડ માંડ સમાય છે 1

લગભગ આખી મેમરી જોઈએ: GPU મેમરીની મર્યાદા વધારો અને કૉન્ટેક્સ્ટ ટૂંકો રાખો.

મૉડલવર્ઝનમેમરીM1M2
Phi-4 Reasoning Vision 15B15B2-બિટ ઓછી ગુણવત્તા4.7 GB7–1210–17

બહુ મોટાં 51

8 GB કરતાં વધુ મેમરી જોઈએ, 2 બિટ પર પણ.

પ્રશ્નો

8 GBવાળા Mac માટે શ્રેષ્ઠ LLM કયું છે?
જે મૉડલનો Intelligence Index પ્રકાશિત છે, તેમાંથી 8 GBમાં સારાં ચાલતાં મૉડલમાં MiniCPM5 2Bનો સ્કોર સૌથી ઊંચો છે (8-બિટ). સારું ચાલતું સૌથી મોટું મૉડલ Granite 4.2 8B છે.
શું Mac પર લોકલ AI માટે 8 GB પૂરતી છે?
અહીંનાં 73 ઓપન મૉડલમાંથી 16 તેમાં 4 બિટ કે તેથી સારા પ્રિસિઝન પર સારાં ચાલે છે. ડિફૉલ્ટ રીતે macOS GPUને તેમાંથી આશરે 6 GB વાપરવા દે છે; મૉડલ અને તેનો કૉન્ટેક્સ્ટ તેમાં જ સમાવા જોઈએ.
શું 8 GB Mac પર gpt-oss-20b ચાલી શકે?
ના: તેને GPU ડિફૉલ્ટ રીતે વાપરી શકે તે 6 GB કરતાં વધુ જોઈએ.

બીજી સાઇઝ: 8 GB · 16 GB · 18 GB · 24 GB · 32 GB · 36 GB · 48 GB · 64 GB · 96 GB · 128 GB · 192 GB · 256 GB · 512 GB

આ મૉડલ MLX Harness (મફત, ઓપન સોર્સ) વડે અથવા Terminalમાં Appleના mlx-lm વડે ચલાવો: સ્ટેપ બાય સ્ટેપ.

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.

8 GB Mac માટે શ્રેષ્ઠ લોકલ LLM (M1થી M3): શું ચાલે છે