8 GB Macకు ఉత్తమ LLMలు.

8 GBలో 73 ఓపెన్ మోడల్‌లలో 16 బాగా నడుస్తాయి. డిఫాల్ట్‌గా GPU దానిలో సుమారు 6 GB వాడుకోగలదు. వేగం చిప్‌పై ఆధారపడుతుంది: M1పై 68 GB/s నుండి M2పై 100 GB/s వరకు.

బాగా నడిచేవాటిలో అత్యంత తెలివైనదిMiniCPM5 2B8-బిట్ · 2.7 GB · 11–30 tok/sబాగా నడిచేవాటిలో అతిపెద్దదిGranite 4.2 8B4-బిట్ · 4.5 GB · 7–18 tok/s

8 GB ఉన్న Macలు

M1 నుండి M3 వరకు ఉన్న 3 చిప్‌లు 8 GBతో వస్తాయి. దాని సొంత జాబితా, వేగాల కోసం దేన్నైనా తెరవండి.

బాగా నడిచేవి 21

కాంటెక్స్ట్‌కు చోటుతో సరిపోతాయి, M2పై సెకనుకు 10 లేదా అంతకంటే ఎక్కువ టోకెన్‌లతో.

మోడల్వెర్షన్మెమరీM1M2
MiniCPM5 2B2.52B · ఇంటెలిజెన్స్ 12.58-బిట్2.7 GB11–2017–30
Granite 4.2 8B8B · ఇంటెలిజెన్స్ 11.14-బిట్4.5 GB7–1210–18
Granite 4.2 3B3B · ఇంటెలిజెన్స్ 9.18-బిట్3.2 GB10–1714–25
Gemma 4 E4B8B · ఇంటెలిజెన్స్ 8.94-బిట్4.5 GB12–2218–32
Nemotron 3 Nano 4B3.97B · ఇంటెలిజెన్స్ 4.88-బిట్4.2 GB10–1711–19
Llama 3.1 8B Instruct8B4-బిట్4.5 GB7–1210–18
Gemma 4 E2B5.1B6-బిట్4.1 GB16–2924–42
Qwen3.5 4B4B8-బిట్4.3 GB13–2410–19
Phi-4 mini instruct3.8B8-బిట్4 GB10–1811–20
Llama 3.2 3B Instruct3.21B8-బిట్3.4 GB12–2113–24
SmolLM3 3B3B8-బిట్3.2 GB10–1714–25
LFM2.5 2.6B2.69B8-బిట్2.9 GB11–1916–28
Qwen3.5 2B2B8-బిట్2.1 GB15–2621–38
Llama 3.2 1B Instruct1.23B8-బిట్1.3 GB24–4235–62
Qwen3.5 0.8B0.8B8-బిట్0.9 GB34–6050–89
Qwen3 0.6B0.6B8-బిట్0.6 GB51–9175–133
Qwen3.5 9B9B · ఇంటెలిజెన్స్ 11.23-బిట్ తక్కువ నాణ్యత3.9 GB8–1412–21
Ministral 3 8B8.9B · ఇంటెలిజెన్స్ 5.53-బిట్ తక్కువ నాణ్యత3.9 GB8–1412–21
Phi-4 (14B)14B2-బిట్ తక్కువ నాణ్యత4.4 GB7–1210–18
Gemma 4 12B Unified12B2-బిట్ తక్కువ నాణ్యత3.7 GB8–1512–22
Qwen3 8B8.2B3-బిట్ తక్కువ నాణ్యత3.6 GB9–1513–22

అతికష్టంగా సరిపోయేవి 1

దాదాపు మొత్తం మెమరీ కావాలి: GPU మెమరీ పరిమితిని పెంచి, కాంటెక్స్ట్‌ను చిన్నగా ఉంచండి.

మోడల్వెర్షన్మెమరీM1M2
Phi-4 Reasoning Vision 15B15B2-బిట్ తక్కువ నాణ్యత4.7 GB7–1210–17

చాలా పెద్దవి 51

8 GB కంటే ఎక్కువ మెమరీ కావాలి, 2 బిట్‌ల వద్ద కూడా.

ప్రశ్నలు

8 GB ఉన్న Macకు ఉత్తమ LLM ఏది?
Intelligence Index ప్రచురించిన మోడల్‌లలో, 8 GBలో బాగా నడిచేవాటిలో MiniCPM5 2Bకు అత్యధిక స్కోరు ఉంది (8-బిట్). బాగా నడిచేవాటిలో అతిపెద్దది Granite 4.2 8B.
Macలో లోకల్ AIకి 8 GB సరిపోతుందా?
ఇక్కడి 73 ఓపెన్ మోడల్‌లలో 16, 4 బిట్‌లు లేదా అంతకంటే మెరుగైన ప్రెసిషన్ వద్ద దీనిలో బాగా నడుస్తాయి. డిఫాల్ట్‌గా macOS దీనిలో సుమారు 6 GBను GPU వాడుకోనిస్తుంది; మోడల్, దాని కాంటెక్స్ట్ అందులోనే సరిపోవాలి.
8 GB Mac gpt-oss-20bను నడపగలదా?
లేదు: దీనికి GPU డిఫాల్ట్‌గా వాడుకోగల 6 GB కంటే ఎక్కువ కావాలి.

ఇతర సైజులు: 8 GB · 16 GB · 18 GB · 24 GB · 32 GB · 36 GB · 48 GB · 64 GB · 96 GB · 128 GB · 192 GB · 256 GB · 512 GB

వీటిని MLX Harnessతో (ఉచితం, ఓపెన్ సోర్స్) లేదా Terminalలో Apple mlx-lmతో నడపండి: దశలవారీగా.

ఎలా లెక్కించాం

మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్‌కు చోటు. డిఫాల్ట్‌గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.

8 GB Macకు ఉత్తమ లోకల్ LLMలు (M1 నుండి M3): ఏవి నడుస్తాయి