లాగిన్వాలెట్ సృష్టించండి

256 GB Macకు ఉత్తమ LLMలు.

256 GBలో 73 ఓపెన్ మోడల్‌లలో 54 బాగా నడుస్తాయి. డిఫాల్ట్‌గా GPU దానిలో సుమారు 192 GB వాడుకోగలదు. వేగం చిప్‌పై ఆధారపడుతుంది: M3 Ultraపై 819 GB/s నుండి M5 Ultraపై 1,200 GB/s వరకు.

బాగా నడిచేవాటిలో అత్యంత తెలివైనదిQwen3.8 Flash Next6-బిట్ · 146 GB · 75–196 tok/sబాగా నడిచేవాటిలో అతిపెద్దదిMiMo V2.6 Flashనేటివ్ 4.48-బిట్ · 173 GB · 44–114 tok/sకోడ్ కోసంQwen3 Coder Next8-బిట్ · 85 GB · 115–300 tok/s

256 GB ఉన్న Macలు

M3 నుండి M5 వరకు ఉన్న 2 చిప్‌లు 256 GBతో వస్తాయి. దాని సొంత జాబితా, వేగాల కోసం దేన్నైనా తెరవండి.

బాగా నడిచేవి 61

కాంటెక్స్ట్‌కు చోటుతో సరిపోతాయి, M5 Ultraపై సెకనుకు 10 లేదా అంతకంటే ఎక్కువ టోకెన్‌లతో.

మోడల్వెర్షన్మెమరీM3 UltraM5 Ultra
Qwen3.8 Flash Next180B · 6B యాక్టివ్ · ఇంటెలిజెన్స్ 39.86-బిట్146 GB75–134110–196
MiMo V2.6 Flash309B · 15B యాక్టివ్ · ఇంటెలిజెన్స్ 37.9నేటివ్ 4.48-బిట్173 GB44–7864–114
Qwen3.8 27B27B · ఇంటెలిజెన్స్ 33.78-బిట్28.7 GB13–2319–33
Inkling Small276B · 12B యాక్టివ్ · ఇంటెలిజెన్స్ 25.74-బిట్155 GB54–9679–141
Hy3295B · 21B యాక్టివ్ · ఇంటెలిజెన్స్ 25.34-బిట్166 GB31–5646–81
Nemotron 3.5 Bolt 74B A9B74B · 9B యాక్టివ్ · ఇంటెలిజెన్స్ 21.48-బిట్78.6 GB38–6856–100
Qwen3.6 35B A3B35B · 3B యాక్టివ్ · ఇంటెలిజెన్స్ 18.28-బిట్37.2 GB115–205169–300
Muse Glimmer 30B29.6B · ఇంటెలిజెన్స్ 17.58-బిట్31.5 GB12–2117–30
Qwen3.5 122B A10B122B · 10B యాక్టివ్ · ఇంటెలిజెన్స్ 15.68-బిట్130 GB35–6251–91
Gemma 4 31B30.7B · ఇంటెలిజెన్స్ 14.78-బిట్32.6 GB11–2017–29
Nemotron 3.5 Lightning 30B A3B30B · 3B యాక్టివ్ · ఇంటెలిజెన్స్ 12.98-బిట్31.9 GB115–205169–300
Granite 4.2 30B30B · ఇంటెలిజెన్స్ 12.78-బిట్31.9 GB12–2117–30
MiniCPM5 2B2.52B · ఇంటెలిజెన్స్ 12.58-బిట్2.7 GB137–243200–356
gpt-oss-120b117B · 5.1B యాక్టివ్ · ఇంటెలిజెన్స్ 11.6నేటివ్ 4.25-బిట్65.3 GB137–243200–356
Mistral Small 4 (119B)119B · 6.5B యాక్టివ్ · ఇంటెలిజెన్స్ 11.38-బిట్126 GB53–9578–139
Qwen3.5 9B9B · ఇంటెలిజెన్స్ 11.28-బిట్9.6 GB38–6856–100
Granite 4.2 8B8B · ఇంటెలిజెన్స్ 11.18-బిట్8.5 GB43–7764–113
Qwen3 Coder Next80B · 3B యాక్టివ్ · ఇంటెలిజెన్స్ 9.28-బిట్85 GB115–205169–300
Granite 4.2 3B3B · ఇంటెలిజెన్స్ 9.18-బిట్3.2 GB115–205169–300
gpt-oss-20b21B · 3.6B యాక్టివ్ · ఇంటెలిజెన్స్ 9నేటివ్ 4.25-బిట్13.8 GB194–345284–505
Nemotron 3 Nano 30B A3B30B · 3.5B యాక్టివ్ · ఇంటెలిజెన్స్ 8.98-బిట్31.9 GB100–177146–259
Gemma 4 E4B8B · ఇంటెలిజెన్స్ 8.98-బిట్8.5 GB77–137113–200
Llama 4 Scout 17B-16E Instruct109B · 17B యాక్టివ్ · ఇంటెలిజెన్స్ 6.58-బిట్116 GB20–3630–53
Ministral 3 8B8.9B · ఇంటెలిజెన్స్ 5.58-బిట్9.5 GB39–6957–101
Nemotron 3 Nano 4B3.97B · ఇంటెలిజెన్స్ 4.88-బిట్4.2 GB88–156129–229
DeepSeek V4 Flash 0731284B · 13B యాక్టివ్4-బిట్160 GB50–9074–132
MiniMax M2.7230B · 10B యాక్టివ్4-బిట్129 GB66–11796–171
Ornith 1.5 122B122B · 10B యాక్టివ్8-బిట్130 GB35–6251–91
Nemotron 3 Super 120B A12B120B · 12B యాక్టివ్8-బిట్128 GB29–5142–75
GLM-4.5 Air106B · 12B యాక్టివ్8-బిట్113 GB29–5142–75
Llama 3.3 70B Instruct70B4-బిట్39.4 GB5–914–24
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B యాక్టివ్8-బిట్32.4 GB105–187154–274
GLM-4.7 Flash30B · 3B యాక్టివ్8-బిట్31.9 GB115–205169–300
Qwen3.6 27B27B8-బిట్28.7 GB13–2319–33
Gemma 4 26B A4B25.2B · 3.8B యాక్టివ్8-బిట్26.8 GB92–164135–240
Devstral Small 2 (24B)24B8-బిట్25.5 GB14–2621–38
Magistral Small 1.2 (2509)24B8-బిట్25.5 GB14–2621–38
Mistral Small 3.2 (24B)24B8-బిట్25.5 GB14–2621–38
LFM2.5 24B A2B24B · 2B యాక్టివ్8-బిట్25.5 GB176–312257–457
Phi-4 Reasoning Vision 15B15B8-బిట్15.9 GB23–4134–60
Phi-4 (14B)14B8-బిట్14.9 GB25–4436–64
Gemma 4 12B Unified12B8-బిట్12.7 GB29–5243–76
Qwen3 8B8.2B8-బిట్8.7 GB42–7562–110
Llama 3.1 8B Instruct8B8-బిట్8.5 GB43–7764–113
Gemma 4 E2B5.1B8-బిట్5.4 GB154–273225–400
Qwen3.5 4B4B8-బిట్4.3 GB86–152126–223
Phi-4 mini instruct3.8B8-బిట్4 GB92–164135–240
Llama 3.2 3B Instruct3.21B8-బిట్3.4 GB108–193159–282
SmolLM3 3B3B8-బిట్3.2 GB115–205169–300
LFM2.5 2.6B2.69B8-బిట్2.9 GB127–226186–331
Qwen3.5 2B2B8-బిట్2.1 GB176–312257–457
Llama 3.2 1B Instruct1.23B8-బిట్1.3 GB284–504415–738
Qwen3.5 0.8B0.8B8-బిట్0.9 GB410–728600–1067
Qwen3 0.6B0.6B8-బిట్0.6 GB614–1092900–1600
DeepSeek V4.1 Flash 1017552B · 16B యాక్టివ్ · ఇంటెలిజెన్స్ 45.12-బిట్ తక్కువ నాణ్యత173 GB74–131108–192
GLM-5.3 Flash320B · 18B యాక్టివ్ · ఇంటెలిజెన్స్ 41.83-బిట్ తక్కువ నాణ్యత140 GB47–8368–122
Beam 1.0501B · 23B యాక్టివ్ · ఇంటెలిజెన్స్ 30.32-బిట్ తక్కువ నాణ్యత157 GB51–9175–133
MiniMax M3428B · 23B యాక్టివ్ · ఇంటెలిజెన్స్ 29.22-బిట్ తక్కువ నాణ్యత134 GB51–9175–133
Nemotron 3 Ultra 550B A55B550B · 55B యాక్టివ్ · ఇంటెలిజెన్స్ 22.92-బిట్ తక్కువ నాణ్యత172 GB21–3831–56
Qwen3.5 397B A17B397B · 17B యాక్టివ్ · ఇంటెలిజెన్స్ 18.43-బిట్ తక్కువ నాణ్యత174 GB50–8973–130
Llama 4 Maverick 17B-128E Instruct400B · 17B యాక్టివ్ · ఇంటెలిజెన్స్ 9.33-బిట్ తక్కువ నాణ్యత175 GB50–8973–130

నడుస్తాయి, కానీ నెమ్మదిగా 2

సరిపోతాయి, కానీ సెకనుకు 10 టోకెన్‌ల కంటే తక్కువ: బ్యాచ్ పనులకు సరే, చాట్‌కు నెమ్మది.

మోడల్వెర్షన్మెమరీM3 UltraM5 Ultra
Mistral Medium 3.5 (128B)128B · ఇంటెలిజెన్స్ 14.28-బిట్136 GB3–54–7
Devstral 2 (123B)123B8-బిట్131 GB3–54–7

అతికష్టంగా సరిపోయేవి 1

దాదాపు మొత్తం మెమరీ కావాలి: GPU మెమరీ పరిమితిని పెంచి, కాంటెక్స్ట్‌ను చిన్నగా ఉంచండి.

మోడల్వెర్షన్మెమరీM3 UltraM5 Ultra
Mistral Large 3 (675B)675B · 41B యాక్టివ్2-బిట్ తక్కువ నాణ్యత211 GB29–5142–75

చాలా పెద్దవి 9

256 GB కంటే ఎక్కువ మెమరీ కావాలి, 2 బిట్‌ల వద్ద కూడా.

ప్రశ్నలు

256 GB ఉన్న Macకు ఉత్తమ LLM ఏది?
Intelligence Index ప్రచురించిన మోడల్‌లలో, 256 GBలో బాగా నడిచేవాటిలో Qwen3.8 Flash Nextకు అత్యధిక స్కోరు ఉంది (6-బిట్). బాగా నడిచేవాటిలో అతిపెద్దది MiMo V2.6 Flash. కోడ్ కోసం: Qwen3 Coder Next.
Macలో లోకల్ AIకి 256 GB సరిపోతుందా?
ఇక్కడి 73 ఓపెన్ మోడల్‌లలో 54, 4 బిట్‌లు లేదా అంతకంటే మెరుగైన ప్రెసిషన్ వద్ద దీనిలో బాగా నడుస్తాయి. డిఫాల్ట్‌గా macOS దీనిలో సుమారు 192 GBను GPU వాడుకోనిస్తుంది; మోడల్, దాని కాంటెక్స్ట్ అందులోనే సరిపోవాలి.
256 GB Mac gpt-oss-20bను నడపగలదా?
అవును, నేటివ్ 4.25-బిట్, M3 Ultraపై సెకనుకు సుమారు 194–345 టోకెన్‌లు, M5 Ultraపై 284–505.

ఇతర సైజులు: 8 GB · 16 GB · 18 GB · 24 GB · 32 GB · 36 GB · 48 GB · 64 GB · 96 GB · 128 GB · 192 GB · 256 GB · 512 GB

వీటిని MLX Harnessతో (ఉచితం, ఓపెన్ సోర్స్) లేదా Terminalలో Apple mlx-lmతో నడపండి: దశలవారీగా.

ఎలా లెక్కించాం

మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్‌కు చోటు. డిఫాల్ట్‌గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.

256 GB Macకు ఉత్తమ లోకల్ LLMలు (M3 నుండి M5): ఏవి నడుస్తాయి