లాగిన్వాలెట్ సృష్టించండి

మీ Mac ఏమి నడపగలదు?

మీ Macని లేదా వేరే ఏ మెషీన్‌నైనా ఎంచుకోండి, ఏ ఓపెన్ AI మోడల్స్ దాని మెమరీలో సరిపోతాయో, వాటిని అది ఎంత వేగంగా నడుపుతుందో చూడండి. ప్రతి మోడల్ కార్డ్ నుంచి, ప్రతి చిప్ ప్రచురించిన మెమరీ, బ్యాండ్‌విడ్త్ నుంచి లెక్కించాం.

Apple M5, 16 GB: డిఫాల్ట్‌గా మోడల్స్‌కు సుమారు 12 GB, మెమరీ బ్యాండ్‌విడ్త్ 153 GB/s. 43 ప్రముఖ మోడల్స్‌లో 20 దీనిపై నడుస్తాయి. దాని పేజీ కొలిచింది: llama.cppలో 4-బిట్ Llama 2 7Bతో సెకనుకు 32 టోకెన్‌లు (M5 (10-core GPU)).

బాగా నడిచేవి కాంటెక్స్ట్‌కు చోటుతో సరిపోతాయి, సెకనుకు 10 లేదా అంతకంటే ఎక్కువ టోకెన్‌ల వేగంతో.
Gemma 4 E4BGoogle DeepMind · 2026-03 · 128K కాంటెక్స్ట్ · చిత్రాలుఇంటెలిజెన్స్ 8.9మోడల్ కార్డ్MLX వెర్షన్8B8-బిట్8.5 GB సరిపోతుంది14–26 tok/s
Qwen3.5 4BQwen (Alibaba) · 2026-02 · 256K కాంటెక్స్ట్ · చిత్రాలుమోడల్ కార్డ్MLX వెర్షన్4B8-బిట్4.3 GB సరిపోతుంది16–28 tok/s
Llama 3.2 3B InstructMeta · 2024-09 · 128K కాంటెక్స్ట్మోడల్ కార్డ్MLX వెర్షన్3.21B8-బిట్3.4 GB సరిపోతుంది20–36 tok/s
SmolLM3 3BHugging Face · 2025-07 · 64K కాంటెక్స్ట్మోడల్ కార్డ్MLX వెర్షన్3B8-బిట్3.2 GB సరిపోతుంది22–38 tok/s
Qwen3.5 0.8BQwen (Alibaba) · 2026-02 · 256K కాంటెక్స్ట్ · చిత్రాలుమోడల్ కార్డ్MLX వెర్షన్0.8B8-బిట్0.9 GB సరిపోతుంది77–136 tok/s
Nemotron 3.5 Lightning 30B A3BNVIDIA · 2026-08 · 256K కాంటెక్స్ట్ఇంటెలిజెన్స్ 12.9మోడల్ కార్డ్MLX వెర్షన్30B · 3B యాక్టివ్2-బిట్ తక్కువ నాణ్యత9.4 GB సరిపోతుంది77–136 tok/s
gpt-oss-20bOpenAI · 2025-08 · 128K కాంటెక్స్ట్ఇంటెలిజెన్స్ 9మోడల్ కార్డ్MLX వెర్షన్21B · 3.6B యాక్టివ్3-బిట్ తక్కువ నాణ్యత9.2 GB సరిపోతుంది43–77 tok/s
నేటివ్ లో-బిట్ ఫార్మాట్‌లో విడుదలవుతుంది: సుమారు 14 GB వెయిట్‌లు.
Qwen3 Coder 30B A3B InstructQwen (Alibaba) · 2025-07 · 256K కాంటెక్స్ట్మోడల్ కార్డ్MLX వెర్షన్30.5B · 3.3B యాక్టివ్2-బిట్ తక్కువ నాణ్యత9.5 GB సరిపోతుంది69–122 tok/s
GLM-4.7 FlashZ.ai (Zhipu) · 2026-01 · 198K కాంటెక్స్ట్మోడల్ కార్డ్MLX వెర్షన్30B · 3B యాక్టివ్2-బిట్ తక్కువ నాణ్యత9.4 GB సరిపోతుంది77–136 tok/s
Gemma 4 26B A4BGoogle DeepMind · 2026-03 · 256K కాంటెక్స్ట్ · చిత్రాలుమోడల్ కార్డ్MLX వెర్షన్25.2B · 3.8B యాక్టివ్2-బిట్ తక్కువ నాణ్యత7.9 GB సరిపోతుంది57–102 tok/s
LFM2.5 24B A2BLiquid AI · 2026-10 · 128K కాంటెక్స్ట్మోడల్ కార్డ్MLX వెర్షన్24B · 2B యాక్టివ్3-బిట్ తక్కువ నాణ్యత10.5 GB సరిపోతుంది77–136 tok/s
నడుస్తాయి, కానీ నెమ్మదిగా సరిపోతాయి, కానీ సెకనుకు 10 టోకెన్‌ల కంటే తక్కువ: బ్యాచ్ పనులకు సరే, చాట్‌కు నెమ్మది.
Qwen3.5 9BQwen (Alibaba) · 2026-02 · 256K కాంటెక్స్ట్ · చిత్రాలుఇంటెలిజెన్స్ 11.2మోడల్ కార్డ్MLX వెర్షన్9B8-బిట్9.6 GB సరిపోతుంది7–13 tok/s
Granite 4.2 8BIBM · 2026-08 · 128K కాంటెక్స్ట్ఇంటెలిజెన్స్ 11.1మోడల్ కార్డ్8B8-బిట్8.5 GB సరిపోతుంది8–14 tok/s
Phi-4 (14B)Microsoft · 2024-12 · 16K కాంటెక్స్ట్మోడల్ కార్డ్MLX వెర్షన్14B4-బిట్7.9 GB సరిపోతుంది9–15 tok/s
Gemma 4 12B UnifiedGoogle DeepMind · 2026-05 · 256K కాంటెక్స్ట్ · చిత్రాలుమోడల్ కార్డ్MLX వెర్షన్12B6-బిట్9.7 GB సరిపోతుంది7–13 tok/s
Llama 3.1 8B InstructMeta · 2024-07 · 128K కాంటెక్స్ట్మోడల్ కార్డ్MLX వెర్షన్8B8-బిట్8.5 GB సరిపోతుంది8–14 tok/s
Qwen3.8 27BQwen (Alibaba) · 2026-08 · 256K కాంటెక్స్ట్ · చిత్రాలుఇంటెలిజెన్స్ 33.7మోడల్ కార్డ్MLX వెర్షన్27B2-బిట్ తక్కువ నాణ్యత8.4 GB సరిపోతుంది8–15 tok/s
Muse Glimmer 30BMeta (Meta Superintelligence Lab) · 2026-08 · 128K కాంటెక్స్ట్ · చిత్రాలుఇంటెలిజెన్స్ 17.5మోడల్ కార్డ్MLX వెర్షన్29.6B2-బిట్ తక్కువ నాణ్యత9.3 GB సరిపోతుంది7–13 tok/s
Gemma 4 31BGoogle DeepMind · 2026-03 · 256K కాంటెక్స్ట్ · చిత్రాలుఇంటెలిజెన్స్ 14.7మోడల్ కార్డ్MLX వెర్షన్30.7B2-బిట్ తక్కువ నాణ్యత9.6 GB సరిపోతుంది7–13 tok/s
Devstral Small 2 (24B)Mistral AI · 2025-11 · 256K కాంటెక్స్ట్ · చిత్రాలుమోడల్ కార్డ్MLX వెర్షన్24B3-బిట్ తక్కువ నాణ్యత10.5 GB సరిపోతుంది7–12 tok/s
అతికష్టంగా సరిపోయేవి దాదాపు మొత్తం మెమరీ కావాలి: GPU మెమరీ పరిమితిని పెంచి, కాంటెక్స్ట్‌ను చిన్నగా ఉంచండి.
Qwen3.6 35B A3BQwen (Alibaba) · 2026-04 · 256K కాంటెక్స్ట్ · చిత్రాలుఇంటెలిజెన్స్ 18.2మోడల్ కార్డ్MLX వెర్షన్35B · 3B యాక్టివ్2-బిట్ తక్కువ నాణ్యత10.9 GB అతికష్టంగా77–136 tok/s

తెలివి: Artificial Analysis Intelligence Index v4.3.2, కొలిచిన చోట. మోడల్ పేర్లు వాటి అధికారిక కార్డ్‌లకు లింక్ అవుతాయి.

ఎలా లెక్కించాం

మెమరీ. ప్రతి మోడల్‌ను అది సరిపోయే అత్యధిక ప్రెసిషన్‌లో చూపిస్తాం: వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌లు, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా మోడల్ అలాగే విడుదలైతే దాని నేటివ్ ఫార్మాట్. Macలో GPU డిఫాల్ట్‌గా యూనిఫైడ్ మెమరీలో సుమారు 75% వాడుకోగలదు; దానిపైన కాంటెక్స్ట్ కోసం స్థలం వదులుతాం.

వేగం. రాసేటప్పుడు ప్రతి టోకెన్ అన్ని యాక్టివ్ వెయిట్‌లను ఒకసారి చదువుతుంది, కాబట్టి మెమరీ బ్యాండ్‌విడ్త్‌ను ఆ బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది. llama.cpp Apple Silicon పబ్లిక్ బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుంచి 80% వరకు చేరుతాయి, చూపిన పరిధి అదే. పొడవైన ప్రాంప్ట్‌ను చదవడం కంప్యూట్‌పై ఆధారపడుతుంది, అందుకే అది ఇక్కడ చూపలేదు.

మూలాలు. పారామీటర్‌లు, కాంటెక్స్ట్, లైసెన్స్‌లు Hugging Faceలో ప్రతి మోడల్ అధికారిక కార్డ్ నుంచి (పేరుకు లింక్); మెమరీ, బ్యాండ్‌విడ్త్ Apple, తయారీదారుల స్పెసిఫికేషన్‌ల నుంచి. 2026-10-19న తనిఖీ చేశాం. మీ Macని MLX Benchలో కొలవండి. ప్రతి Mac, ప్రతి మోడల్, పూర్తి ఫిట్ టేబుల్‌ను JSON, CSVగా ఉచితంగా డౌన్‌లోడ్ చేసుకోవచ్చు: ఓపెన్ డేటా.

బ్రౌజ్ చేయండి. 8 GB M1 నుంచి 512 GB M5 Ultra వరకు ప్రతి Mac, దానిపై నడిచే ప్రతి మోడల్‌తో, అలాగే ప్రతి మోడల్, దానికి కావలసిన అతి చిన్న Macతో.

నడిపి చూడండి. దశలవారీగా: Macలో LLMలను డౌన్‌లోడ్ చేసి నడపండి, MLX vs Ollama vs llama.cpp, లోకల్ LLMలకు ఉత్తమ Mac. మీ Mac ఖాళీగా ఉన్నప్పుడు అది MLX టోకెన్‌లు సంపాదించగలదు.

ఒక LLM నా Macలో నడుస్తుందో లేదో ఎలా తెలుసుకోవాలి?
మీకు కావలసిన ప్రెసిషన్‌లో మోడల్ పరిమాణాన్ని మీ Mac యూనిఫైడ్ మెమరీతో పోల్చండి. macOS డిఫాల్ట్‌గా GPUని దానిలో సుమారు 75% వాడనిస్తుంది, మోడల్‌కు కాంటెక్స్ట్ కోసం కూడా స్థలం కావాలి. 4-బిట్ మోడల్‌కు ప్రతి వంద కోట్ల పారామీటర్‌లకు అర గిగాబైట్ కంటే కొంచెం ఎక్కువ కావాలి.
సెకనుకు ఎన్ని టోకెన్‌లు వస్తాయి?
రాసే వేగాన్ని మెమరీ బ్యాండ్‌విడ్త్ పరిమితం చేస్తుంది: ప్రతి టోకెన్ మోడల్ యాక్టివ్ వెయిట్‌లను ఒకసారి చదువుతుంది. బ్యాండ్‌విడ్త్‌ను టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; నిజమైన రన్‌లు సాధారణంగా దానిలో సుమారు 45% నుంచి 80% వరకు చేరుతాయి.
మిక్స్చర్-ఆఫ్-ఎక్స్‌పర్ట్స్ (MoE) మోడల్స్ ఎందుకు వేగంగా నడుస్తాయి?
ఇవి మెమరీలో చాలా ఎక్స్‌పర్ట్‌లను ఉంచుతాయి, కానీ ప్రతి టోకెన్‌కు వాటిలో కొన్నింటినే వాడతాయి, కాబట్టి ప్రతి టోకెన్ చాలా తక్కువ బైట్‌లు చదువుతుంది. మొత్తం మోడల్‌కు మెమరీ కావాలి, కానీ వేగం చాలా చిన్న మోడల్‌లా ఉంటుంది.
4-బిట్ సరిపోతుందా?
చాలా మోడల్స్‌లో 4-బిట్ నాణ్యతను అసలుకు దగ్గరగా ఉంచుతుంది. 4 బిట్‌ల కంటే తక్కువకు వెళ్తే నాణ్యత వేగంగా పడిపోతుంది, అందుకే 4 బిట్‌ల కంటే తక్కువ వెర్షన్‌లను గుర్తించాం.