M5 70B మోడల్ను నడపగలదా?

సులువుగా కాదు. 4-బిట్లో 70B మోడల్కు సుమారు 40 GB కావాలి, M5లో గరిష్ఠంగా 32 GB మాత్రమే ఉంది. సుమారు 42B పారామీటర్ల వరకు ఉన్న మోడల్లు బాగా సరిపోతాయి.

M5 సెకనుకు ఎన్ని టోకెన్లు ఇస్తుంది?

4-బిట్లో 8B మోడల్కు గరిష్ఠ పరిమితి సెకనుకు సుమారు 34 టోకెన్లు, నిజమైన రన్లు దానిలో దాదాపు సగం నుండి ఐదింట నాలుగు వంతుల వరకు చేరుతాయి. పెద్ద మోడల్లు అదే నిష్పత్తిలో నెమ్మదిగా ఉంటాయి.

AIకి M5 మంచిదేనా?

మోడల్లను లోకల్గా నడపడానికి మెమరీ, బ్యాండ్విడ్త్ అన్నిటికంటే ముఖ్యం. M5లో 153 GB/s వేగంతో 32 GB వరకు మెమరీ ఉంది, ఇది సుమారు 42 బిలియన్ పారామీటర్ల వరకు ఉన్న మోడల్లకు సరిపోతుంది. MLX Nodeతో MLX Network కోసం AI పనులు నడిపి ఇది సంపాదించగలదు కూడా.

లోకల్ LLMల కోసం M5: మెమరీ, వేగం, ఏ మోడల్‌లు సరిపోతాయి

1AIకి ముఖ్యమైన స్పెక్స్

యూనిఫైడ్ మెమరీ	32 GB
మెమరీ బ్యాండ్‌విడ్త్	153 GB/s
ఇది ఉన్న Macలు	14-inch MacBook Pro (2025), MacBook Air (2026)
దీనికి ప్రత్యేక సీటు	Core సీటు: రోజుకు 20 MLX వరకు మైన్ చేస్తుంది

2ఏ మోడల్‌లు సరిపోతాయి

ఒక్కో వెయిట్‌కు 4 బిట్‌లైతే, ఒక మోడల్‌కు ప్రతి బిలియన్ పారామీటర్‌లకు అర గిగాబైట్ కంటే కొంచెం ఎక్కువ కావాలి, దానితో పాటు దాని కాంటెక్స్ట్‌కు, macOSకు చోటు. 32 GBతో M5 సుమారు 42 బిలియన్ పారామీటర్‌ల వరకు ఉన్న మోడల్‌లను సులువుగా పట్టుకుంటుంది.

4-బిట్‌లో మోడల్	కావాల్సిన మెమరీ	M5లో సరిపోతుందా
8B మోడల్	4.5 GB	అవును
14B మోడల్	7.9 GB	అవును
32B మోడల్	18 GB	అవును
70B మోడల్	39.4 GB	లేదు
gpt-oss-120b, mixture-of-experts	65 GB	లేదు
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	లేదు
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	లేదు

3ఎంత వేగంగా నడుస్తుంది

టెక్స్ట్ రాసే వేగాన్ని మెమరీ బ్యాండ్‌విడ్త్ పరిమితం చేస్తుంది: ప్రతి కొత్త టోకెన్ మోడల్ యాక్టివ్ వెయిట్‌లను ఒకసారి చదువుతుంది. M5కి ఉన్న 153 GB/sను ఒక్కో టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే కింది గరిష్ఠ పరిమితి వస్తుంది. నిజమైన రన్‌లు సాధారణంగా దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి (llama.cpp బెంచ్‌మార్క్‌లు).

4-బిట్‌లో మోడల్	ఒక్కో టోకెన్‌కు చదివేది	ఒక చాట్‌కు గరిష్ఠ పరిమితి
8B మోడల్	4.5 GB	సెకనుకు 34 టోకెన్‌లు
14B మోడల్	7.9 GB	సెకనుకు 19 టోకెన్‌లు
32B మోడల్	18 GB	సెకనుకు 9 టోకెన్‌లు

కొలిచినది: llama.cpp పబ్లిక్ బెంచ్‌మార్క్‌లలో, M5 (10-core GPU)పై Llama-2-7B (Q4_0) సెకనుకు 32 టోకెన్‌లు ఇస్తుంది.

M5 తరం చిప్‌లు GPUలో న్యూరల్ యాక్సిలరేటర్‌లను జోడిస్తాయి, కాబట్టి అవి M4 కంటే పలు రెట్లు వేగంగా ప్రాంప్ట్‌లను చదువుతాయి: MLXతో మొదటి టోకెన్ 3.3 నుండి 4.1 రెట్లు త్వరగా వస్తుందని Apple కొలిచింది (Apple).

మీ M5 Macతో సంపాదించండి

MLX Node మీరు పెట్టిన పరిమితుల లోపల MLX Network కోసం AI పనులు నడిపి MLX టోకెన్‌లు సంపాదిస్తుంది. M5 ఉన్న Mac Core సీట్లను పూర్తి రేటుతో నడుపుతుంది, అక్కడ ఒక సీటు రోజుకు 20 MLX వరకు మైన్ చేస్తుంది; ఉచిత సీటుపై Mac రోజుకు 1 MLX వరకు మైన్ చేస్తుంది. మైన్ చేసిన MLX ఉచిత సీటులో 30 రోజులు, ప్రత్యేక సీటుతో 3 నుంచి 20 రోజులు లాక్ అవుతుంది. ప్రత్యేక సీట్లు, రిస్క్‌లు చూడండి.

MLX Node డౌన్‌లోడ్ చేయండి

5ఇతర చిప్‌లతో పోల్చండి

6ప్రశ్నలు

M5 70B మోడల్‌ను నడపగలదా?: సులువుగా కాదు. 4-బిట్‌లో 70B మోడల్‌కు సుమారు 40 GB కావాలి, M5లో గరిష్ఠంగా 32 GB మాత్రమే ఉంది. సుమారు 42B పారామీటర్‌ల వరకు ఉన్న మోడల్‌లు బాగా సరిపోతాయి.
M5 సెకనుకు ఎన్ని టోకెన్‌లు ఇస్తుంది?: 4-బిట్‌లో 8B మోడల్‌కు గరిష్ఠ పరిమితి సెకనుకు సుమారు 34 టోకెన్‌లు, నిజమైన రన్‌లు దానిలో దాదాపు సగం నుండి ఐదింట నాలుగు వంతుల వరకు చేరుతాయి. పెద్ద మోడల్‌లు అదే నిష్పత్తిలో నెమ్మదిగా ఉంటాయి.
AIకి M5 మంచిదేనా?: మోడల్‌లను లోకల్‌గా నడపడానికి మెమరీ, బ్యాండ్‌విడ్త్ అన్నిటికంటే ముఖ్యం. M5లో 153 GB/s వేగంతో 32 GB వరకు మెమరీ ఉంది, ఇది సుమారు 42 బిలియన్ పారామీటర్‌ల వరకు ఉన్న మోడల్‌లకు సరిపోతుంది. MLX Nodeతో MLX Network కోసం AI పనులు నడిపి ఇది సంపాదించగలదు కూడా.

ఆధారాలు

Apple: M5apple.com
Apple: MacBook Air with M5apple.com
llama.cpp: Apple Silicon benchmarksgithub.com