M2 Pro 70B మోడల్ను నడపగలదా?

సులువుగా కాదు. 4-బిట్లో 70B మోడల్కు సుమారు 40 GB కావాలి, M2 Proలో గరిష్ఠంగా 32 GB మాత్రమే ఉంది. సుమారు 42B పారామీటర్ల వరకు ఉన్న మోడల్లు బాగా సరిపోతాయి.

M2 Pro సెకనుకు ఎన్ని టోకెన్లు ఇస్తుంది?

4-బిట్లో 8B మోడల్కు గరిష్ఠ పరిమితి సెకనుకు సుమారు 44 టోకెన్లు, నిజమైన రన్లు దానిలో దాదాపు సగం నుండి ఐదింట నాలుగు వంతుల వరకు చేరుతాయి. పెద్ద మోడల్లు అదే నిష్పత్తిలో నెమ్మదిగా ఉంటాయి.

AIకి M2 Pro మంచిదేనా?

మోడల్లను లోకల్గా నడపడానికి మెమరీ, బ్యాండ్విడ్త్ అన్నిటికంటే ముఖ్యం. M2 Proలో 200 GB/s వేగంతో 32 GB వరకు మెమరీ ఉంది, ఇది సుమారు 42 బిలియన్ పారామీటర్ల వరకు ఉన్న మోడల్లకు సరిపోతుంది. MLX Nodeతో MLX Network కోసం AI పనులు నడిపి ఇది సంపాదించగలదు కూడా.

లోకల్ LLMల కోసం M2 Pro: మెమరీ, వేగం, ఏ మోడల్‌లు సరిపోతాయి

1AIకి ముఖ్యమైన స్పెక్స్

యూనిఫైడ్ మెమరీ	32 GB
మెమరీ బ్యాండ్‌విడ్త్	200 GB/s
ఇది ఉన్న Macలు	14- and 16-inch MacBook Pro (2023), Mac mini (2023)
దీనికి ప్రత్యేక సీటు	Pro సీటు: రోజుకు 80 MLX వరకు మైన్ చేస్తుంది

2ఏ మోడల్‌లు సరిపోతాయి

ఒక్కో వెయిట్‌కు 4 బిట్‌లైతే, ఒక మోడల్‌కు ప్రతి బిలియన్ పారామీటర్‌లకు అర గిగాబైట్ కంటే కొంచెం ఎక్కువ కావాలి, దానితో పాటు దాని కాంటెక్స్ట్‌కు, macOSకు చోటు. 32 GBతో M2 Pro సుమారు 42 బిలియన్ పారామీటర్‌ల వరకు ఉన్న మోడల్‌లను సులువుగా పట్టుకుంటుంది.

4-బిట్‌లో మోడల్	కావాల్సిన మెమరీ	M2 Proలో సరిపోతుందా
8B మోడల్	4.5 GB	అవును
14B మోడల్	7.9 GB	అవును
32B మోడల్	18 GB	అవును
70B మోడల్	39.4 GB	లేదు
gpt-oss-120b, mixture-of-experts	65 GB	లేదు
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	లేదు
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	లేదు

3ఎంత వేగంగా నడుస్తుంది

టెక్స్ట్ రాసే వేగాన్ని మెమరీ బ్యాండ్‌విడ్త్ పరిమితం చేస్తుంది: ప్రతి కొత్త టోకెన్ మోడల్ యాక్టివ్ వెయిట్‌లను ఒకసారి చదువుతుంది. M2 Proకి ఉన్న 200 GB/sను ఒక్కో టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే కింది గరిష్ఠ పరిమితి వస్తుంది. నిజమైన రన్‌లు సాధారణంగా దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి (llama.cpp బెంచ్‌మార్క్‌లు).

4-బిట్‌లో మోడల్	ఒక్కో టోకెన్‌కు చదివేది	ఒక చాట్‌కు గరిష్ఠ పరిమితి
8B మోడల్	4.5 GB	సెకనుకు 44 టోకెన్‌లు
14B మోడల్	7.9 GB	సెకనుకు 25 టోకెన్‌లు
32B మోడల్	18 GB	సెకనుకు 11 టోకెన్‌లు

మీ M2 Pro Macతో సంపాదించండి

MLX Node మీరు పెట్టిన పరిమితుల లోపల MLX Network కోసం AI పనులు నడిపి MLX టోకెన్‌లు సంపాదిస్తుంది. M2 Pro ఉన్న Mac Pro సీట్లను పూర్తి రేటుతో నడుపుతుంది, అక్కడ ఒక సీటు రోజుకు 80 MLX వరకు మైన్ చేస్తుంది; ఉచిత సీటుపై Mac రోజుకు 1 MLX వరకు మైన్ చేస్తుంది. మైన్ చేసిన MLX ఉచిత సీటులో 30 రోజులు, ప్రత్యేక సీటుతో 3 నుంచి 20 రోజులు లాక్ అవుతుంది. ప్రత్యేక సీట్లు, రిస్క్‌లు చూడండి.

MLX Node డౌన్‌లోడ్ చేయండి

5ఇతర చిప్‌లతో పోల్చండి

6ప్రశ్నలు

M2 Pro 70B మోడల్‌ను నడపగలదా?: సులువుగా కాదు. 4-బిట్‌లో 70B మోడల్‌కు సుమారు 40 GB కావాలి, M2 Proలో గరిష్ఠంగా 32 GB మాత్రమే ఉంది. సుమారు 42B పారామీటర్‌ల వరకు ఉన్న మోడల్‌లు బాగా సరిపోతాయి.
M2 Pro సెకనుకు ఎన్ని టోకెన్‌లు ఇస్తుంది?: 4-బిట్‌లో 8B మోడల్‌కు గరిష్ఠ పరిమితి సెకనుకు సుమారు 44 టోకెన్‌లు, నిజమైన రన్‌లు దానిలో దాదాపు సగం నుండి ఐదింట నాలుగు వంతుల వరకు చేరుతాయి. పెద్ద మోడల్‌లు అదే నిష్పత్తిలో నెమ్మదిగా ఉంటాయి.
AIకి M2 Pro మంచిదేనా?: మోడల్‌లను లోకల్‌గా నడపడానికి మెమరీ, బ్యాండ్‌విడ్త్ అన్నిటికంటే ముఖ్యం. M2 Proలో 200 GB/s వేగంతో 32 GB వరకు మెమరీ ఉంది, ఇది సుమారు 42 బిలియన్ పారామీటర్‌ల వరకు ఉన్న మోడల్‌లకు సరిపోతుంది. MLX Nodeతో MLX Network కోసం AI పనులు నడిపి ఇది సంపాదించగలదు కూడా.

ఆధారాలు

Apple: M2 Pro and M2 Maxapple.com
llama.cpp: Apple Silicon benchmarksgithub.com