M2 Max 70B మోడల్ను నడపగలదా?

అవును. 4-బిట్లో 70B మోడల్కు సుమారు 40 GB కావాలి, M2 Maxలో 96 GB వరకు ఉంది. ఒక చాట్కు సెకనుకు సుమారు 10 టోకెన్ల గరిష్ఠ పరిమితిని ఆశించవచ్చు.

M2 Max సెకనుకు ఎన్ని టోకెన్లు ఇస్తుంది?

4-బిట్లో 8B మోడల్కు గరిష్ఠ పరిమితి సెకనుకు సుమారు 89 టోకెన్లు, నిజమైన రన్లు దానిలో దాదాపు సగం నుండి ఐదింట నాలుగు వంతుల వరకు చేరుతాయి. పెద్ద మోడల్లు అదే నిష్పత్తిలో నెమ్మదిగా ఉంటాయి.

AIకి M2 Max మంచిదేనా?

మోడల్లను లోకల్గా నడపడానికి మెమరీ, బ్యాండ్విడ్త్ అన్నిటికంటే ముఖ్యం. M2 Maxలో 400 GB/s వేగంతో 96 GB వరకు మెమరీ ఉంది, ఇది సుమారు 128 బిలియన్ పారామీటర్ల వరకు ఉన్న మోడల్లకు సరిపోతుంది. MLX Nodeతో MLX Network కోసం AI పనులు నడిపి ఇది సంపాదించగలదు కూడా.

లోకల్ LLMల కోసం M2 Max: మెమరీ, వేగం, ఏ మోడల్‌లు సరిపోతాయి

1AIకి ముఖ్యమైన స్పెక్స్

యూనిఫైడ్ మెమరీ	96 GB
మెమరీ బ్యాండ్‌విడ్త్	400 GB/s
ఇది ఉన్న Macలు	14- and 16-inch MacBook Pro (2023), Mac Studio (2023)
దీనికి ప్రత్యేక సీటు	Pro సీటు: రోజుకు 80 MLX వరకు మైన్ చేస్తుంది

2ఏ మోడల్‌లు సరిపోతాయి

ఒక్కో వెయిట్‌కు 4 బిట్‌లైతే, ఒక మోడల్‌కు ప్రతి బిలియన్ పారామీటర్‌లకు అర గిగాబైట్ కంటే కొంచెం ఎక్కువ కావాలి, దానితో పాటు దాని కాంటెక్స్ట్‌కు, macOSకు చోటు. 96 GBతో M2 Max సుమారు 128 బిలియన్ పారామీటర్‌ల వరకు ఉన్న మోడల్‌లను సులువుగా పట్టుకుంటుంది.

4-బిట్‌లో మోడల్	కావాల్సిన మెమరీ	M2 Maxలో సరిపోతుందా
8B మోడల్	4.5 GB	అవును
14B మోడల్	7.9 GB	అవును
32B మోడల్	18 GB	అవును
70B మోడల్	39.4 GB	అవును
gpt-oss-120b, mixture-of-experts	65 GB	అవును
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	లేదు
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	లేదు

3ఎంత వేగంగా నడుస్తుంది

టెక్స్ట్ రాసే వేగాన్ని మెమరీ బ్యాండ్‌విడ్త్ పరిమితం చేస్తుంది: ప్రతి కొత్త టోకెన్ మోడల్ యాక్టివ్ వెయిట్‌లను ఒకసారి చదువుతుంది. M2 Maxకి ఉన్న 400 GB/sను ఒక్కో టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే కింది గరిష్ఠ పరిమితి వస్తుంది. నిజమైన రన్‌లు సాధారణంగా దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి (llama.cpp బెంచ్‌మార్క్‌లు).

4-బిట్‌లో మోడల్	ఒక్కో టోకెన్‌కు చదివేది	ఒక చాట్‌కు గరిష్ఠ పరిమితి
8B మోడల్	4.5 GB	సెకనుకు 89 టోకెన్‌లు
14B మోడల్	7.9 GB	సెకనుకు 51 టోకెన్‌లు
32B మోడల్	18 GB	సెకనుకు 22 టోకెన్‌లు
70B మోడల్	39.4 GB	సెకనుకు 10 టోకెన్‌లు
gpt-oss-120b, mixture-of-experts	2.7 GB	సెకనుకు 148 టోకెన్‌లు

మీ M2 Max Macతో సంపాదించండి

MLX Node మీరు పెట్టిన పరిమితుల లోపల MLX Network కోసం AI పనులు నడిపి MLX టోకెన్‌లు సంపాదిస్తుంది. M2 Max ఉన్న Mac Pro సీట్లను పూర్తి రేటుతో నడుపుతుంది, అక్కడ ఒక సీటు రోజుకు 80 MLX వరకు మైన్ చేస్తుంది; ఉచిత సీటుపై Mac రోజుకు 1 MLX వరకు మైన్ చేస్తుంది. మైన్ చేసిన MLX ఉచిత సీటులో 30 రోజులు, ప్రత్యేక సీటుతో 3 నుంచి 20 రోజులు లాక్ అవుతుంది. ప్రత్యేక సీట్లు, రిస్క్‌లు చూడండి.

MLX Node డౌన్‌లోడ్ చేయండి

5ఇతర చిప్‌లతో పోల్చండి

6ప్రశ్నలు

M2 Max 70B మోడల్‌ను నడపగలదా?: అవును. 4-బిట్‌లో 70B మోడల్‌కు సుమారు 40 GB కావాలి, M2 Maxలో 96 GB వరకు ఉంది. ఒక చాట్‌కు సెకనుకు సుమారు 10 టోకెన్‌ల గరిష్ఠ పరిమితిని ఆశించవచ్చు.
M2 Max సెకనుకు ఎన్ని టోకెన్‌లు ఇస్తుంది?: 4-బిట్‌లో 8B మోడల్‌కు గరిష్ఠ పరిమితి సెకనుకు సుమారు 89 టోకెన్‌లు, నిజమైన రన్‌లు దానిలో దాదాపు సగం నుండి ఐదింట నాలుగు వంతుల వరకు చేరుతాయి. పెద్ద మోడల్‌లు అదే నిష్పత్తిలో నెమ్మదిగా ఉంటాయి.
AIకి M2 Max మంచిదేనా?: మోడల్‌లను లోకల్‌గా నడపడానికి మెమరీ, బ్యాండ్‌విడ్త్ అన్నిటికంటే ముఖ్యం. M2 Maxలో 400 GB/s వేగంతో 96 GB వరకు మెమరీ ఉంది, ఇది సుమారు 128 బిలియన్ పారామీటర్‌ల వరకు ఉన్న మోడల్‌లకు సరిపోతుంది. MLX Nodeతో MLX Network కోసం AI పనులు నడిపి ఇది సంపాదించగలదు కూడా.

ఆధారాలు

Apple: M2 Pro and M2 Maxapple.com
llama.cpp: Apple Silicon benchmarksgithub.com