1AIకి ముఖ్యమైన స్పెక్స్
| యూనిఫైడ్ మెమరీ | 128 GB |
|---|---|
| మెమరీ బ్యాండ్విడ్త్ | 546 GB/s, లేదా తక్కువ కాన్ఫిగరేషన్‌లో 410 GB/s |
| ఇది ఉన్న Macలు | 14- and 16-inch MacBook Pro (2024), Mac Studio (2025) |
| దీనికి ప్రత్యేక సీటు | Pro సీటు: రోజుకు 80 MLX వరకు మైన్ చేస్తుంది |
2ఏ మోడల్లు సరిపోతాయి
ఒక్కో వెయిట్‌కు 4 బిట్‌లైతే, ఒక మోడల్కు ప్రతి బిలియన్ పారామీటర్‌లకు అర గిగాబైట్ కంటే కొంచెం ఎక్కువ కావాలి, దానితో పాటు దాని కాంటెక్స్ట్‌కు, macOSకు చోటు. 128 GBతో M4 Max సుమారు 170 బిలియన్ పారామీటర్ల వరకు ఉన్న మోడల్లను సులువుగా పట్టుకుంటుంది.
| 4-బిట్లో మోడల్ | కావాల్సిన మెమరీ | M4 Maxలో సరిపోతుందా |
|---|---|---|
| 8B మోడల్ | 4.5 GB | అవును |
| 14B మోడల్ | 7.9 GB | అవును |
| 32B మోడల్ | 18 GB | అవును |
| 70B మోడల్ | 39.4 GB | అవును |
| gpt-oss-120b, mixture-of-experts | 65 GB | అవును |
| Qwen3.5-397B-A17B, mixture-of-experts | 223.3 GB | లేదు |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | లేదు |
3ఎంత వేగంగా నడుస్తుంది
టెక్స్ట్ రాసే వేగాన్ని మెమరీ బ్యాండ్విడ్త్ పరిమితం చేస్తుంది: ప్రతి కొత్త టోకెన్ మోడల్ యాక్టివ్ వెయిట్‌లను ఒకసారి చదువుతుంది. M4 Maxకి ఉన్న 546 GB/sను ఒక్కో టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే కింది గరిష్ఠ పరిమితి వస్తుంది. నిజమైన రన్లు సాధారణంగా దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి (llama.cpp బెంచ్‌మార్క్‌లు).
| 4-బిట్లో మోడల్ | ఒక్కో టోకెన్‌కు చదివేది | ఒక చాట్కు గరిష్ఠ పరిమితి |
|---|---|---|
| 8B మోడల్ | 4.5 GB | సెకనుకు 121 టోకెన్లు |
| 14B మోడల్ | 7.9 GB | సెకనుకు 69 టోకెన్లు |
| 32B మోడల్ | 18 GB | సెకనుకు 30 టోకెన్లు |
| 70B మోడల్ | 39.4 GB | సెకనుకు 14 టోకెన్లు |
| gpt-oss-120b, mixture-of-experts | 2.7 GB | సెకనుకు 202 టోకెన్లు |
కొలిచినది: llama.cpp పబ్లిక్ బెంచ్‌మార్క్‌లలో, M4 Max (40-core GPU)పై Llama-2-7B (Q4_0) సెకనుకు 83 టోకెన్లు ఇస్తుంది.
5ఇతర చిప్‌లతో పోల్చండి
6ప్రశ్నలు
- M4 Max 70B మోడల్ను నడపగలదా?
- అవును. 4-బిట్లో 70B మోడల్కు సుమారు 40 GB కావాలి, M4 Maxలో 128 GB వరకు ఉంది. ఒక చాట్కు సెకనుకు సుమారు 14 టోకెన్ల గరిష్ఠ పరిమితిని ఆశించవచ్చు.
- M4 Max సెకనుకు ఎన్ని టోకెన్లు ఇస్తుంది?
- 4-బిట్లో 8B మోడల్కు గరిష్ఠ పరిమితి సెకనుకు సుమారు 121 టోకెన్లు, నిజమైన రన్లు దానిలో దాదాపు సగం నుండి ఐదింట నాలుగు వంతుల వరకు చేరుతాయి. పెద్ద మోడల్లు అదే నిష్పత్తిలో నెమ్మదిగా ఉంటాయి.
- AIకి M4 Max మంచిదేనా?
- మోడల్లను లోకల్గా నడపడానికి మెమరీ, బ్యాండ్విడ్త్ అన్నిటికంటే ముఖ్యం. M4 Maxలో 546 GB/s వేగంతో 128 GB వరకు మెమరీ ఉంది, ఇది సుమారు 170 బిలియన్ పారామీటర్ల వరకు ఉన్న మోడల్లకు సరిపోతుంది. MLX Nodeతో MLX Network కోసం AI పనులు నడిపి ఇది సంపాదించగలదు కూడా.
ఆధారాలు
- Apple: M4 Pro and M4 Maxapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com