1AIకి ముఖ్యమైన స్పెక్స్
| యూనిఫైడ్ మెమరీ | 512 GB |
|---|---|
| మెమరీ బ్యాండ్విడ్త్ | 819 GB/s |
| ఇది ఉన్న Macలు | Mac Studio (2025) |
| దీనికి ప్రత్యేక సీటు | Ultra సీటు: రోజుకు 320 MLX వరకు మైన్ చేస్తుంది |
2ఏ మోడల్లు సరిపోతాయి
ఒక్కో వెయిట్‌కు 4 బిట్‌లైతే, ఒక మోడల్కు ప్రతి బిలియన్ పారామీటర్‌లకు అర గిగాబైట్ కంటే కొంచెం ఎక్కువ కావాలి, దానితో పాటు దాని కాంటెక్స్ట్‌కు, macOSకు చోటు. 512 GBతో M3 Ultra సుమారు 682 బిలియన్ పారామీటర్ల వరకు ఉన్న మోడల్లను సులువుగా పట్టుకుంటుంది.
| 4-బిట్లో మోడల్ | కావాల్సిన మెమరీ | M3 Ultraలో సరిపోతుందా |
|---|---|---|
| 8B మోడల్ | 4.5 GB | అవును |
| 14B మోడల్ | 7.9 GB | అవును |
| 32B మోడల్ | 18 GB | అవును |
| 70B మోడల్ | 39.4 GB | అవును |
| gpt-oss-120b, mixture-of-experts | 65 GB | అవును |
| Qwen3.5-397B-A17B, mixture-of-experts | 223.3 GB | అవును |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | అవును |
3ఎంత వేగంగా నడుస్తుంది
టెక్స్ట్ రాసే వేగాన్ని మెమరీ బ్యాండ్విడ్త్ పరిమితం చేస్తుంది: ప్రతి కొత్త టోకెన్ మోడల్ యాక్టివ్ వెయిట్‌లను ఒకసారి చదువుతుంది. M3 Ultraకి ఉన్న 819 GB/sను ఒక్కో టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే కింది గరిష్ఠ పరిమితి వస్తుంది. నిజమైన రన్లు సాధారణంగా దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి (llama.cpp బెంచ్‌మార్క్‌లు).
| 4-బిట్లో మోడల్ | ఒక్కో టోకెన్‌కు చదివేది | ఒక చాట్కు గరిష్ఠ పరిమితి |
|---|---|---|
| 8B మోడల్ | 4.5 GB | సెకనుకు 182 టోకెన్లు |
| 14B మోడల్ | 7.9 GB | సెకనుకు 104 టోకెన్లు |
| 32B మోడల్ | 18 GB | సెకనుకు 46 టోకెన్లు |
| 70B మోడల్ | 39.4 GB | సెకనుకు 21 టోకెన్లు |
| gpt-oss-120b, mixture-of-experts | 2.7 GB | సెకనుకు 303 టోకెన్లు |
| Qwen3.5-397B-A17B, mixture-of-experts | 9.6 GB | సెకనుకు 85 టోకెన్లు |
| DeepSeek-V4.1-Flash, mixture-of-experts | 9 GB | సెకనుకు 91 టోకెన్లు |
కొలిచినది: llama.cpp పబ్లిక్ బెంచ్‌మార్క్‌లలో, M3 Ultra (80-core GPU)పై Llama-2-7B (Q4_0) సెకనుకు 92 టోకెన్లు ఇస్తుంది.
5ఇతర చిప్‌లతో పోల్చండి
6ప్రశ్నలు
- M3 Ultra 70B మోడల్ను నడపగలదా?
- అవును. 4-బిట్లో 70B మోడల్కు సుమారు 40 GB కావాలి, M3 Ultraలో 512 GB వరకు ఉంది. ఒక చాట్కు సెకనుకు సుమారు 21 టోకెన్ల గరిష్ఠ పరిమితిని ఆశించవచ్చు.
- M3 Ultra సెకనుకు ఎన్ని టోకెన్లు ఇస్తుంది?
- 4-బిట్లో 8B మోడల్కు గరిష్ఠ పరిమితి సెకనుకు సుమారు 182 టోకెన్లు, నిజమైన రన్లు దానిలో దాదాపు సగం నుండి ఐదింట నాలుగు వంతుల వరకు చేరుతాయి. పెద్ద మోడల్లు అదే నిష్పత్తిలో నెమ్మదిగా ఉంటాయి.
- AIకి M3 Ultra మంచిదేనా?
- మోడల్లను లోకల్గా నడపడానికి మెమరీ, బ్యాండ్విడ్త్ అన్నిటికంటే ముఖ్యం. M3 Ultraలో 819 GB/s వేగంతో 512 GB వరకు మెమరీ ఉంది, ఇది సుమారు 682 బిలియన్ పారామీటర్ల వరకు ఉన్న మోడల్లకు సరిపోతుంది. MLX Nodeతో MLX Network కోసం AI పనులు నడిపి ఇది సంపాదించగలదు కూడా.
ఆధారాలు
- Apple: Mac Studio (2025) specssupport.apple.com
- llama.cpp: Apple Silicon benchmarksgithub.com