1AIకి ముఖ్యమైన స్పెక్స్
| యూనిఫైడ్ మెమరీ | 512 GB |
|---|---|
| మెమరీ బ్యాండ్విడ్త్ | 1.2 TB/s |
| ఇది ఉన్న Macలు | Mac Studio (2026) |
| దీనికి ప్రత్యేక సీటు | Ultra Latest సీటు: రోజుకు 480 MLX వరకు మైన్ చేస్తుంది |
2ఏ మోడల్లు సరిపోతాయి
ఒక్కో వెయిట్‌కు 4 బిట్‌లైతే, ఒక మోడల్కు ప్రతి బిలియన్ పారామీటర్‌లకు అర గిగాబైట్ కంటే కొంచెం ఎక్కువ కావాలి, దానితో పాటు దాని కాంటెక్స్ట్‌కు, macOSకు చోటు. 512 GBతో M5 Ultra సుమారు 682 బిలియన్ పారామీటర్ల వరకు ఉన్న మోడల్లను సులువుగా పట్టుకుంటుంది.
| 4-బిట్లో మోడల్ | కావాల్సిన మెమరీ | M5 Ultraలో సరిపోతుందా |
|---|---|---|
| 8B మోడల్ | 4.5 GB | అవును |
| 14B మోడల్ | 7.9 GB | అవును |
| 32B మోడల్ | 18 GB | అవును |
| 70B మోడల్ | 39.4 GB | అవును |
| gpt-oss-120b, mixture-of-experts | 65 GB | అవును |
| Qwen3.5-397B-A17B, mixture-of-experts | 223.3 GB | అవును |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | అవును |
3ఎంత వేగంగా నడుస్తుంది
టెక్స్ట్ రాసే వేగాన్ని మెమరీ బ్యాండ్విడ్త్ పరిమితం చేస్తుంది: ప్రతి కొత్త టోకెన్ మోడల్ యాక్టివ్ వెయిట్‌లను ఒకసారి చదువుతుంది. M5 Ultraకి ఉన్న 1.2 TB/sను ఒక్కో టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే కింది గరిష్ఠ పరిమితి వస్తుంది. నిజమైన రన్లు సాధారణంగా దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి (llama.cpp బెంచ్‌మార్క్‌లు).
| 4-బిట్లో మోడల్ | ఒక్కో టోకెన్‌కు చదివేది | ఒక చాట్కు గరిష్ఠ పరిమితి |
|---|---|---|
| 8B మోడల్ | 4.5 GB | సెకనుకు 267 టోకెన్లు |
| 14B మోడల్ | 7.9 GB | సెకనుకు 152 టోకెన్లు |
| 32B మోడల్ | 18 GB | సెకనుకు 67 టోకెన్లు |
| 70B మోడల్ | 39.4 GB | సెకనుకు 30 టోకెన్లు |
| gpt-oss-120b, mixture-of-experts | 2.7 GB | సెకనుకు 444 టోకెన్లు |
| Qwen3.5-397B-A17B, mixture-of-experts | 9.6 GB | సెకనుకు 125 టోకెన్లు |
| DeepSeek-V4.1-Flash, mixture-of-experts | 9 GB | సెకనుకు 133 టోకెన్లు |
కొలిచినది: llama.cpp పబ్లిక్ బెంచ్‌మార్క్‌లలో, M5 Ultra (80-core GPU)పై Llama-2-7B (Q4_0) సెకనుకు 179 టోకెన్లు ఇస్తుంది.
M5 తరం చిప్‌లు GPUలో న్యూరల్ యాక్సిలరేటర్‌లను జోడిస్తాయి, కాబట్టి అవి M4 కంటే పలు రెట్లు వేగంగా ప్రాంప్ట్‌లను చదువుతాయి: MLXతో మొదటి టోకెన్ 3.3 నుండి 4.1 రెట్లు త్వరగా వస్తుందని Apple కొలిచింది (Apple).
5ఇతర చిప్‌లతో పోల్చండి
6ప్రశ్నలు
- M5 Ultra 70B మోడల్ను నడపగలదా?
- అవును. 4-బిట్లో 70B మోడల్కు సుమారు 40 GB కావాలి, M5 Ultraలో 512 GB వరకు ఉంది. ఒక చాట్కు సెకనుకు సుమారు 30 టోకెన్ల గరిష్ఠ పరిమితిని ఆశించవచ్చు.
- M5 Ultra సెకనుకు ఎన్ని టోకెన్లు ఇస్తుంది?
- 4-బిట్లో 8B మోడల్కు గరిష్ఠ పరిమితి సెకనుకు సుమారు 267 టోకెన్లు, నిజమైన రన్లు దానిలో దాదాపు సగం నుండి ఐదింట నాలుగు వంతుల వరకు చేరుతాయి. పెద్ద మోడల్లు అదే నిష్పత్తిలో నెమ్మదిగా ఉంటాయి.
- AIకి M5 Ultra మంచిదేనా?
- మోడల్లను లోకల్గా నడపడానికి మెమరీ, బ్యాండ్విడ్త్ అన్నిటికంటే ముఖ్యం. M5 Ultraలో 1.2 TB/s వేగంతో 512 GB వరకు మెమరీ ఉంది, ఇది సుమారు 682 బిలియన్ పారామీటర్ల వరకు ఉన్న మోడల్లకు సరిపోతుంది. MLX Nodeతో MLX Network కోసం AI పనులు నడిపి ఇది సంపాదించగలదు కూడా.
ఆధారాలు
- Apple: M6 and M5 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com