M2 Ultra 70B మోడల్ను నడపగలదా?

అవును. 4-బిట్లో 70B మోడల్కు సుమారు 40 GB కావాలి, M2 Ultraలో 192 GB వరకు ఉంది. ఒక చాట్కు సెకనుకు సుమారు 20 టోకెన్ల గరిష్ఠ పరిమితిని ఆశించవచ్చు.

M2 Ultra సెకనుకు ఎన్ని టోకెన్లు ఇస్తుంది?

4-బిట్లో 8B మోడల్కు గరిష్ఠ పరిమితి సెకనుకు సుమారు 178 టోకెన్లు, నిజమైన రన్లు దానిలో దాదాపు సగం నుండి ఐదింట నాలుగు వంతుల వరకు చేరుతాయి. పెద్ద మోడల్లు అదే నిష్పత్తిలో నెమ్మదిగా ఉంటాయి.

AIకి M2 Ultra మంచిదేనా?

మోడల్లను లోకల్గా నడపడానికి మెమరీ, బ్యాండ్విడ్త్ అన్నిటికంటే ముఖ్యం. M2 Ultraలో 800 GB/s వేగంతో 192 GB వరకు మెమరీ ఉంది, ఇది సుమారు 256 బిలియన్ పారామీటర్ల వరకు ఉన్న మోడల్లకు సరిపోతుంది. MLX Nodeతో MLX Network కోసం AI పనులు నడిపి ఇది సంపాదించగలదు కూడా.

లోకల్ LLMల కోసం M2 Ultra: మెమరీ, వేగం, ఏ మోడల్‌లు సరిపోతాయి

1AIకి ముఖ్యమైన స్పెక్స్

యూనిఫైడ్ మెమరీ	192 GB
మెమరీ బ్యాండ్‌విడ్త్	800 GB/s
ఇది ఉన్న Macలు	Mac Studio (2023), Mac Pro (2023)
దీనికి ప్రత్యేక సీటు	Ultra సీటు: రోజుకు 320 MLX వరకు మైన్ చేస్తుంది

2ఏ మోడల్‌లు సరిపోతాయి

ఒక్కో వెయిట్‌కు 4 బిట్‌లైతే, ఒక మోడల్‌కు ప్రతి బిలియన్ పారామీటర్‌లకు అర గిగాబైట్ కంటే కొంచెం ఎక్కువ కావాలి, దానితో పాటు దాని కాంటెక్స్ట్‌కు, macOSకు చోటు. 192 GBతో M2 Ultra సుమారు 256 బిలియన్ పారామీటర్‌ల వరకు ఉన్న మోడల్‌లను సులువుగా పట్టుకుంటుంది.

4-బిట్‌లో మోడల్	కావాల్సిన మెమరీ	M2 Ultraలో సరిపోతుందా
8B మోడల్	4.5 GB	అవును
14B మోడల్	7.9 GB	అవును
32B మోడల్	18 GB	అవును
70B మోడల్	39.4 GB	అవును
gpt-oss-120b, mixture-of-experts	65 GB	అవును
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	లేదు
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	లేదు

3ఎంత వేగంగా నడుస్తుంది

టెక్స్ట్ రాసే వేగాన్ని మెమరీ బ్యాండ్‌విడ్త్ పరిమితం చేస్తుంది: ప్రతి కొత్త టోకెన్ మోడల్ యాక్టివ్ వెయిట్‌లను ఒకసారి చదువుతుంది. M2 Ultraకి ఉన్న 800 GB/sను ఒక్కో టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే కింది గరిష్ఠ పరిమితి వస్తుంది. నిజమైన రన్‌లు సాధారణంగా దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి (llama.cpp బెంచ్‌మార్క్‌లు).

4-బిట్‌లో మోడల్	ఒక్కో టోకెన్‌కు చదివేది	ఒక చాట్‌కు గరిష్ఠ పరిమితి
8B మోడల్	4.5 GB	సెకనుకు 178 టోకెన్‌లు
14B మోడల్	7.9 GB	సెకనుకు 101 టోకెన్‌లు
32B మోడల్	18 GB	సెకనుకు 44 టోకెన్‌లు
70B మోడల్	39.4 GB	సెకనుకు 20 టోకెన్‌లు
gpt-oss-120b, mixture-of-experts	2.7 GB	సెకనుకు 296 టోకెన్‌లు

మీ M2 Ultra Macతో సంపాదించండి

MLX Node మీరు పెట్టిన పరిమితుల లోపల MLX Network కోసం AI పనులు నడిపి MLX టోకెన్‌లు సంపాదిస్తుంది. M2 Ultra ఉన్న Mac Ultra సీట్లను పూర్తి రేటుతో నడుపుతుంది, అక్కడ ఒక సీటు రోజుకు 320 MLX వరకు మైన్ చేస్తుంది; ఉచిత సీటుపై Mac రోజుకు 1 MLX వరకు మైన్ చేస్తుంది. మైన్ చేసిన MLX ఉచిత సీటులో 30 రోజులు, ప్రత్యేక సీటుతో 3 నుంచి 20 రోజులు లాక్ అవుతుంది. ప్రత్యేక సీట్లు, రిస్క్‌లు చూడండి.

MLX Node డౌన్‌లోడ్ చేయండి

5ఇతర చిప్‌లతో పోల్చండి

6ప్రశ్నలు

M2 Ultra 70B మోడల్‌ను నడపగలదా?: అవును. 4-బిట్‌లో 70B మోడల్‌కు సుమారు 40 GB కావాలి, M2 Ultraలో 192 GB వరకు ఉంది. ఒక చాట్‌కు సెకనుకు సుమారు 20 టోకెన్‌ల గరిష్ఠ పరిమితిని ఆశించవచ్చు.
M2 Ultra సెకనుకు ఎన్ని టోకెన్‌లు ఇస్తుంది?: 4-బిట్‌లో 8B మోడల్‌కు గరిష్ఠ పరిమితి సెకనుకు సుమారు 178 టోకెన్‌లు, నిజమైన రన్‌లు దానిలో దాదాపు సగం నుండి ఐదింట నాలుగు వంతుల వరకు చేరుతాయి. పెద్ద మోడల్‌లు అదే నిష్పత్తిలో నెమ్మదిగా ఉంటాయి.
AIకి M2 Ultra మంచిదేనా?: మోడల్‌లను లోకల్‌గా నడపడానికి మెమరీ, బ్యాండ్‌విడ్త్ అన్నిటికంటే ముఖ్యం. M2 Ultraలో 800 GB/s వేగంతో 192 GB వరకు మెమరీ ఉంది, ఇది సుమారు 256 బిలియన్ పారామీటర్‌ల వరకు ఉన్న మోడల్‌లకు సరిపోతుంది. MLX Nodeతో MLX Network కోసం AI పనులు నడిపి ఇది సంపాదించగలదు కూడా.

ఆధారాలు

Apple: M2 Ultraapple.com
llama.cpp: Apple Silicon benchmarksgithub.com