क्या M5 Ultra पर 70B मॉडल चल सकता है?

हाँ। 4-बिट पर 70B मॉडल को लगभग 40 GB चाहिए, और M5 Ultra में 512 GB तक मेमोरी है। एक चैट के लिए लगभग 30 टोकन प्रति सेकंड की सीमा की उम्मीद करें।

M5 Ultra पर प्रति सेकंड कितने टोकन मिलते हैं?

4-बिट पर 8B मॉडल के लिए सीमा लगभग 267 टोकन प्रति सेकंड है, और असली रन इसके लगभग आधे से चार-पाँचवें हिस्से तक पहुँचते हैं। बड़े मॉडल उसी अनुपात में धीमे होते हैं।

क्या M5 Ultra AI के लिए अच्छा विकल्प है?

मॉडल लोकल चलाने के लिए मेमोरी और बैंडविड्थ सबसे ज़्यादा मायने रखती हैं। M5 Ultra में 1.2 TB/s पर 512 GB तक मेमोरी है, जो लगभग 682 अरब पैरामीटर तक के मॉडल के लिए काफ़ी है। MLX Node के साथ MLX Network का AI काम चलाकर इससे कमाई भी की जा सकती है।

लोकल LLM के लिए M5 Ultra: मेमोरी, स्पीड और मॉडल

1AI के लिए ज़रूरी स्पेक्स

यूनिफ़ाइड मेमोरी	512 GB
मेमोरी बैंडविड्थ	1.2 TB/s
इन Mac में	Mac Studio (2026)
इसके लिए डेडिकेटेड सीट	Ultra Latest सीट: दिन में 480 MLX तक माइन करती है

2कौन-से मॉडल फ़िट होते हैं

4 बिट प्रति वेट पर किसी मॉडल को हर अरब पैरामीटर के लिए आधे गीगाबाइट से थोड़ी ज़्यादा मेमोरी चाहिए, साथ ही कॉन्टेक्स्ट और macOS के लिए जगह। 512 GB के साथ M5 Ultra पर लगभग 682 अरब पैरामीटर तक के मॉडल आराम से चल जाते हैं।

4-बिट मॉडल	ज़रूरी मेमोरी	M5 Ultra पर फ़िट
8B मॉडल	4.5 GB	हाँ
14B मॉडल	7.9 GB	हाँ
32B मॉडल	18 GB	हाँ
70B मॉडल	39.4 GB	हाँ
gpt-oss-120b, मिक्सचर-ऑफ़-एक्सपर्ट्स	65 GB	हाँ
Qwen3.5-397B-A17B, मिक्सचर-ऑफ़-एक्सपर्ट्स	223.3 GB	हाँ
DeepSeek-V4.1-Flash, मिक्सचर-ऑफ़-एक्सपर्ट्स	316 GB	हाँ

3स्पीड कितनी मिलती है

टेक्स्ट लिखने की स्पीड मेमोरी बैंडविड्थ से सीमित होती है: हर नए टोकन के लिए मॉडल के सक्रिय वेट एक बार पढ़े जाते हैं। M5 Ultra की 1.2 TB/s बैंडविड्थ को प्रति टोकन पढ़े गए बाइट्स से भाग देने पर नीचे दी गई सीमा मिलती है। असली रन आमतौर पर इसके लगभग 45% से 80% तक पहुँचते हैं (llama.cpp बेंचमार्क)।

4-बिट मॉडल	प्रति टोकन पढ़ा गया डेटा	एक चैट की सीमा
8B मॉडल	4.5 GB	267 टोकन/सेकंड
14B मॉडल	7.9 GB	152 टोकन/सेकंड
32B मॉडल	18 GB	67 टोकन/सेकंड
70B मॉडल	39.4 GB	30 टोकन/सेकंड
gpt-oss-120b, मिक्सचर-ऑफ़-एक्सपर्ट्स	2.7 GB	444 टोकन/सेकंड
Qwen3.5-397B-A17B, मिक्सचर-ऑफ़-एक्सपर्ट्स	9.6 GB	125 टोकन/सेकंड
DeepSeek-V4.1-Flash, मिक्सचर-ऑफ़-एक्सपर्ट्स	9 GB	133 टोकन/सेकंड

मापा गया: M5 Ultra (80-core GPU) पर llama.cpp अपने सार्वजनिक बेंचमार्क में Llama-2-7B (Q4_0) के साथ 179 टोकन प्रति सेकंड जनरेट करता है।

M5 पीढ़ी की चिप के GPU में न्यूरल एक्सेलरेटर जुड़े हैं, इसलिए वे M4 से कई गुना तेज़ प्रॉम्प्ट पढ़ती हैं: Apple के माप में MLX के साथ पहला टोकन 3.3 से 4.1 गुना जल्दी आया (Apple)।

अपने M5 Ultra Mac से कमाएँ

MLX Node MLX Network के लिए AI जॉब चलाता है और MLX टोकन कमाता है, आपकी तय की गई सीमाओं के भीतर। M5 Ultra वाला Mac Ultra Latest सीट पूरी दर से चलाता है, और एक सीट उस पर दिन में 480 MLX तक माइन करती है; फ़्री सीट पर एक Mac दिन में 1 MLX तक माइन करता है। माइन किया गया MLX फ़्री सीट पर 30 दिन और डेडिकेटेड सीट के साथ 3 से 20 दिन के लिए लॉक रहता है। डेडिकेटेड सीट और जोखिम देखें।

MLX Node डाउनलोड करें

5दूसरी चिप से तुलना करें

6सवाल

क्या M5 Ultra पर 70B मॉडल चल सकता है?: हाँ। 4-बिट पर 70B मॉडल को लगभग 40 GB चाहिए, और M5 Ultra में 512 GB तक मेमोरी है। एक चैट के लिए लगभग 30 टोकन प्रति सेकंड की सीमा की उम्मीद करें।
M5 Ultra पर प्रति सेकंड कितने टोकन मिलते हैं?: 4-बिट पर 8B मॉडल के लिए सीमा लगभग 267 टोकन प्रति सेकंड है, और असली रन इसके लगभग आधे से चार-पाँचवें हिस्से तक पहुँचते हैं। बड़े मॉडल उसी अनुपात में धीमे होते हैं।
क्या M5 Ultra AI के लिए अच्छा विकल्प है?: मॉडल लोकल चलाने के लिए मेमोरी और बैंडविड्थ सबसे ज़्यादा मायने रखती हैं। M5 Ultra में 1.2 TB/s पर 512 GB तक मेमोरी है, जो लगभग 682 अरब पैरामीटर तक के मॉडल के लिए काफ़ी है। MLX Node के साथ MLX Network का AI काम चलाकर इससे कमाई भी की जा सकती है।

स्रोत

Apple: M6 and M5 Ultraapple.com
llama.cpp: Apple Silicon benchmarksgithub.com