क्या M3 Ultra पर 70B मॉडल चल सकता है?

हाँ। 4-बिट पर 70B मॉडल को लगभग 40 GB चाहिए, और M3 Ultra में 512 GB तक मेमोरी है। एक चैट के लिए लगभग 21 टोकन प्रति सेकंड की सीमा की उम्मीद करें।

M3 Ultra पर प्रति सेकंड कितने टोकन मिलते हैं?

4-बिट पर 8B मॉडल के लिए सीमा लगभग 182 टोकन प्रति सेकंड है, और असली रन इसके लगभग आधे से चार-पाँचवें हिस्से तक पहुँचते हैं। बड़े मॉडल उसी अनुपात में धीमे होते हैं।

क्या M3 Ultra AI के लिए अच्छा विकल्प है?

मॉडल लोकल चलाने के लिए मेमोरी और बैंडविड्थ सबसे ज़्यादा मायने रखती हैं। M3 Ultra में 819 GB/s पर 512 GB तक मेमोरी है, जो लगभग 682 अरब पैरामीटर तक के मॉडल के लिए काफ़ी है। MLX Node के साथ MLX Network का AI काम चलाकर इससे कमाई भी की जा सकती है।

लोकल LLM के लिए M3 Ultra: मेमोरी, स्पीड और मॉडल

1AI के लिए ज़रूरी स्पेक्स

यूनिफ़ाइड मेमोरी	512 GB
मेमोरी बैंडविड्थ	819 GB/s
इन Mac में	Mac Studio (2025)
इसके लिए डेडिकेटेड सीट	Ultra सीट: दिन में 320 MLX तक माइन करती है

2कौन-से मॉडल फ़िट होते हैं

4 बिट प्रति वेट पर किसी मॉडल को हर अरब पैरामीटर के लिए आधे गीगाबाइट से थोड़ी ज़्यादा मेमोरी चाहिए, साथ ही कॉन्टेक्स्ट और macOS के लिए जगह। 512 GB के साथ M3 Ultra पर लगभग 682 अरब पैरामीटर तक के मॉडल आराम से चल जाते हैं।

4-बिट मॉडल	ज़रूरी मेमोरी	M3 Ultra पर फ़िट
8B मॉडल	4.5 GB	हाँ
14B मॉडल	7.9 GB	हाँ
32B मॉडल	18 GB	हाँ
70B मॉडल	39.4 GB	हाँ
gpt-oss-120b, मिक्सचर-ऑफ़-एक्सपर्ट्स	65 GB	हाँ
Qwen3.5-397B-A17B, मिक्सचर-ऑफ़-एक्सपर्ट्स	223.3 GB	हाँ
DeepSeek-V4.1-Flash, मिक्सचर-ऑफ़-एक्सपर्ट्स	316 GB	हाँ

3स्पीड कितनी मिलती है

टेक्स्ट लिखने की स्पीड मेमोरी बैंडविड्थ से सीमित होती है: हर नए टोकन के लिए मॉडल के सक्रिय वेट एक बार पढ़े जाते हैं। M3 Ultra की 819 GB/s बैंडविड्थ को प्रति टोकन पढ़े गए बाइट्स से भाग देने पर नीचे दी गई सीमा मिलती है। असली रन आमतौर पर इसके लगभग 45% से 80% तक पहुँचते हैं (llama.cpp बेंचमार्क)।

4-बिट मॉडल	प्रति टोकन पढ़ा गया डेटा	एक चैट की सीमा
8B मॉडल	4.5 GB	182 टोकन/सेकंड
14B मॉडल	7.9 GB	104 टोकन/सेकंड
32B मॉडल	18 GB	46 टोकन/सेकंड
70B मॉडल	39.4 GB	21 टोकन/सेकंड
gpt-oss-120b, मिक्सचर-ऑफ़-एक्सपर्ट्स	2.7 GB	303 टोकन/सेकंड
Qwen3.5-397B-A17B, मिक्सचर-ऑफ़-एक्सपर्ट्स	9.6 GB	85 टोकन/सेकंड
DeepSeek-V4.1-Flash, मिक्सचर-ऑफ़-एक्सपर्ट्स	9 GB	91 टोकन/सेकंड

मापा गया: M3 Ultra (80-core GPU) पर llama.cpp अपने सार्वजनिक बेंचमार्क में Llama-2-7B (Q4_0) के साथ 92 टोकन प्रति सेकंड जनरेट करता है।

अपने M3 Ultra Mac से कमाएँ

MLX Node MLX Network के लिए AI जॉब चलाता है और MLX टोकन कमाता है, आपकी तय की गई सीमाओं के भीतर। M3 Ultra वाला Mac Ultra सीट पूरी दर से चलाता है, और एक सीट उस पर दिन में 320 MLX तक माइन करती है; फ़्री सीट पर एक Mac दिन में 1 MLX तक माइन करता है। माइन किया गया MLX फ़्री सीट पर 30 दिन और डेडिकेटेड सीट के साथ 3 से 20 दिन के लिए लॉक रहता है। डेडिकेटेड सीट और जोखिम देखें।

MLX Node डाउनलोड करें

5दूसरी चिप से तुलना करें

6सवाल

क्या M3 Ultra पर 70B मॉडल चल सकता है?: हाँ। 4-बिट पर 70B मॉडल को लगभग 40 GB चाहिए, और M3 Ultra में 512 GB तक मेमोरी है। एक चैट के लिए लगभग 21 टोकन प्रति सेकंड की सीमा की उम्मीद करें।
M3 Ultra पर प्रति सेकंड कितने टोकन मिलते हैं?: 4-बिट पर 8B मॉडल के लिए सीमा लगभग 182 टोकन प्रति सेकंड है, और असली रन इसके लगभग आधे से चार-पाँचवें हिस्से तक पहुँचते हैं। बड़े मॉडल उसी अनुपात में धीमे होते हैं।
क्या M3 Ultra AI के लिए अच्छा विकल्प है?: मॉडल लोकल चलाने के लिए मेमोरी और बैंडविड्थ सबसे ज़्यादा मायने रखती हैं। M3 Ultra में 819 GB/s पर 512 GB तक मेमोरी है, जो लगभग 682 अरब पैरामीटर तक के मॉडल के लिए काफ़ी है। MLX Node के साथ MLX Network का AI काम चलाकर इससे कमाई भी की जा सकती है।

स्रोत

Apple: Mac Studio (2025) specssupport.apple.com
llama.cpp: Apple Silicon benchmarksgithub.com