क्या M3 Pro पर 70B मॉडल चल सकता है?

आराम से नहीं। 4-बिट पर 70B मॉडल को लगभग 40 GB चाहिए, और M3 Pro में अधिकतम 36 GB है। लगभग 48B पैरामीटर तक के मॉडल अच्छी तरह फ़िट होते हैं।

M3 Pro पर प्रति सेकंड कितने टोकन मिलते हैं?

4-बिट पर 8B मॉडल के लिए सीमा लगभग 33 टोकन प्रति सेकंड है, और असली रन इसके लगभग आधे से चार-पाँचवें हिस्से तक पहुँचते हैं। बड़े मॉडल उसी अनुपात में धीमे होते हैं।

क्या M3 Pro AI के लिए अच्छा विकल्प है?

मॉडल लोकल चलाने के लिए मेमोरी और बैंडविड्थ सबसे ज़्यादा मायने रखती हैं। M3 Pro में 150 GB/s पर 36 GB तक मेमोरी है, जो लगभग 48 अरब पैरामीटर तक के मॉडल के लिए काफ़ी है। MLX Node के साथ MLX Network का AI काम चलाकर इससे कमाई भी की जा सकती है।

लोकल LLM के लिए M3 Pro: मेमोरी, स्पीड और मॉडल

1AI के लिए ज़रूरी स्पेक्स

यूनिफ़ाइड मेमोरी	36 GB
मेमोरी बैंडविड्थ	150 GB/s
इन Mac में	14- and 16-inch MacBook Pro (2023)
इसके लिए डेडिकेटेड सीट	Pro सीट: दिन में 80 MLX तक माइन करती है

2कौन-से मॉडल फ़िट होते हैं

4 बिट प्रति वेट पर किसी मॉडल को हर अरब पैरामीटर के लिए आधे गीगाबाइट से थोड़ी ज़्यादा मेमोरी चाहिए, साथ ही कॉन्टेक्स्ट और macOS के लिए जगह। 36 GB के साथ M3 Pro पर लगभग 48 अरब पैरामीटर तक के मॉडल आराम से चल जाते हैं।

4-बिट मॉडल	ज़रूरी मेमोरी	M3 Pro पर फ़िट
8B मॉडल	4.5 GB	हाँ
14B मॉडल	7.9 GB	हाँ
32B मॉडल	18 GB	हाँ
70B मॉडल	39.4 GB	नहीं
gpt-oss-120b, मिक्सचर-ऑफ़-एक्सपर्ट्स	65 GB	नहीं
Qwen3.5-397B-A17B, मिक्सचर-ऑफ़-एक्सपर्ट्स	223.3 GB	नहीं
DeepSeek-V4.1-Flash, मिक्सचर-ऑफ़-एक्सपर्ट्स	316 GB	नहीं

3स्पीड कितनी मिलती है

टेक्स्ट लिखने की स्पीड मेमोरी बैंडविड्थ से सीमित होती है: हर नए टोकन के लिए मॉडल के सक्रिय वेट एक बार पढ़े जाते हैं। M3 Pro की 150 GB/s बैंडविड्थ को प्रति टोकन पढ़े गए बाइट्स से भाग देने पर नीचे दी गई सीमा मिलती है। असली रन आमतौर पर इसके लगभग 45% से 80% तक पहुँचते हैं (llama.cpp बेंचमार्क)।

4-बिट मॉडल	प्रति टोकन पढ़ा गया डेटा	एक चैट की सीमा
8B मॉडल	4.5 GB	33 टोकन/सेकंड
14B मॉडल	7.9 GB	19 टोकन/सेकंड
32B मॉडल	18 GB	8 टोकन/सेकंड

अपने M3 Pro Mac से कमाएँ

MLX Node MLX Network के लिए AI जॉब चलाता है और MLX टोकन कमाता है, आपकी तय की गई सीमाओं के भीतर। M3 Pro वाला Mac Pro सीट पूरी दर से चलाता है, और एक सीट उस पर दिन में 80 MLX तक माइन करती है; फ़्री सीट पर एक Mac दिन में 1 MLX तक माइन करता है। माइन किया गया MLX फ़्री सीट पर 30 दिन और डेडिकेटेड सीट के साथ 3 से 20 दिन के लिए लॉक रहता है। डेडिकेटेड सीट और जोखिम देखें।

MLX Node डाउनलोड करें

5दूसरी चिप से तुलना करें

6सवाल

क्या M3 Pro पर 70B मॉडल चल सकता है?: आराम से नहीं। 4-बिट पर 70B मॉडल को लगभग 40 GB चाहिए, और M3 Pro में अधिकतम 36 GB है। लगभग 48B पैरामीटर तक के मॉडल अच्छी तरह फ़िट होते हैं।
M3 Pro पर प्रति सेकंड कितने टोकन मिलते हैं?: 4-बिट पर 8B मॉडल के लिए सीमा लगभग 33 टोकन प्रति सेकंड है, और असली रन इसके लगभग आधे से चार-पाँचवें हिस्से तक पहुँचते हैं। बड़े मॉडल उसी अनुपात में धीमे होते हैं।
क्या M3 Pro AI के लिए अच्छा विकल्प है?: मॉडल लोकल चलाने के लिए मेमोरी और बैंडविड्थ सबसे ज़्यादा मायने रखती हैं। M3 Pro में 150 GB/s पर 36 GB तक मेमोरी है, जो लगभग 48 अरब पैरामीटर तक के मॉडल के लिए काफ़ी है। MLX Node के साथ MLX Network का AI काम चलाकर इससे कमाई भी की जा सकती है।

स्रोत

Apple: M3, M3 Pro and M3 Maxapple.com
Apple: MacBook Pro (M3 Pro or M3 Max) specssupport.apple.com