क्या M4 पर 70B मॉडल चल सकता है?

आराम से नहीं। 4-बिट पर 70B मॉडल को लगभग 40 GB चाहिए, और M4 में अधिकतम 32 GB है। लगभग 42B पैरामीटर तक के मॉडल अच्छी तरह फ़िट होते हैं।

M4 पर प्रति सेकंड कितने टोकन मिलते हैं?

4-बिट पर 8B मॉडल के लिए सीमा लगभग 27 टोकन प्रति सेकंड है, और असली रन इसके लगभग आधे से चार-पाँचवें हिस्से तक पहुँचते हैं। बड़े मॉडल उसी अनुपात में धीमे होते हैं।

क्या M4 AI के लिए अच्छा विकल्प है?

मॉडल लोकल चलाने के लिए मेमोरी और बैंडविड्थ सबसे ज़्यादा मायने रखती हैं। M4 में 120 GB/s पर 32 GB तक मेमोरी है, जो लगभग 42 अरब पैरामीटर तक के मॉडल के लिए काफ़ी है। MLX Node के साथ MLX Network का AI काम चलाकर इससे कमाई भी की जा सकती है।

लोकल LLM के लिए M4: मेमोरी, स्पीड और मॉडल

1AI के लिए ज़रूरी स्पेक्स

यूनिफ़ाइड मेमोरी	32 GB
मेमोरी बैंडविड्थ	120 GB/s
इन Mac में	MacBook Air (2025), 14-inch MacBook Pro (2024), Mac mini (2024), iMac (2024)
इसके लिए डेडिकेटेड सीट	Core सीट: दिन में 20 MLX तक माइन करती है

2कौन-से मॉडल फ़िट होते हैं

4 बिट प्रति वेट पर किसी मॉडल को हर अरब पैरामीटर के लिए आधे गीगाबाइट से थोड़ी ज़्यादा मेमोरी चाहिए, साथ ही कॉन्टेक्स्ट और macOS के लिए जगह। 32 GB के साथ M4 पर लगभग 42 अरब पैरामीटर तक के मॉडल आराम से चल जाते हैं।

4-बिट मॉडल	ज़रूरी मेमोरी	M4 पर फ़िट
8B मॉडल	4.5 GB	हाँ
14B मॉडल	7.9 GB	हाँ
32B मॉडल	18 GB	हाँ
70B मॉडल	39.4 GB	नहीं
gpt-oss-120b, मिक्सचर-ऑफ़-एक्सपर्ट्स	65 GB	नहीं
Qwen3.5-397B-A17B, मिक्सचर-ऑफ़-एक्सपर्ट्स	223.3 GB	नहीं
DeepSeek-V4.1-Flash, मिक्सचर-ऑफ़-एक्सपर्ट्स	316 GB	नहीं

3स्पीड कितनी मिलती है

टेक्स्ट लिखने की स्पीड मेमोरी बैंडविड्थ से सीमित होती है: हर नए टोकन के लिए मॉडल के सक्रिय वेट एक बार पढ़े जाते हैं। M4 की 120 GB/s बैंडविड्थ को प्रति टोकन पढ़े गए बाइट्स से भाग देने पर नीचे दी गई सीमा मिलती है। असली रन आमतौर पर इसके लगभग 45% से 80% तक पहुँचते हैं (llama.cpp बेंचमार्क)।

4-बिट मॉडल	प्रति टोकन पढ़ा गया डेटा	एक चैट की सीमा
8B मॉडल	4.5 GB	27 टोकन/सेकंड
14B मॉडल	7.9 GB	15 टोकन/सेकंड
32B मॉडल	18 GB	7 टोकन/सेकंड

अपने M4 Mac से कमाएँ

MLX Node MLX Network के लिए AI जॉब चलाता है और MLX टोकन कमाता है, आपकी तय की गई सीमाओं के भीतर। M4 वाला Mac Core सीट पूरी दर से चलाता है, और एक सीट उस पर दिन में 20 MLX तक माइन करती है; फ़्री सीट पर एक Mac दिन में 1 MLX तक माइन करता है। माइन किया गया MLX फ़्री सीट पर 30 दिन और डेडिकेटेड सीट के साथ 3 से 20 दिन के लिए लॉक रहता है। डेडिकेटेड सीट और जोखिम देखें।

MLX Node डाउनलोड करें

5दूसरी चिप से तुलना करें

6सवाल

क्या M4 पर 70B मॉडल चल सकता है?: आराम से नहीं। 4-बिट पर 70B मॉडल को लगभग 40 GB चाहिए, और M4 में अधिकतम 32 GB है। लगभग 42B पैरामीटर तक के मॉडल अच्छी तरह फ़िट होते हैं।
M4 पर प्रति सेकंड कितने टोकन मिलते हैं?: 4-बिट पर 8B मॉडल के लिए सीमा लगभग 27 टोकन प्रति सेकंड है, और असली रन इसके लगभग आधे से चार-पाँचवें हिस्से तक पहुँचते हैं। बड़े मॉडल उसी अनुपात में धीमे होते हैं।
क्या M4 AI के लिए अच्छा विकल्प है?: मॉडल लोकल चलाने के लिए मेमोरी और बैंडविड्थ सबसे ज़्यादा मायने रखती हैं। M4 में 120 GB/s पर 32 GB तक मेमोरी है, जो लगभग 42 अरब पैरामीटर तक के मॉडल के लिए काफ़ी है। MLX Node के साथ MLX Network का AI काम चलाकर इससे कमाई भी की जा सकती है।

स्रोत

Apple: Mac mini (2024) specssupport.apple.com
llama.cpp: Apple Silicon benchmarksgithub.com