क्या M2 Max पर 70B मॉडल चल सकता है?

हाँ। 4-बिट पर 70B मॉडल को लगभग 40 GB चाहिए, और M2 Max में 96 GB तक मेमोरी है। एक चैट के लिए लगभग 10 टोकन प्रति सेकंड की सीमा की उम्मीद करें।

M2 Max पर प्रति सेकंड कितने टोकन मिलते हैं?

4-बिट पर 8B मॉडल के लिए सीमा लगभग 89 टोकन प्रति सेकंड है, और असली रन इसके लगभग आधे से चार-पाँचवें हिस्से तक पहुँचते हैं। बड़े मॉडल उसी अनुपात में धीमे होते हैं।

क्या M2 Max AI के लिए अच्छा विकल्प है?

मॉडल लोकल चलाने के लिए मेमोरी और बैंडविड्थ सबसे ज़्यादा मायने रखती हैं। M2 Max में 400 GB/s पर 96 GB तक मेमोरी है, जो लगभग 128 अरब पैरामीटर तक के मॉडल के लिए काफ़ी है। MLX Node के साथ MLX Network का AI काम चलाकर इससे कमाई भी की जा सकती है।

लोकल LLM के लिए M2 Max: मेमोरी, स्पीड और मॉडल

1AI के लिए ज़रूरी स्पेक्स

यूनिफ़ाइड मेमोरी	96 GB
मेमोरी बैंडविड्थ	400 GB/s
इन Mac में	14- and 16-inch MacBook Pro (2023), Mac Studio (2023)
इसके लिए डेडिकेटेड सीट	Pro सीट: दिन में 80 MLX तक माइन करती है

2कौन-से मॉडल फ़िट होते हैं

4 बिट प्रति वेट पर किसी मॉडल को हर अरब पैरामीटर के लिए आधे गीगाबाइट से थोड़ी ज़्यादा मेमोरी चाहिए, साथ ही कॉन्टेक्स्ट और macOS के लिए जगह। 96 GB के साथ M2 Max पर लगभग 128 अरब पैरामीटर तक के मॉडल आराम से चल जाते हैं।

4-बिट मॉडल	ज़रूरी मेमोरी	M2 Max पर फ़िट
8B मॉडल	4.5 GB	हाँ
14B मॉडल	7.9 GB	हाँ
32B मॉडल	18 GB	हाँ
70B मॉडल	39.4 GB	हाँ
gpt-oss-120b, मिक्सचर-ऑफ़-एक्सपर्ट्स	65 GB	हाँ
Qwen3.5-397B-A17B, मिक्सचर-ऑफ़-एक्सपर्ट्स	223.3 GB	नहीं
DeepSeek-V4.1-Flash, मिक्सचर-ऑफ़-एक्सपर्ट्स	316 GB	नहीं

3स्पीड कितनी मिलती है

टेक्स्ट लिखने की स्पीड मेमोरी बैंडविड्थ से सीमित होती है: हर नए टोकन के लिए मॉडल के सक्रिय वेट एक बार पढ़े जाते हैं। M2 Max की 400 GB/s बैंडविड्थ को प्रति टोकन पढ़े गए बाइट्स से भाग देने पर नीचे दी गई सीमा मिलती है। असली रन आमतौर पर इसके लगभग 45% से 80% तक पहुँचते हैं (llama.cpp बेंचमार्क)।

4-बिट मॉडल	प्रति टोकन पढ़ा गया डेटा	एक चैट की सीमा
8B मॉडल	4.5 GB	89 टोकन/सेकंड
14B मॉडल	7.9 GB	51 टोकन/सेकंड
32B मॉडल	18 GB	22 टोकन/सेकंड
70B मॉडल	39.4 GB	10 टोकन/सेकंड
gpt-oss-120b, मिक्सचर-ऑफ़-एक्सपर्ट्स	2.7 GB	148 टोकन/सेकंड

अपने M2 Max Mac से कमाएँ

MLX Node MLX Network के लिए AI जॉब चलाता है और MLX टोकन कमाता है, आपकी तय की गई सीमाओं के भीतर। M2 Max वाला Mac Pro सीट पूरी दर से चलाता है, और एक सीट उस पर दिन में 80 MLX तक माइन करती है; फ़्री सीट पर एक Mac दिन में 1 MLX तक माइन करता है। माइन किया गया MLX फ़्री सीट पर 30 दिन और डेडिकेटेड सीट के साथ 3 से 20 दिन के लिए लॉक रहता है। डेडिकेटेड सीट और जोखिम देखें।

MLX Node डाउनलोड करें

5दूसरी चिप से तुलना करें

6सवाल

क्या M2 Max पर 70B मॉडल चल सकता है?: हाँ। 4-बिट पर 70B मॉडल को लगभग 40 GB चाहिए, और M2 Max में 96 GB तक मेमोरी है। एक चैट के लिए लगभग 10 टोकन प्रति सेकंड की सीमा की उम्मीद करें।
M2 Max पर प्रति सेकंड कितने टोकन मिलते हैं?: 4-बिट पर 8B मॉडल के लिए सीमा लगभग 89 टोकन प्रति सेकंड है, और असली रन इसके लगभग आधे से चार-पाँचवें हिस्से तक पहुँचते हैं। बड़े मॉडल उसी अनुपात में धीमे होते हैं।
क्या M2 Max AI के लिए अच्छा विकल्प है?: मॉडल लोकल चलाने के लिए मेमोरी और बैंडविड्थ सबसे ज़्यादा मायने रखती हैं। M2 Max में 400 GB/s पर 96 GB तक मेमोरी है, जो लगभग 128 अरब पैरामीटर तक के मॉडल के लिए काफ़ी है। MLX Node के साथ MLX Network का AI काम चलाकर इससे कमाई भी की जा सकती है।

स्रोत

Apple: M2 Pro and M2 Maxapple.com
llama.cpp: Apple Silicon benchmarksgithub.com