लोकल AI के लिए M2 Pro।

1AI के लिए ज़रूरी स्पेक्स

2कौन-से मॉडल फ़िट होते हैं

4 बिट प्रति वेट पर किसी मॉडल को हर अरब पैरामीटर के लिए आधे गीगाबाइट से थोड़ी ज़्यादा मेमोरी चाहिए, साथ ही कॉन्टेक्स्ट और macOS के लिए जगह। 32 GB के साथ M2 Pro पर लगभग 42 अरब पैरामीटर तक के मॉडल आराम से चल जाते हैं।

3स्पीड कितनी मिलती है

टेक्स्ट लिखने की स्पीड मेमोरी बैंडविड्थ से सीमित होती है: हर नए टोकन के लिए मॉडल के सक्रिय वेट एक बार पढ़े जाते हैं। M2 Pro की 200 GB/s बैंडविड्थ को प्रति टोकन पढ़े गए बाइट्स से भाग देने पर नीचे दी गई सीमा मिलती है। असली रन आमतौर पर इसके लगभग 45% से 80% तक पहुँचते हैं (llama.cpp बेंचमार्क)।

5दूसरी चिप से तुलना करें

• M2 Pro · 16 GB
• M2 Pro · 32 GB
• M1 Pro vs M2 Pro
• M2 vs M2 Pro
• M2 Pro vs M2 Max
• M2 Pro vs M3 Pro

• M1 Pro: 32 GB, 200 GB/s
• M3 Pro: 36 GB, 150 GB/s
• M2: 24 GB, 100 GB/s
• M2 Max: 96 GB, 400 GB/s
• लोकल LLM के लिए सबसे अच्छा Mac।

6सवाल

क्या M2 Pro पर 70B मॉडल चल सकता है?

आराम से नहीं। 4-बिट पर 70B मॉडल को लगभग 40 GB चाहिए, और M2 Pro में अधिकतम 32 GB है। लगभग 42B पैरामीटर तक के मॉडल अच्छी तरह फ़िट होते हैं।

M2 Pro पर प्रति सेकंड कितने टोकन मिलते हैं?

4-बिट पर 8B मॉडल के लिए सीमा लगभग 44 टोकन प्रति सेकंड है, और असली रन इसके लगभग आधे से चार-पाँचवें हिस्से तक पहुँचते हैं। बड़े मॉडल उसी अनुपात में धीमे होते हैं।

क्या M2 Pro AI के लिए अच्छा विकल्प है?

मॉडल लोकल चलाने के लिए मेमोरी और बैंडविड्थ सबसे ज़्यादा मायने रखती हैं। M2 Pro में 200 GB/s पर 32 GB तक मेमोरी है, जो लगभग 42 अरब पैरामीटर तक के मॉडल के लिए काफ़ी है। MLX Node के साथ MLX Network का AI काम चलाकर इससे कमाई भी की जा सकती है।