लोकल AI के लिए M3।

1AI के लिए ज़रूरी स्पेक्स

2कौन-से मॉडल फ़िट होते हैं

4 बिट प्रति वेट पर किसी मॉडल को हर अरब पैरामीटर के लिए आधे गीगाबाइट से थोड़ी ज़्यादा मेमोरी चाहिए, साथ ही कॉन्टेक्स्ट और macOS के लिए जगह। 24 GB के साथ M3 पर लगभग 32 अरब पैरामीटर तक के मॉडल आराम से चल जाते हैं।

3स्पीड कितनी मिलती है

टेक्स्ट लिखने की स्पीड मेमोरी बैंडविड्थ से सीमित होती है: हर नए टोकन के लिए मॉडल के सक्रिय वेट एक बार पढ़े जाते हैं। M3 की 100 GB/s बैंडविड्थ को प्रति टोकन पढ़े गए बाइट्स से भाग देने पर नीचे दी गई सीमा मिलती है। असली रन आमतौर पर इसके लगभग 45% से 80% तक पहुँचते हैं (llama.cpp बेंचमार्क)।

5दूसरी चिप से तुलना करें

• M3 · 8 GB
• M3 · 16 GB
• M3 · 24 GB
• M2 vs M3
• M3 vs M3 Pro
• M3 vs M4

• M2: 24 GB, 100 GB/s
• M4: 32 GB, 120 GB/s
• M3 Pro: 36 GB, 150 GB/s
• लोकल LLM के लिए सबसे अच्छा Mac।

6सवाल

क्या M3 पर 70B मॉडल चल सकता है?

आराम से नहीं। 4-बिट पर 70B मॉडल को लगभग 40 GB चाहिए, और M3 में अधिकतम 24 GB है। लगभग 32B पैरामीटर तक के मॉडल अच्छी तरह फ़िट होते हैं।

M3 पर प्रति सेकंड कितने टोकन मिलते हैं?

4-बिट पर 8B मॉडल के लिए सीमा लगभग 22 टोकन प्रति सेकंड है, और असली रन इसके लगभग आधे से चार-पाँचवें हिस्से तक पहुँचते हैं। बड़े मॉडल उसी अनुपात में धीमे होते हैं।

क्या M3 AI के लिए अच्छा विकल्प है?

मॉडल लोकल चलाने के लिए मेमोरी और बैंडविड्थ सबसे ज़्यादा मायने रखती हैं। M3 में 100 GB/s पर 24 GB तक मेमोरी है, जो लगभग 32 अरब पैरामीटर तक के मॉडल के लिए काफ़ी है। MLX Node के साथ MLX Network का AI काम चलाकर इससे कमाई भी की जा सकती है।