लोकल AI के लिए M5।

1AI के लिए ज़रूरी स्पेक्स

2कौन-से मॉडल फ़िट होते हैं

4 बिट प्रति वेट पर किसी मॉडल को हर अरब पैरामीटर के लिए आधे गीगाबाइट से थोड़ी ज़्यादा मेमोरी चाहिए, साथ ही कॉन्टेक्स्ट और macOS के लिए जगह। 32 GB के साथ M5 पर लगभग 42 अरब पैरामीटर तक के मॉडल आराम से चल जाते हैं।

3स्पीड कितनी मिलती है

टेक्स्ट लिखने की स्पीड मेमोरी बैंडविड्थ से सीमित होती है: हर नए टोकन के लिए मॉडल के सक्रिय वेट एक बार पढ़े जाते हैं। M5 की 153 GB/s बैंडविड्थ को प्रति टोकन पढ़े गए बाइट्स से भाग देने पर नीचे दी गई सीमा मिलती है। असली रन आमतौर पर इसके लगभग 45% से 80% तक पहुँचते हैं (llama.cpp बेंचमार्क)।

मापा गया: M5 (10-core GPU) पर llama.cpp अपने सार्वजनिक बेंचमार्क में Llama-2-7B (Q4_0) के साथ 32 टोकन प्रति सेकंड जनरेट करता है।

M5 पीढ़ी की चिप के GPU में न्यूरल एक्सेलरेटर जुड़े हैं, इसलिए वे M4 से कई गुना तेज़ प्रॉम्प्ट पढ़ती हैं: Apple के माप में MLX के साथ पहला टोकन 3.3 से 4.1 गुना जल्दी आया (Apple)।

5दूसरी चिप से तुलना करें

• M5 · 16 GB
• M5 · 24 GB
• M5 · 32 GB
• M4 vs M5
• M5 vs M5 Pro
• M5 vs M6

• M4: 32 GB, 120 GB/s
• M6: 32 GB, 170 GB/s
• M5 Pro: 64 GB, 307 GB/s
• लोकल LLM के लिए सबसे अच्छा Mac।

6सवाल

क्या M5 पर 70B मॉडल चल सकता है?

आराम से नहीं। 4-बिट पर 70B मॉडल को लगभग 40 GB चाहिए, और M5 में अधिकतम 32 GB है। लगभग 42B पैरामीटर तक के मॉडल अच्छी तरह फ़िट होते हैं।

M5 पर प्रति सेकंड कितने टोकन मिलते हैं?

4-बिट पर 8B मॉडल के लिए सीमा लगभग 34 टोकन प्रति सेकंड है, और असली रन इसके लगभग आधे से चार-पाँचवें हिस्से तक पहुँचते हैं। बड़े मॉडल उसी अनुपात में धीमे होते हैं।

क्या M5 AI के लिए अच्छा विकल्प है?

मॉडल लोकल चलाने के लिए मेमोरी और बैंडविड्थ सबसे ज़्यादा मायने रखती हैं। M5 में 153 GB/s पर 32 GB तक मेमोरी है, जो लगभग 42 अरब पैरामीटर तक के मॉडल के लिए काफ़ी है। MLX Node के साथ MLX Network का AI काम चलाकर इससे कमाई भी की जा सकती है।