लोकल AI के लिए M2 Ultra।

1AI के लिए ज़रूरी स्पेक्स

2कौन-से मॉडल फ़िट होते हैं

4 बिट प्रति वेट पर किसी मॉडल को हर अरब पैरामीटर के लिए आधे गीगाबाइट से थोड़ी ज़्यादा मेमोरी चाहिए, साथ ही कॉन्टेक्स्ट और macOS के लिए जगह। 192 GB के साथ M2 Ultra पर लगभग 256 अरब पैरामीटर तक के मॉडल आराम से चल जाते हैं।

3स्पीड कितनी मिलती है

टेक्स्ट लिखने की स्पीड मेमोरी बैंडविड्थ से सीमित होती है: हर नए टोकन के लिए मॉडल के सक्रिय वेट एक बार पढ़े जाते हैं। M2 Ultra की 800 GB/s बैंडविड्थ को प्रति टोकन पढ़े गए बाइट्स से भाग देने पर नीचे दी गई सीमा मिलती है। असली रन आमतौर पर इसके लगभग 45% से 80% तक पहुँचते हैं (llama.cpp बेंचमार्क)।

5दूसरी चिप से तुलना करें

• M2 Ultra · 64 GB
• M2 Ultra · 128 GB
• M2 Ultra · 192 GB
• M1 Ultra vs M2 Ultra
• M2 Max vs M2 Ultra
• M2 Ultra vs M3 Ultra
• M2 Ultra vs M4 Max

• M1 Ultra: 128 GB, 800 GB/s
• M3 Ultra: 512 GB, 819 GB/s
• M2 Max: 96 GB, 400 GB/s
• लोकल LLM के लिए सबसे अच्छा Mac।

6सवाल

क्या M2 Ultra पर 70B मॉडल चल सकता है?

हाँ। 4-बिट पर 70B मॉडल को लगभग 40 GB चाहिए, और M2 Ultra में 192 GB तक मेमोरी है। एक चैट के लिए लगभग 20 टोकन प्रति सेकंड की सीमा की उम्मीद करें।

M2 Ultra पर प्रति सेकंड कितने टोकन मिलते हैं?

4-बिट पर 8B मॉडल के लिए सीमा लगभग 178 टोकन प्रति सेकंड है, और असली रन इसके लगभग आधे से चार-पाँचवें हिस्से तक पहुँचते हैं। बड़े मॉडल उसी अनुपात में धीमे होते हैं।

क्या M2 Ultra AI के लिए अच्छा विकल्प है?

मॉडल लोकल चलाने के लिए मेमोरी और बैंडविड्थ सबसे ज़्यादा मायने रखती हैं। M2 Ultra में 800 GB/s पर 192 GB तक मेमोरी है, जो लगभग 256 अरब पैरामीटर तक के मॉडल के लिए काफ़ी है। MLX Node के साथ MLX Network का AI काम चलाकर इससे कमाई भी की जा सकती है।