लोकल LLM के लिए सबसे अच्छा Mac।

1सब कुछ मेमोरी और बैंडविड्थ ही क्यों तय करती हैं

लैंग्वेज मॉडल एक बार में एक टोकन लिखता है, और हर टोकन के लिए वह हर सक्रिय वेट मेमोरी से पढ़ता है। इसलिए एक बातचीत की स्पीड लिमिट मोटे तौर पर मेमोरी बैंडविड्थ को सक्रिय वेट के साइज़ से भाग देने पर मिलती है। llama.cpp के सार्वजनिक बेंचमार्क में, Apple चिप पर असली जनरेशन इस लिमिट के 43% से 80% तक पहुँचता है (llama.cpp)।

आपका प्रॉम्प्ट पढ़ना अलग बात है: वह हिस्सा कंप्यूट से सीमित होता है, इसीलिए GPU में न्यूरल एक्सेलरेटर वाली M5 पीढ़ी की चिप पिछली चिप से कई गुना तेज़ प्रॉम्प्ट प्रोसेस करती हैं (Apple)।

2हर चिप की तुलना

पुरानी चिप भी अच्छा काम करती हैं, अगर उनमें मेमोरी हो। 64 GB वाला M1 Max या M2 Max 400 GB/s पर पढ़ता है, जो आज की किसी भी बेस चिप से ज़्यादा है, और सेकंड-हैंड अक्सर बहुत सस्ता मिलता है।

3कौन-सा Mac खरीदें

बस आज़माना है: 16 से 32 GB वाला MacBook Air या Mac mini

7B से 14B मॉडल आराम से चलाता है, और 32 GB पर 30B श्रेणी के मॉडल भी। चैट, लिखने और हल्की कोडिंग मदद के लिए ठीक।

पैसे की सबसे अच्छी कीमत: 64 GB के साथ Pro चिप

M4 Pro या M5 Pro वाला Mac mini या MacBook Pro 70B श्रेणी के मॉडल रख लेता है और मध्यम साइज़ के मॉडल अच्छी रफ़्तार से चलाता है। ज़्यादातर डेवलपर के लिए सबसे सही संतुलन।

गंभीर लोकल AI: 128 GB के साथ Max चिप

लैपटॉप पर gpt-oss-120b (4-बिट पर लगभग 65 GB) चलाता है; Apple के बैंडविड्थ आँकड़े के हिसाब से, M5 Max पर एक स्ट्रीम की सैद्धांतिक सीमा लगभग 225 टोकन प्रति सेकंड है। साथ ले जाने लायक सबसे अच्छा विकल्प।

सबसे बड़े मॉडल: Ultra वाला Mac Studio

M5 Ultra के साथ 1.2 TB/s पर 512 GB तक मेमोरी, जिससे एक ही डेस्क पर सैकड़ों अरब पैरामीटर वाले मॉडल चल जाते हैं। इससे भी बड़े मॉडल के लिए, कई Mac को Thunderbolt 5 से जोड़कर क्लस्टर बनाया जा सकता है: Mac AI क्लस्टर देखें।

4Mac से उसकी कीमत वसूलें

AI के लिए खरीदा गया Mac ज़्यादातर समय इंतज़ार में रहता है। MLX Node एक मुफ़्त ऐप है जो वह खाली क्षमता MLX Network को देता है, उसी MLX फ़्रेमवर्क पर AI जॉब चलाता है और सत्यापित काम के लिए MLX टोकन कमाता है। चिप से मेल खाती डेडिकेटेड सीट कमाई कई गुना करती है: Pro सीट Pro या Max चिप पर पूरी दर से चलती है, Ultra सीट Ultra चिप पर।

पहले MLX Bench पर अपने Mac की तुलना करें: यह हर चिप पर ओपन मॉडल के मापे गए टोकन प्रति सेकंड दिखाता है।

5सवाल

क्या लोकल LLM के लिए 16 GB काफ़ी है?

4-बिट पर लगभग 14B पैरामीटर तक के मॉडल के लिए हाँ। बड़े मॉडल या लंबे कॉन्टेक्स्ट के लिए 32 GB या उससे ज़्यादा कहीं ज़्यादा आरामदायक है।

LLM के लिए Mac Studio या MacBook Pro?

दोनों में Max चिप और 128 GB तक मेमोरी मिलती है। MacBook Pro साथ ले जा सकते हैं; Mac Studio लंबे लोड में ठंडा रहता है और अकेला ऐसा Mac है जिसमें Ultra चिप और 512 GB तक मेमोरी मिलती है।

क्या लोकल AI के लिए Mac, Nvidia GPU से बेहतर है?

घर पर सबसे बड़े मॉडल के लिए, अक्सर हाँ: Mac की यूनिफ़ाइड मेमोरी किसी कंज़्यूमर ग्राफ़िक्स कार्ड की मेमोरी से कहीं ज़्यादा रख सकती है। जो मॉडल हाई-एंड Nvidia कार्ड की मेमोरी में फ़िट हो जाते हैं, उन पर वह कार्ड ज़्यादा तेज़ है।

क्या M5 से LLM तेज़ चलते हैं?

हाँ, खासकर प्रॉम्प्ट पढ़ने में: Apple ने MLX के साथ मापा कि M5 पर पहला टोकन M4 से 3.3 से 4.1 गुना जल्दी आता है। जनरेशन स्पीड मेमोरी बैंडविड्थ के साथ बढ़ती है, जो M4 से M5 में 28% बढ़ी।