आपका Mac क्या चला सकता है?
अपना Mac या कोई भी दूसरी मशीन चुनें और देखें कि कौन-से ओपन AI मॉडल उसकी मेमोरी में आ जाते हैं और वह उन्हें कितनी तेज़ी से चलाती है। हिसाब हर मॉडल के मॉडल कार्ड और हर चिप की प्रकाशित मेमोरी और बैंडविड्थ से लगाया गया है।
Apple M5, 16 GB: डिफ़ॉल्ट रूप से मॉडलों के लिए लगभग 12 GB, मेमोरी बैंडविड्थ 153 GB/s। 43 लोकप्रिय मॉडलों में से 20 इस पर चलते हैं। इसका पेज मापा गया: llama.cpp में 4-बिट Llama 2 7B के साथ 32 टोकन/सेकंड (M5 (10-core GPU))।
इंटेलिजेंस: Artificial Analysis Intelligence Index v4.3.2, जहाँ मापा गया। मॉडल के नाम उनके आधिकारिक कार्ड से लिंक हैं।
हिसाब कैसे लगाया गया
मेमोरी। हर मॉडल उस सबसे ऊँची प्रिसिशन पर दिखाया गया है जिस पर वह समा जाए: 8, 6, 4, 3 या 2 बिट प्रति वेट, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, अगर वह उसी में आता है। Mac पर GPU डिफ़ॉल्ट रूप से यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल कर सकता है; उसके ऊपर हम कॉन्टेक्स्ट के लिए जगह छोड़ते हैं।
स्पीड। लिखते समय हर टोकन सभी एक्टिव वेट एक बार पढ़ता है, इसलिए मेमोरी बैंडविड्थ को उन बाइट्स से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है। llama.cpp के Apple Silicon के सार्वजनिक बेंचमार्क में असली रन इसका लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। लंबा प्रॉम्प्ट पढ़ना कंप्यूट पर निर्भर करता है, इसलिए वह यहाँ नहीं दिखाया गया।
स्रोत। पैरामीटर, कॉन्टेक्स्ट और लाइसेंस Hugging Face पर हर मॉडल के आधिकारिक कार्ड से (नाम पर लिंक); मेमोरी और बैंडविड्थ Apple और निर्माताओं की स्पेसिफ़िकेशन से। 2026-10-19 को जाँचा गया। अपना Mac MLX Bench पर मापें। हर Mac, हर मॉडल और पूरी फ़िट टेबल JSON और CSV में मुफ़्त डाउनलोड की जा सकती है: ओपन डेटा।
ब्राउज़ करें। हर Mac, 8 GB वाले M1 से 512 GB वाले M5 Ultra तक, उस पर चलने वाले हर मॉडल के साथ, और हर मॉडल उस सबसे छोटे Mac के साथ जिसकी उसे ज़रूरत है।
चलाकर देखें। स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करके चलाएँ, MLX बनाम Ollama बनाम llama.cpp और लोकल LLM के लिए सबसे अच्छा Mac। जब आपका Mac खाली हो, तब वह MLX टोकन कमा सकता है।
- कैसे पता करें कि कोई LLM मेरे Mac पर चलेगा या नहीं?
- जिस प्रिसिशन पर आप मॉडल चाहते हैं, उस पर उसके साइज़ की तुलना अपने Mac की यूनिफ़ाइड मेमोरी से करें। macOS डिफ़ॉल्ट रूप से GPU को उसका लगभग 75% इस्तेमाल करने देता है, और मॉडल को अपने कॉन्टेक्स्ट के लिए भी जगह चाहिए। 4-बिट मॉडल को हर एक अरब पैरामीटर पर आधे गीगाबाइट से थोड़ा ज़्यादा चाहिए।
- मुझे हर सेकंड कितने टोकन मिलेंगे?
- लिखने की रफ़्तार मेमोरी बैंडविड्थ से सीमित होती है: हर टोकन मॉडल के एक्टिव वेट एक बार पढ़ता है। बैंडविड्थ को प्रति टोकन पढ़े गए बाइट्स से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; असली रन आम तौर पर इसका लगभग 45% से 80% तक पहुँचते हैं।
- मिक्सचर-ऑफ़-एक्सपर्ट्स (MoE) मॉडल तेज़ क्यों चलते हैं?
- ये मेमोरी में बहुत-से एक्सपर्ट रखते हैं, लेकिन हर टोकन के लिए उनमें से कुछ ही इस्तेमाल करते हैं, इसलिए हर टोकन कहीं कम बाइट्स पढ़ता है। मेमोरी पूरे मॉडल के लिए चाहिए, लेकिन रफ़्तार कहीं छोटे मॉडल जितनी होती है।
- क्या 4-बिट काफ़ी है?
- ज़्यादातर मॉडलों में 4-बिट क्वालिटी को ओरिजिनल के करीब रखता है। 4 बिट से नीचे क्वालिटी तेज़ी से गिरती है, इसलिए 4 बिट से कम वाले वर्ज़न पर निशान लगाया गया है।