संक्षेप में
- Mac mini 64 GB (M5 Pro) तक जाता है, Mac Studio M5 Max के साथ 128 GB और M5 Ultra के साथ 512 GB तक (Apple, Apple)।
- बैंडविड्थ लिखने की स्पीड तय करती है: M6 Mac mini पर 153–170 GB/s, M5 Pro पर 307 GB/s, M5 Max पर 614 GB/s तक और M5 Ultra पर 1,200 GB/s।
- 4-bit पर लगभग 30B पैरामीटर तक के मॉडल: M5 Pro वाला Mac mini काफ़ी है। 70B-श्रेणी के मॉडल, gpt-oss-120b या लंबा कॉन्टेक्स्ट: 128 GB वाला Mac Studio। सबसे बड़े ओपन मॉडल: M5 Ultra वाला Mac Studio।
- मेमोरी बाद में बढ़ाई नहीं जा सकती, इसलिए उसे सिर्फ़ आज के नहीं, अगले साल चलाए जाने वाले मॉडल के हिसाब से चुनें।
1AI के लिए मायने रखने वाले स्पेक्स
| Mac | मेमोरी विकल्प | मेमोरी बैंडविड्थ | 4-bit पर सबसे बड़ा मॉडल | बिजली, आइडल से अधिकतम |
|---|---|---|---|---|
| Mac mini, M6 | 16, 24 या 32 GB | 153–170 GB/s | लगभग 21B से 42B | 4–70 W |
| Mac mini, M5 Pro | 24, 48 या 64 GB | 307 GB/s | लगभग 32B से 85B | 6–145 W |
| Mac Studio, M5 Max | 36, 48, 64 या 128 GB | 460–614 GB/s | लगभग 48B से 170B | 7–200 W |
| Mac Studio, M5 Ultra | 96, 256 या 512 GB | 1,200 GB/s | लगभग 128B से 682B | 9–385 W |
हर कॉन्फ़िगरेशन उन मॉडल से लिंक है जो उस पर अच्छे से चलते हैं। पुराने मॉडल भी इसी तरह काम करते हैं: M4 या M4 Pro वाला Mac mini, और M4 Max या M3 Ultra वाला Mac Studio (हर Mac की रैंकिंग)।
2हर एक कितनी तेज़ी से लिखता है
टेक्स्ट लिखते समय मॉडल हर टोकन के लिए अपने सक्रिय वेट एक बार पढ़ता है, इसलिए मेमोरी बैंडविड्थ स्पीड की ऊपरी सीमा तय करती है। 4-bit पर 32B डेंस मॉडल के लिए, जो लगभग 18 GB है:
| Mac | एक चैट के लिए ऊपरी सीमा | आता है? |
|---|---|---|
| Mac mini, M6 (32 GB) | लगभग 9 टोकन/सेकंड | हाँ |
| Mac mini, M5 Pro (48 या 64 GB) | लगभग 17 टोकन/सेकंड | हाँ |
| Mac Studio, M5 Max (48 GB या ज़्यादा) | लगभग 34 टोकन/सेकंड | हाँ |
| Mac Studio, M5 Ultra | लगभग 67 टोकन/सेकंड | हाँ |
Mixture-of-experts मॉडल हर टोकन के लिए अपने वेट का सिर्फ़ एक हिस्सा पढ़ते हैं, इसलिए वे अपने साइज़ के हिसाब से कहीं तेज़ लिखते हैं: मेमोरी तय करती है कि वे आएँगे या नहीं, रफ़्तार फिर भी बैंडविड्थ से तय होती है। लंबा प्रॉम्प्ट पढ़ना बैंडविड्थ से ज़्यादा GPU कंप्यूट पर निर्भर है, और वहाँ Max और Ultra चिप के बड़े GPU और आगे निकल जाते हैं।
3कौन-सा, किन मॉडल के लिए
- छोटे और मध्यम मॉडल (4-bit पर लगभग 30B तक), चैट, कोडिंग असिस्टेंट, घर का AI सर्वर: 48 या 64 GB वाला M5 Pro Mac mini। 32 GB वाला M6 Mac mini यही साइज़ लगभग आधी स्पीड पर चलाता है।
- 70B-श्रेणी के मॉडल, gpt-oss-120b, लंबा कॉन्टेक्स्ट या एक साथ कई मॉडल: 128 GB वाला M5 Max Mac Studio। OpenAI की अपनी gpt-oss-120b फ़ाइलें लगभग 65 GB हैं (OpenAI), जितनी मेमोरी कोई भी Mac mini अपने GPU को नहीं दे सकता।
- सबसे बड़े ओपन मॉडल (सैकड़ों अरब पैरामीटर): 256 या 512 GB वाला M5 Ultra Mac Studio, या कई Mac एक साथ (Mac AI क्लस्टर)।
किसी ख़ास मॉडल के लिए उसका पेज वह सबसे छोटा Mac दिखाता है जो उसे चलाता है, और हर चिप पर उसकी स्पीड: हर ओपन मॉडल।
4दिन भर चलाना
दोनों शांत, किफ़ायती और हमेशा चालू रहने वाली मशीनें हैं। ऊपर Apple के आँकड़ों में Mac mini आइडल पर 4–6 W और Mac Studio 7–9 W लेता है; पूरे लोड पर M5 Ultra वाला Mac Studio 385 W तक ले सकता है। Mac mini को लोकल AI सर्वर बनाएँ में उसे जगाए रखना और दूसरे डिवाइस को मॉडल देना है, और Mac कितनी बिजली लेता है में एक दिन का खर्च।
जब यह खाली हो, तो MLX Node MLX Network के लिए AI जॉब चलाकर MLX टोकन कमा सकता है। चिप से मेल खाती डेडिकेटेड सीट तेज़ माइन करती है: M6 के लिए Core, M5 Pro और M5 Max के लिए Pro, M5 Ultra के लिए Ultra। कमाई गारंटीड नहीं है: जोखिम पढ़ें।
5सवाल
- क्या AI के लिए Mac mini के बजाय Mac Studio लेना फ़ायदेमंद है?
- अगर आपको लगभग 85B पैरामीटर से बड़े मॉडल, gpt-oss-120b या लंबा कॉन्टेक्स्ट चाहिए, तो हाँ: सिर्फ़ Mac Studio में 64 GB से ज़्यादा मेमोरी है। 4-bit पर लगभग 30B तक के मॉडल M5 Pro वाला Mac mini चला लेता है, M5 Max की लगभग आधी बैंडविड्थ पर।
- क्या Mac mini 70B मॉडल चला सकता है?
- सिर्फ़ 64 GB वाला M5 Pro, 4-bit पर और छोटे कॉन्टेक्स्ट के साथ: उन 48 GB में लगभग 39 GB वेट, जो GPU डिफ़ॉल्ट रूप से इस्तेमाल कर सकता है, कुछ टोकन प्रति सेकंड की रफ़्तार से। 128 GB वाला Mac Studio इसे कॉन्टेक्स्ट की जगह के साथ और लगभग दोगुनी तेज़ी से चलाता है।
- LLM के लिए Mac Studio M5 Max या M5 Ultra?
- M5 Ultra की बैंडविड्थ लगभग दोगुनी है (1,200 बनाम 614 GB/s), इसलिए यह लगभग दोगुनी तेज़ी से लिखता है, और 512 GB तक जाता है। 128 GB वाला M5 Max 4-bit पर लगभग 170B तक के मॉडल संभालता है। देखें M5 Max vs M5 Ultra।
- AI के लिए Mac mini M6 या M5 Pro?
- M5 Pro: यह 24 या 32 GB वाले M6 से लगभग 80% तेज़ मेमोरी पढ़ता है और 32 GB के बजाय 64 GB तक जाता है।
स्रोत
- Applesupport.apple.com
- Applesupport.apple.com
- Mac minisupport.apple.com
- Mac Studiosupport.apple.com
- llama.cpp बेंचमार्कgithub.com
- OpenAIhuggingface.co