लॉग इनवॉलेट बनाएँ

क्या Mac पर MiniCPM5 2B चल सकता है?

हाँ, 8 GB या ज़्यादा यूनिफ़ाइड मेमोरी के साथ। MiniCPM5 2B में 2.52B पैरामीटर हैं; यहाँ देखें कि हर प्रिसिज़न पर इसे कितनी मेमोरी चाहिए और हर Apple चिप इसे कितनी तेज़ी से चलाती है।

4-बिट पर मेमोरी2.9 GBवेट 1.4 GB + कॉन्टेक्स्ट
सबसे छोटा Mac8 GB8-बिट · 58 Mac कॉन्फ़िगरेशन
सबसे तेज़ Mac200–356टोकन/सेकंड · M5 Ultra 96 GB (अनुमान)

हर प्रिसिज़न पर मेमोरी

वर्ज़नवेटकॉन्टेक्स्ट के साथसबसे छोटा Mac
8-बिट2.7 GB4.2 GB8 GB
6-बिट2 GB3.5 GB8 GB
4-बिट1.4 GB2.9 GB8 GB
3-बिट कम क्वालिटी1.1 GB2.6 GB8 GB
2-बिट कम क्वालिटी0.8 GB2.3 GB8 GB

हर Apple चिप पर

हर चिप का सबसे छोटा मेमोरी साइज़ जो MiniCPM5 2B चलाता है, उसमें फ़िट होने वाला सबसे अच्छा वर्ज़न, और लिखने की अनुमानित स्पीड।

चिपज़रूरतवर्ज़नटोकन/सेकंड
M616 GB8-बिट अच्छा चलता है26–45
M5 Ultra96 GB8-बिट अच्छा चलता है200–356
M5 Max36 GB8-बिट अच्छा चलता है77–136
M5 Pro24 GB8-बिट अच्छा चलता है51–91
M516 GB8-बिट अच्छा चलता है26–45
M4 Max36 GB8-बिट अच्छा चलता है68–121
M4 Pro24 GB8-बिट अच्छा चलता है45–81
M416 GB8-बिट अच्छा चलता है20–36
M3 Ultra96 GB8-बिट अच्छा चलता है137–243
M3 Max36 GB8-बिट अच्छा चलता है50–89
M3 Pro18 GB8-बिट अच्छा चलता है25–44
M38 GB8-बिट अच्छा चलता है17–30
M2 Ultra64 GB8-बिट अच्छा चलता है133–237
M2 Max32 GB8-बिट अच्छा चलता है67–119
M2 Pro16 GB8-बिट अच्छा चलता है33–59
M28 GB8-बिट अच्छा चलता है17–30
M1 Ultra64 GB8-बिट अच्छा चलता है133–237
M1 Max32 GB8-बिट अच्छा चलता है67–119
M1 Pro16 GB8-बिट अच्छा चलता है33–59
M18 GB8-बिट अच्छा चलता है11–20

इसे कैसे चलाएँ

  1. आसान तरीका: MLX Harness डाउनलोड करें, जो मुफ़्त और ओपन सोर्स है। MiniCPM5 2B खोजें, अपने Mac में फ़िट होने वाला वर्ज़न डाउनलोड करें, और चैट करें। यह मॉडल को OpenAI-compatible API के ज़रिए आपके दूसरे ऐप्स को भी उपलब्ध कराता है।MLX Harness डाउनलोड करेंमुफ़्त · Apple Silicon · macOS 14.5 या नया
  2. Terminal में Apple के MLX के साथ:pip install mlx-lmmlx_lm.chat --model mlx-community/MiniCPM5-2B-mlx-4Bitबिल्ड: Hugging Face पर mlx-community/MiniCPM5-2B-mlx-4Bit। दूसरे प्रिसिज़न उसी के पास मिलते हैं।

स्टेप बाय स्टेप: Mac पर LLM डाउनलोड करें और चलाएँ · MLX Harness कैसे इस्तेमाल करें · MLX बनाम Ollama बनाम llama.cpp

MiniCPM5 2B के बारे में

बनाने वालाOpenBMB
पैरामीटर2.52B (डेंस)
कॉन्टेक्स्ट128K टोकन
लाइसेंसApache-2.0
रिलीज़2026-09
इनपुटटेक्स्ट
इंटेलिजेंसArtificial Analysis Intelligence Index पर 12.5
वेटopenbmb/MiniCPM5-2B

सवाल

MiniCPM5 2B को कितनी मेमोरी चाहिए?
4-बिट पर लगभग 1.4 GB वेट, साथ में कॉन्टेक्स्ट के लिए जगह: कुल 2.9 GB। Mac पर इसका मतलब है 8 GB या ज़्यादा यूनिफ़ाइड मेमोरी, क्योंकि डिफ़ॉल्ट रूप से macOS GPU को उसका लगभग 75% इस्तेमाल करने देता है।
Mac पर MiniCPM5 2B कितना तेज़ चलता है?
लिखने की स्पीड मेमोरी बैंडविड्थ पर निर्भर करती है। यहाँ इसके लिए सबसे तेज़ Mac 96 GB वाला M5 Ultra है, लगभग 200–356 टोकन प्रति सेकंड (8-बिट)। इसे चलाने वाला सबसे छोटा Mac, 8 GB वाला M3, लगभग 17–30 तक पहुँचता है।
क्या क्वांटाइज़ेशन से MiniCPM5 2B की क्वालिटी घटती है?
4 बिट पर ज़्यादातर मॉडल मूल क्वालिटी के करीब रहते हैं; 4 बिट से नीचे क्वालिटी तेज़ी से गिरती है। वह सबसे ऊँचा प्रिसिज़न चुनें जो आपके Mac में आराम से फ़िट हो।

मिलते-जुलते मॉडल

हर मॉडल · हर Mac · अपने Mac की तुलना करें

आपके मॉडल कार्ड या README के लिए

Runs on a Mac: MiniCPM5 2B MiniCPM5 2B को अच्छी तरह चलाने वाला सबसे छोटा Mac दिखाता है और यहाँ लिंक करता है।

[![Runs on a Mac](https://mlx.app/badge/run/minicpm5-2b.svg)](https://mlx.app/run/minicpm5-2b)

हिसाब कैसे लगाया गया

मेमोरी: मॉडल के पैरामीटर 8, 6, 4, 3 या 2 बिट प्रति वेट पर, साथ में MLX के ग्रुप स्केल (हर वेट पर आधा बिट), या उसका नेटिव फ़ॉर्मैट, और ऊपर से कॉन्टेक्स्ट के लिए जगह। डिफ़ॉल्ट रूप से macOS GPU को यूनिफ़ाइड मेमोरी का लगभग 75% इस्तेमाल करने देता है। स्पीड: मेमोरी बैंडविड्थ को हर टोकन पर पढ़े जाने वाले बाइट से भाग देने पर एक बातचीत की ऊपरी सीमा मिलती है; llama.cpp के सार्वजनिक Apple Silicon बेंचमार्क में असली रन इसके लगभग 45% से 80% तक पहुँचते हैं, और यही रेंज दिखाई गई है। ये अनुमान हैं, माप नहीं: अपना Mac MLX Bench पर मापें। मॉडल के आँकड़े हर मॉडल के आधिकारिक मॉडल कार्ड से, चिप के आँकड़े Apple के Tech Specs से। 2026-10-19 को जाँचा गया। वही डेटा जो mlx.app/compare पर है।

क्या Mac पर MiniCPM5 2B चलेगा? मेमोरी और स्पीड