लॉग इनवॉलेट तयार करा

Mac वर MiniCPM5 2B चालू शकते का?

हो, 8 GB किंवा जास्त युनिफाइड मेमरीसह. MiniCPM5 2B मध्ये 2.52B पॅरामीटर आहेत; प्रत्येक प्रिसिजनला त्याला किती मेमरी लागते आणि प्रत्येक Apple चिप ते किती वेगाने चालवते, ते इथे पाहा.

4-बिट ला मेमरी2.9 GBवेट 1.4 GB + कॉन्टेक्स्ट
सर्वात लहान Mac8 GB8-बिट · 58 Mac कॉन्फिगरेशन
सर्वात वेगवान Mac200–356टोकन/सेकंद · M5 Ultra 96 GB (अंदाज)

प्रत्येक प्रिसिजनला मेमरी

आवृत्तीवेटकॉन्टेक्स्टसहसर्वात लहान Mac
8-बिट2.7 GB4.2 GB8 GB
6-बिट2 GB3.5 GB8 GB
4-बिट1.4 GB2.9 GB8 GB
3-बिट कमी गुणवत्ता1.1 GB2.6 GB8 GB
2-बिट कमी गुणवत्ता0.8 GB2.3 GB8 GB

प्रत्येक Apple चिपवर

प्रत्येक चिपचा MiniCPM5 2B चालवणारा सर्वात लहान मेमरी आकार, त्यात बसणारी सर्वोत्तम आवृत्ती, आणि अपेक्षित लिहिण्याचा वेग.

चिपलागतेआवृत्तीटोकन/सेकंद
M616 GB8-बिट चांगले चालते26–45
M5 Ultra96 GB8-बिट चांगले चालते200–356
M5 Max36 GB8-बिट चांगले चालते77–136
M5 Pro24 GB8-बिट चांगले चालते51–91
M516 GB8-बिट चांगले चालते26–45
M4 Max36 GB8-बिट चांगले चालते68–121
M4 Pro24 GB8-बिट चांगले चालते45–81
M416 GB8-बिट चांगले चालते20–36
M3 Ultra96 GB8-बिट चांगले चालते137–243
M3 Max36 GB8-बिट चांगले चालते50–89
M3 Pro18 GB8-बिट चांगले चालते25–44
M38 GB8-बिट चांगले चालते17–30
M2 Ultra64 GB8-बिट चांगले चालते133–237
M2 Max32 GB8-बिट चांगले चालते67–119
M2 Pro16 GB8-बिट चांगले चालते33–59
M28 GB8-बिट चांगले चालते17–30
M1 Ultra64 GB8-बिट चांगले चालते133–237
M1 Max32 GB8-बिट चांगले चालते67–119
M1 Pro16 GB8-बिट चांगले चालते33–59
M18 GB8-बिट चांगले चालते11–20

ते कसे चालवायचे

  1. सोपा मार्ग: MLX Harness डाउनलोड करा, ते मोफत आणि ओपन सोर्स आहे. MiniCPM5 2B शोधा, तुमच्या Mac मध्ये बसणारी आवृत्ती डाउनलोड करा, आणि चॅट करा. ते OpenAI-compatible API द्वारे हे मॉडेल तुमच्या इतर ॲप्सनाही देते.MLX Harness डाउनलोड करामोफत · Apple Silicon · macOS 14.5 किंवा नंतरचे
  2. Terminal मध्ये Apple च्या MLX सह:pip install mlx-lmmlx_lm.chat --model mlx-community/MiniCPM5-2B-mlx-4Bitबिल्ड: Hugging Face वर mlx-community/MiniCPM5-2B-mlx-4Bit. इतर प्रिसिजन त्याच्याच शेजारी आहेत.

टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करा आणि चालवा · MLX Harness कसे वापरायचे · MLX विरुद्ध Ollama विरुद्ध llama.cpp

MiniCPM5 2B बद्दल

निर्मातेOpenBMB
पॅरामीटर2.52B (डेन्स)
कॉन्टेक्स्ट128K टोकन
परवानाApache-2.0
प्रकाशित2026-09
इनपुटमजकूर
इंटेलिजन्सArtificial Analysis Intelligence Index वर 12.5
वेटopenbmb/MiniCPM5-2B

प्रश्न

MiniCPM5 2B ला किती मेमरी लागते?
4-बिट ला सुमारे 1.4 GB वेट, शिवाय कॉन्टेक्स्टसाठी जागा: एकूण 2.9 GB. Mac वर याचा अर्थ 8 GB किंवा जास्त युनिफाइड मेमरी, कारण डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 75% वापरू देते.
Mac वर MiniCPM5 2B किती वेगाने चालते?
लिहिण्याचा वेग मेमरी बँडविड्थवर अवलंबून असतो. यासाठी इथला सर्वात वेगवान Mac 96 GB असलेला M5 Ultra आहे, सेकंदाला सुमारे 200–356 टोकन (8-बिट). ते चालवणारा सर्वात लहान Mac, 8 GB असलेला M3, सुमारे 17–30 पर्यंत पोहोचतो.
क्वांटायझेशनमुळे MiniCPM5 2B ची गुणवत्ता कमी होते का?
4 बिटला बहुतेक मॉडेल मूळ गुणवत्तेच्या जवळ राहतात; 4 बिटपेक्षा खाली गुणवत्ता वेगाने घसरते. तुमच्या Mac मध्ये जागा ठेवून बसणारी सर्वात उच्च प्रिसिजन निवडा.

तत्सम मॉडेल

प्रत्येक मॉडेल · प्रत्येक Mac · तुमच्या Mac ची तुलना करा

तुमच्या मॉडेल कार्ड किंवा README साठी

Runs on a Mac: MiniCPM5 2B MiniCPM5 2B चांगले चालवणारा सर्वात लहान Mac दाखवते आणि इथे लिंक करते.

[![Runs on a Mac](https://mlx.app/badge/run/minicpm5-2b.svg)](https://mlx.app/run/minicpm5-2b)

हिशोब कसा केला

मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.

Mac वर MiniCPM5 2B चालू शकते का? मेमरी आणि वेग