प्रत्येक प्रिसिजनला मेमरी
| आवृत्ती | वेट | कॉन्टेक्स्टसह | सर्वात लहान Mac |
|---|---|---|---|
| 8-बिट | 130 GB | 140 GB | 192 GB |
| 6-बिट | 99.1 GB | 107 GB | 192 GB |
| 4-बिट | 68.6 GB | 74.1 GB | 128 GB |
| 3-बिट कमी गुणवत्ता | 53.4 GB | 57.7 GB | 96 GB |
| 2-बिट कमी गुणवत्ता | 38.1 GB | 41.1 GB | 64 GB |
प्रत्येक Apple चिपवर
प्रत्येक चिपचा Qwen3.5 122B A10B चालवणारा सर्वात लहान मेमरी आकार, त्यात बसणारी सर्वोत्तम आवृत्ती, आणि अपेक्षित लिहिण्याचा वेग.
| चिप | लागते | आवृत्ती | टोकन/सेकंद |
|---|---|---|---|
| M6 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M5 Ultra | 256 GB | 8-बिट चांगले चालते | 51–91 |
| M5 Max | 128 GB | 4-बिट चांगले चालते | 49–88 |
| M5 Pro | 64 GB | 2-बिट चांगले चालते | 45–79 |
| M5 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M4 Max | 128 GB | 4-बिट चांगले चालते | 44–78 |
| M4 Pro | 64 GB | 2-बिट चांगले चालते | 40–70 |
| M4 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M3 Ultra | 256 GB | 8-बिट चांगले चालते | 35–62 |
| M3 Max | 128 GB | 4-बिट चांगले चालते | 32–57 |
| M3 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M3 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 Ultra | 128 GB | 4-बिट चांगले चालते | 64–114 |
| M2 Max | 64 GB | 2-बिट चांगले चालते | 58–103 |
| M2 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 Ultra | 128 GB | 4-बिट चांगले चालते | 64–114 |
| M1 Max | 64 GB | 2-बिट चांगले चालते | 58–103 |
| M1 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 | कोणताही आकार बसत नाही | खूप मोठे | – |
ते कसे चालवायचे
- सोपा मार्ग: MLX Harness डाउनलोड करा, ते मोफत आणि ओपन सोर्स आहे. Qwen3.5 122B A10B शोधा, तुमच्या Mac मध्ये बसणारी आवृत्ती डाउनलोड करा, आणि चॅट करा. ते OpenAI-compatible API द्वारे हे मॉडेल तुमच्या इतर ॲप्सनाही देते.MLX Harness डाउनलोड करामोफत · Apple Silicon · macOS 14.5 किंवा नंतरचे
- Terminal मध्ये Apple च्या MLX सह:
pip install mlx-lmmlx_lm.chat --model mlx-community/Qwen3.5-122B-A10B-4bitबिल्ड: Hugging Face वर mlx-community/Qwen3.5-122B-A10B-4bit. इतर प्रिसिजन त्याच्याच शेजारी आहेत.
टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करा आणि चालवा · MLX Harness कसे वापरायचे · MLX विरुद्ध Ollama विरुद्ध llama.cpp
Qwen3.5 122B A10B बद्दल
| निर्माते | Qwen (Alibaba) |
|---|---|
| पॅरामीटर | 122B एकूण · 10B सक्रिय (mixture of experts) |
| कॉन्टेक्स्ट | 256K टोकन |
| परवाना | Apache-2.0 |
| प्रकाशित | 2026-02 |
| इनपुट | मजकूर आणि प्रतिमा |
| इंटेलिजन्स | Artificial Analysis Intelligence Index वर 15.6 |
| वेट | Qwen/Qwen3.5-122B-A10B |
प्रश्न
- Qwen3.5 122B A10B ला किती मेमरी लागते?
- 4-बिट ला सुमारे 68.6 GB वेट, शिवाय कॉन्टेक्स्टसाठी जागा: एकूण 74.1 GB. Mac वर याचा अर्थ 128 GB किंवा जास्त युनिफाइड मेमरी, कारण डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 75% वापरू देते.
- Mac वर Qwen3.5 122B A10B किती वेगाने चालते?
- लिहिण्याचा वेग मेमरी बँडविड्थवर अवलंबून असतो. यासाठी इथला सर्वात वेगवान Mac 128 GB असलेला M2 Ultra आहे, सेकंदाला सुमारे 64–114 टोकन (4-बिट). ते चालवणारा सर्वात लहान Mac, 128 GB असलेला M2 Ultra, सुमारे 64–114 पर्यंत पोहोचतो.
- Qwen3.5 122B A10B त्याच्या आकाराच्या मानाने वेगाने का चालते?
- हे mixture-of-experts मॉडेल आहे: ते मेमरीत 122B पॅरामीटर ठेवते, पण प्रत्येक टोकनसाठी फक्त 10B वाचते, त्यामुळे ते खूप लहान मॉडेलच्या वेगाने लिहिते.
तत्सम मॉडेल
तुमच्या मॉडेल कार्ड किंवा README साठी
Qwen3.5 122B A10B चांगले चालवणारा सर्वात लहान Mac दाखवते आणि इथे लिंक करते.
[](https://mlx.app/run/qwen3.5-122b-a10b)हिशोब कसा केला
मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.