प्रत्येक प्रिसिजनला मेमरी
| आवृत्ती | वेट | कॉन्टेक्स्टसह | सर्वात लहान Mac |
|---|---|---|---|
| 8-बिट | 422 GB | 456 GB | कोणत्याही Mac पेक्षा जास्त |
| 6-बिट | 323 GB | 348 GB | 512 GB |
| 4-बिट | 223 GB | 241 GB | 512 GB |
| 3-बिट कमी गुणवत्ता | 174 GB | 188 GB | 256 GB |
| 2-बिट कमी गुणवत्ता | 124 GB | 134 GB | 192 GB |
प्रत्येक Apple चिपवर
प्रत्येक चिपचा Qwen3.5 397B A17B चालवणारा सर्वात लहान मेमरी आकार, त्यात बसणारी सर्वोत्तम आवृत्ती, आणि अपेक्षित लिहिण्याचा वेग.
| चिप | लागते | आवृत्ती | टोकन/सेकंद |
|---|---|---|---|
| M6 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M5 Ultra | 512 GB | 6-बिट चांगले चालते | 39–70 |
| M5 Max | कोणताही आकार बसत नाही | खूप मोठे | – |
| M5 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M5 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M4 Max | कोणताही आकार बसत नाही | खूप मोठे | – |
| M4 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M4 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M3 Ultra | 512 GB | 6-बिट चांगले चालते | 27–47 |
| M3 Max | कोणताही आकार बसत नाही | खूप मोठे | – |
| M3 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M3 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 Ultra | 192 GB | 2-बिट चांगले चालते | 68–121 |
| M2 Max | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M2 | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 Ultra | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 Max | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 Pro | कोणताही आकार बसत नाही | खूप मोठे | – |
| M1 | कोणताही आकार बसत नाही | खूप मोठे | – |
ते कसे चालवायचे
- सोपा मार्ग: MLX Harness डाउनलोड करा, ते मोफत आणि ओपन सोर्स आहे. Qwen3.5 397B A17B शोधा, तुमच्या Mac मध्ये बसणारी आवृत्ती डाउनलोड करा, आणि चॅट करा. ते OpenAI-compatible API द्वारे हे मॉडेल तुमच्या इतर ॲप्सनाही देते.MLX Harness डाउनलोड करामोफत · Apple Silicon · macOS 14.5 किंवा नंतरचे
- Terminal मध्ये Apple च्या MLX सह:
pip install mlx-lmmlx_lm.chat --model mlx-community/Qwen3.5-397B-A17B-4bitबिल्ड: Hugging Face वर mlx-community/Qwen3.5-397B-A17B-4bit. इतर प्रिसिजन त्याच्याच शेजारी आहेत.
टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करा आणि चालवा · MLX Harness कसे वापरायचे · MLX विरुद्ध Ollama विरुद्ध llama.cpp
Qwen3.5 397B A17B बद्दल
| निर्माते | Qwen (Alibaba) |
|---|---|
| पॅरामीटर | 397B एकूण · 17B सक्रिय (mixture of experts) |
| कॉन्टेक्स्ट | 256K टोकन |
| परवाना | Apache-2.0 |
| प्रकाशित | 2026-02 |
| इनपुट | मजकूर आणि प्रतिमा |
| इंटेलिजन्स | Artificial Analysis Intelligence Index वर 18.4 |
| वेट | Qwen/Qwen3.5-397B-A17B |
प्रश्न
- Qwen3.5 397B A17B ला किती मेमरी लागते?
- 4-बिट ला सुमारे 223 GB वेट, शिवाय कॉन्टेक्स्टसाठी जागा: एकूण 241 GB. Mac वर याचा अर्थ 512 GB किंवा जास्त युनिफाइड मेमरी, कारण डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 75% वापरू देते.
- Mac वर Qwen3.5 397B A17B किती वेगाने चालते?
- लिहिण्याचा वेग मेमरी बँडविड्थवर अवलंबून असतो. यासाठी इथला सर्वात वेगवान Mac 512 GB असलेला M5 Ultra आहे, सेकंदाला सुमारे 39–70 टोकन (6-बिट). ते चालवणारा सर्वात लहान Mac, 512 GB असलेला M5 Ultra, सुमारे 39–70 पर्यंत पोहोचतो.
- Qwen3.5 397B A17B त्याच्या आकाराच्या मानाने वेगाने का चालते?
- हे mixture-of-experts मॉडेल आहे: ते मेमरीत 397B पॅरामीटर ठेवते, पण प्रत्येक टोकनसाठी फक्त 17B वाचते, त्यामुळे ते खूप लहान मॉडेलच्या वेगाने लिहिते.
तत्सम मॉडेल
तुमच्या मॉडेल कार्ड किंवा README साठी
Qwen3.5 397B A17B चांगले चालवणारा सर्वात लहान Mac दाखवते आणि इथे लिंक करते.
[](https://mlx.app/run/qwen3.5-397b-a17b)हिशोब कसा केला
मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.