लॉग इनवॉलेट तयार करा

Mac वर Qwen3.5 0.8B चालू शकते का?

हो, 8 GB किंवा जास्त युनिफाइड मेमरीसह. Qwen3.5 0.8B मध्ये 0.8B पॅरामीटर आहेत; प्रत्येक प्रिसिजनला त्याला किती मेमरी लागते आणि प्रत्येक Apple चिप ते किती वेगाने चालवते, ते इथे पाहा.

4-बिट ला मेमरी2 GBवेट 0.5 GB + कॉन्टेक्स्ट
सर्वात लहान Mac8 GB8-बिट · 58 Mac कॉन्फिगरेशन
सर्वात वेगवान Mac600–1067टोकन/सेकंद · M5 Ultra 96 GB (अंदाज)

प्रत्येक प्रिसिजनला मेमरी

आवृत्तीवेटकॉन्टेक्स्टसहसर्वात लहान Mac
8-बिट0.9 GB2.4 GB8 GB
6-बिट0.7 GB2.2 GB8 GB
4-बिट0.5 GB2 GB8 GB
3-बिट कमी गुणवत्ता0.4 GB1.9 GB8 GB
2-बिट कमी गुणवत्ता0.3 GB1.8 GB8 GB

प्रत्येक Apple चिपवर

प्रत्येक चिपचा Qwen3.5 0.8B चालवणारा सर्वात लहान मेमरी आकार, त्यात बसणारी सर्वोत्तम आवृत्ती, आणि अपेक्षित लिहिण्याचा वेग.

चिपलागतेआवृत्तीटोकन/सेकंद
M616 GB8-बिट चांगले चालते77–136
M5 Ultra96 GB8-बिट चांगले चालते600–1067
M5 Max36 GB8-बिट चांगले चालते230–409
M5 Pro24 GB8-बिट चांगले चालते154–273
M516 GB8-बिट चांगले चालते77–136
M4 Max36 GB8-बिट चांगले चालते205–364
M4 Pro24 GB8-बिट चांगले चालते137–243
M416 GB8-बिट चांगले चालते60–107
M3 Ultra96 GB8-बिट चांगले चालते410–728
M3 Max36 GB8-बिट चांगले चालते150–267
M3 Pro18 GB8-बिट चांगले चालते75–133
M38 GB8-बिट चांगले चालते50–89
M2 Ultra64 GB8-बिट चांगले चालते400–711
M2 Max32 GB8-बिट चांगले चालते200–356
M2 Pro16 GB8-बिट चांगले चालते100–178
M28 GB8-बिट चांगले चालते50–89
M1 Ultra64 GB8-बिट चांगले चालते400–711
M1 Max32 GB8-बिट चांगले चालते200–356
M1 Pro16 GB8-बिट चांगले चालते100–178
M18 GB8-बिट चांगले चालते34–60

ते कसे चालवायचे

  1. सोपा मार्ग: MLX Harness डाउनलोड करा, ते मोफत आणि ओपन सोर्स आहे. Qwen3.5 0.8B शोधा, तुमच्या Mac मध्ये बसणारी आवृत्ती डाउनलोड करा, आणि चॅट करा. ते OpenAI-compatible API द्वारे हे मॉडेल तुमच्या इतर ॲप्सनाही देते.MLX Harness डाउनलोड करामोफत · Apple Silicon · macOS 14.5 किंवा नंतरचे
  2. Terminal मध्ये Apple च्या MLX सह:pip install mlx-lmmlx_lm.chat --model mlx-community/Qwen3.5-0.8B-4bitबिल्ड: Hugging Face वर mlx-community/Qwen3.5-0.8B-4bit. इतर प्रिसिजन त्याच्याच शेजारी आहेत.

टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करा आणि चालवा · MLX Harness कसे वापरायचे · MLX विरुद्ध Ollama विरुद्ध llama.cpp

Qwen3.5 0.8B बद्दल

निर्मातेQwen (Alibaba)
पॅरामीटर0.8B (डेन्स)
कॉन्टेक्स्ट256K टोकन
परवानाApache-2.0
प्रकाशित2026-02
इनपुटमजकूर आणि प्रतिमा
वेटQwen/Qwen3.5-0.8B

प्रश्न

Qwen3.5 0.8B ला किती मेमरी लागते?
4-बिट ला सुमारे 0.5 GB वेट, शिवाय कॉन्टेक्स्टसाठी जागा: एकूण 2 GB. Mac वर याचा अर्थ 8 GB किंवा जास्त युनिफाइड मेमरी, कारण डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 75% वापरू देते.
Mac वर Qwen3.5 0.8B किती वेगाने चालते?
लिहिण्याचा वेग मेमरी बँडविड्थवर अवलंबून असतो. यासाठी इथला सर्वात वेगवान Mac 96 GB असलेला M5 Ultra आहे, सेकंदाला सुमारे 600–1067 टोकन (8-बिट). ते चालवणारा सर्वात लहान Mac, 8 GB असलेला M3, सुमारे 50–89 पर्यंत पोहोचतो.
क्वांटायझेशनमुळे Qwen3.5 0.8B ची गुणवत्ता कमी होते का?
4 बिटला बहुतेक मॉडेल मूळ गुणवत्तेच्या जवळ राहतात; 4 बिटपेक्षा खाली गुणवत्ता वेगाने घसरते. तुमच्या Mac मध्ये जागा ठेवून बसणारी सर्वात उच्च प्रिसिजन निवडा.

तत्सम मॉडेल

प्रत्येक मॉडेल · प्रत्येक Mac · तुमच्या Mac ची तुलना करा

तुमच्या मॉडेल कार्ड किंवा README साठी

Runs on a Mac: Qwen3.5 0.8B Qwen3.5 0.8B चांगले चालवणारा सर्वात लहान Mac दाखवते आणि इथे लिंक करते.

[![Runs on a Mac](https://mlx.app/badge/run/qwen3.5-0.8b.svg)](https://mlx.app/run/qwen3.5-0.8b)

हिशोब कसा केला

मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.

Mac वर Qwen3.5 0.8B चालू शकते का? मेमरी आणि वेग