लॉग इनवॉलेट तयार करा

Mac वर SmolLM3 3B चालू शकते का?

हो, 8 GB किंवा जास्त युनिफाइड मेमरीसह. SmolLM3 3B मध्ये 3B पॅरामीटर आहेत; प्रत्येक प्रिसिजनला त्याला किती मेमरी लागते आणि प्रत्येक Apple चिप ते किती वेगाने चालवते, ते इथे पाहा.

4-बिट ला मेमरी3.2 GBवेट 1.7 GB + कॉन्टेक्स्ट
सर्वात लहान Mac8 GB8-बिट · 58 Mac कॉन्फिगरेशन
सर्वात वेगवान Mac169–300टोकन/सेकंद · M5 Ultra 96 GB (अंदाज)

प्रत्येक प्रिसिजनला मेमरी

आवृत्तीवेटकॉन्टेक्स्टसहसर्वात लहान Mac
8-बिट3.2 GB4.7 GB8 GB
6-बिट2.4 GB3.9 GB8 GB
4-बिट1.7 GB3.2 GB8 GB
3-बिट कमी गुणवत्ता1.3 GB2.8 GB8 GB
2-बिट कमी गुणवत्ता0.9 GB2.4 GB8 GB

प्रत्येक Apple चिपवर

प्रत्येक चिपचा SmolLM3 3B चालवणारा सर्वात लहान मेमरी आकार, त्यात बसणारी सर्वोत्तम आवृत्ती, आणि अपेक्षित लिहिण्याचा वेग.

चिपलागतेआवृत्तीटोकन/सेकंद
M616 GB8-बिट चांगले चालते22–38
M5 Ultra96 GB8-बिट चांगले चालते169–300
M5 Max36 GB8-बिट चांगले चालते65–115
M5 Pro24 GB8-बिट चांगले चालते43–77
M516 GB8-बिट चांगले चालते22–38
M4 Max36 GB8-बिट चांगले चालते58–103
M4 Pro24 GB8-बिट चांगले चालते38–68
M416 GB8-बिट चांगले चालते17–30
M3 Ultra96 GB8-बिट चांगले चालते115–205
M3 Max36 GB8-बिट चांगले चालते42–75
M3 Pro18 GB8-बिट चांगले चालते21–38
M38 GB8-बिट चांगले चालते14–25
M2 Ultra64 GB8-बिट चांगले चालते113–200
M2 Max32 GB8-बिट चांगले चालते56–100
M2 Pro16 GB8-बिट चांगले चालते28–50
M28 GB8-बिट चांगले चालते14–25
M1 Ultra64 GB8-बिट चांगले चालते113–200
M1 Max32 GB8-बिट चांगले चालते56–100
M1 Pro16 GB8-बिट चांगले चालते28–50
M18 GB8-बिट चांगले चालते10–17

ते कसे चालवायचे

  1. सोपा मार्ग: MLX Harness डाउनलोड करा, ते मोफत आणि ओपन सोर्स आहे. SmolLM3 3B शोधा, तुमच्या Mac मध्ये बसणारी आवृत्ती डाउनलोड करा, आणि चॅट करा. ते OpenAI-compatible API द्वारे हे मॉडेल तुमच्या इतर ॲप्सनाही देते.MLX Harness डाउनलोड करामोफत · Apple Silicon · macOS 14.5 किंवा नंतरचे
  2. Terminal मध्ये Apple च्या MLX सह:pip install mlx-lmmlx_lm.chat --model mlx-community/SmolLM3-3B-4bitबिल्ड: Hugging Face वर mlx-community/SmolLM3-3B-4bit. इतर प्रिसिजन त्याच्याच शेजारी आहेत.

टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करा आणि चालवा · MLX Harness कसे वापरायचे · MLX विरुद्ध Ollama विरुद्ध llama.cpp

SmolLM3 3B बद्दल

निर्मातेHugging Face
पॅरामीटर3B (डेन्स)
कॉन्टेक्स्ट64K टोकन
परवानाApache-2.0
प्रकाशित2025-07
इनपुटमजकूर
वेटHuggingFaceTB/SmolLM3-3B

प्रश्न

SmolLM3 3B ला किती मेमरी लागते?
4-बिट ला सुमारे 1.7 GB वेट, शिवाय कॉन्टेक्स्टसाठी जागा: एकूण 3.2 GB. Mac वर याचा अर्थ 8 GB किंवा जास्त युनिफाइड मेमरी, कारण डिफॉल्टनुसार macOS GPU ला त्यापैकी सुमारे 75% वापरू देते.
Mac वर SmolLM3 3B किती वेगाने चालते?
लिहिण्याचा वेग मेमरी बँडविड्थवर अवलंबून असतो. यासाठी इथला सर्वात वेगवान Mac 96 GB असलेला M5 Ultra आहे, सेकंदाला सुमारे 169–300 टोकन (8-बिट). ते चालवणारा सर्वात लहान Mac, 8 GB असलेला M3, सुमारे 14–25 पर्यंत पोहोचतो.
क्वांटायझेशनमुळे SmolLM3 3B ची गुणवत्ता कमी होते का?
4 बिटला बहुतेक मॉडेल मूळ गुणवत्तेच्या जवळ राहतात; 4 बिटपेक्षा खाली गुणवत्ता वेगाने घसरते. तुमच्या Mac मध्ये जागा ठेवून बसणारी सर्वात उच्च प्रिसिजन निवडा.

तत्सम मॉडेल

प्रत्येक मॉडेल · प्रत्येक Mac · तुमच्या Mac ची तुलना करा

तुमच्या मॉडेल कार्ड किंवा README साठी

Runs on a Mac: SmolLM3 3B SmolLM3 3B चांगले चालवणारा सर्वात लहान Mac दाखवते आणि इथे लिंक करते.

[![Runs on a Mac](https://mlx.app/badge/run/smollm3-3b.svg)](https://mlx.app/run/smollm3-3b)

हिशोब कसा केला

मेमरी: मॉडेलचे पॅरामीटर प्रति वेट 8, 6, 4, 3 किंवा 2 बिटला, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा त्याचा नेटिव्ह फॉरमॅट, आणि वर कॉन्टेक्स्टसाठी जागा. डिफॉल्टनुसार macOS GPU ला युनिफाइड मेमरीपैकी सुमारे 75% वापरू देते. वेग: मेमरी बँडविड्थला प्रत्येक टोकनसाठी वाचल्या जाणाऱ्या बाइटने भागल्यास एका संभाषणाची कमाल मर्यादा मिळते; llama.cpp च्या सार्वजनिक Apple Silicon बेंचमार्क मध्ये प्रत्यक्ष रन त्याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि हीच रेंज दाखवली आहे. हे अंदाज आहेत, मोजमाप नाही: तुमचा Mac MLX Bench वर मोजा. मॉडेलचे आकडे प्रत्येक अधिकृत मॉडेल कार्डमधून, चिपचे आकडे Apple च्या Tech Specs मधून. 2026-10-19 रोजी तपासले. mlx.app/compare वरचाच डेटा.

Mac वर SmolLM3 3B चालू शकते का? मेमरी आणि वेग