तुमचा Mac काय चालवू शकतो?
तुमचा Mac किंवा दुसरी कोणतीही मशीन निवडा आणि पाहा कोणती ओपन AI मॉडेल तिच्या मेमरीत बसतात आणि ती ती किती वेगाने चालवते. प्रत्येक मॉडेलच्या मॉडेल कार्डवरून आणि प्रत्येक चिपच्या प्रकाशित मेमरी आणि बँडविड्थवरून हिशोब केला आहे.
Apple M5, 16 GB: डिफॉल्टने मॉडेलसाठी सुमारे 12 GB, मेमरी बँडविड्थ 153 GB/s. 43 लोकप्रिय मॉडेलपैकी 20 यावर चालतात. त्याचे पान मोजलेले: llama.cpp मध्ये 4-बिट Llama 2 7B सह 32 टोकन/सेकंद (M5 (10-core GPU)).
बुद्धिमत्ता: Artificial Analysis Intelligence Index v4.3.2, जिथे मोजले आहे तिथे. मॉडेलची नावे त्यांच्या अधिकृत कार्डशी लिंक आहेत.
हिशोब कसा केला
मेमरी. प्रत्येक मॉडेल ते बसेल अशा सर्वात उच्च प्रिसिजनवर दाखवले आहे: प्रति वेट 8, 6, 4, 3 किंवा 2 बिट, शिवाय MLX चे ग्रुप स्केल (प्रति वेट अर्धा बिट), किंवा मॉडेल त्याच स्वरूपात येत असल्यास त्याचा नेटिव्ह फॉरमॅट. Mac वर GPU डिफॉल्टने युनिफाइड मेमरीचा सुमारे 75% वापरू शकतो; त्यावर आम्ही कॉन्टेक्स्टसाठी जागा ठेवतो.
वेग. लिहिताना प्रत्येक टोकन सर्व सक्रिय वेट एकदा वाचतो, म्हणून मेमरी बँडविड्थला त्या बाइट्सने भागल्यावर एका संवादाची कमाल मर्यादा मिळते. llama.cpp च्या Apple Silicon वरील सार्वजनिक बेंचमार्कमध्ये प्रत्यक्ष रन याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात, आणि तीच रेंज दाखवली आहे. लांब प्रॉम्प्ट वाचणे कंप्यूटवर अवलंबून असते, म्हणून ते इथे दाखवलेले नाही.
स्रोत. पॅरामीटर, कॉन्टेक्स्ट आणि लायसन्स Hugging Face वरील प्रत्येक मॉडेलच्या अधिकृत कार्डमधून (नावावर लिंक); मेमरी आणि बँडविड्थ Apple आणि उत्पादकांच्या स्पेसिफिकेशनमधून. 2026-10-19 रोजी तपासले. तुमचा Mac MLX Bench वर मोजा. प्रत्येक Mac, प्रत्येक मॉडेल आणि संपूर्ण फिट टेबल JSON आणि CSV मध्ये मोफत डाउनलोड करता येते: ओपन डेटा.
ब्राउझ करा. प्रत्येक Mac, 8 GB च्या M1 पासून 512 GB च्या M5 Ultra पर्यंत, त्यावर चालणाऱ्या प्रत्येक मॉडेलसह, आणि प्रत्येक मॉडेल त्याला लागणाऱ्या सर्वात लहान Mac सह.
चालवून पाहा. टप्प्याटप्प्याने: Mac वर LLM डाउनलोड करून चालवा, MLX विरुद्ध Ollama विरुद्ध llama.cpp आणि लोकल LLM साठी सर्वोत्तम Mac. तुमचा Mac रिकामा असताना तो MLX टोकन कमवू शकतो.
- एखादे LLM माझ्या Mac वर चालेल की नाही हे कसे कळेल?
- तुम्हाला हव्या असलेल्या प्रिसिजनवर मॉडेलचा आकार तुमच्या Mac च्या युनिफाइड मेमरीशी तुलना करा. macOS डिफॉल्टने GPU ला त्यातील सुमारे 75% वापरू देते, आणि मॉडेलला कॉन्टेक्स्टसाठीही जागा लागते. 4-बिट मॉडेलला प्रत्येक एक अब्ज पॅरामीटरसाठी अर्ध्या गिगाबाइटपेक्षा थोडी जास्त मेमरी लागते.
- मला दर सेकंदाला किती टोकन मिळतील?
- लिहिण्याचा वेग मेमरी बँडविड्थने मर्यादित असतो: प्रत्येक टोकन मॉडेलचे सक्रिय वेट एकदा वाचतो. बँडविड्थला प्रति टोकन वाचलेल्या बाइट्सने भागल्यावर एका संवादाची कमाल मर्यादा मिळते; प्रत्यक्ष रन साधारणपणे याच्या सुमारे 45% ते 80% पर्यंत पोहोचतात.
- मिक्स्चर-ऑफ-एक्स्पर्ट्स (MoE) मॉडेल वेगाने का चालतात?
- ही मॉडेल मेमरीत अनेक एक्स्पर्ट ठेवतात, पण प्रत्येक टोकनसाठी त्यातील काहीच वापरतात, त्यामुळे प्रत्येक टोकन खूप कमी बाइट्स वाचतो. मेमरी संपूर्ण मॉडेलसाठी लागते, पण वेग खूप लहान मॉडेलइतका असतो.
- 4-बिट पुरेसे आहे का?
- बहुतेक मॉडेलमध्ये 4-बिट गुणवत्ता मूळच्या जवळ ठेवते. 4 बिटच्या खाली गुणवत्ता झपाट्याने घसरते, म्हणून 4 बिटपेक्षा कमी आवृत्त्यांवर खूण केली आहे.