लोकल LLM साठी सर्वोत्तम Mac.

1सगळे काही मेमरी आणि बँडविड्थच का ठरवतात

लँग्वेज मॉडेल एका वेळी एक टोकन लिहिते, आणि प्रत्येक टोकनसाठी ते प्रत्येक सक्रिय वेट मेमरीतून वाचते. त्यामुळे एका संवादाची वेगमर्यादा ढोबळमानाने मेमरी बँडविड्थला सक्रिय वेटच्या आकाराने भागल्यावर मिळते. llama.cpp च्या सार्वजनिक बेंचमार्कमध्ये, Apple चिपवर प्रत्यक्ष जनरेशन या मर्यादेच्या 43% ते 80% पर्यंत पोहोचते (llama.cpp).

तुमचा प्रॉम्प्ट वाचणे वेगळे आहे: तो भाग कंप्युटमुळे मर्यादित असतो, म्हणूनच GPU मध्ये न्यूरल ॲक्सिलरेटर असलेल्या M5 पिढीच्या चिप आधीच्या चिपपेक्षा कितीतरी पट वेगाने प्रॉम्प्ट प्रोसेस करतात (Apple).

2प्रत्येक चिपची तुलना

जुन्या चिपमध्ये मेमरी असेल तर त्याही चांगले काम करतात. 64 GB चा M1 Max किंवा M2 Max 400 GB/s वेगाने वाचतो, जे आजच्या कोणत्याही बेस चिपपेक्षा जास्त आहे, आणि सेकंड-हँड तो बहुधा खूप स्वस्त मिळतो.

3कोणता Mac घ्यावा

फक्त करून पाहायचे: 16 ते 32 GB चा MacBook Air किंवा Mac mini

7B ते 14B मॉडेल आरामात चालवतो, आणि 32 GB वर 30B वर्गाची मॉडेलही. चॅट, लेखन आणि हलक्या कोडिंग मदतीसाठी पुरेसा.

पैशाचे सर्वोत्तम मूल्य: 64 GB सह Pro चिप

M4 Pro किंवा M5 Pro असलेला Mac mini किंवा MacBook Pro 70B वर्गाची मॉडेल सामावतो आणि मध्यम आकाराची मॉडेल चांगल्या वेगाने चालवतो. बहुतेक डेव्हलपरसाठी सर्वात योग्य समतोल.

गंभीर लोकल AI: 128 GB सह Max चिप

लॅपटॉपवर gpt-oss-120b (4-बिटवर सुमारे 65 GB) चालवतो; Apple च्या बँडविड्थ आकड्यानुसार, M5 Max वर एका स्ट्रीमची सैद्धांतिक कमाल मर्यादा सुमारे 225 टोकन प्रति सेकंद आहे. सोबत नेता येणारा सर्वोत्तम पर्याय.

सर्वात मोठी मॉडेल: Ultra असलेला Mac Studio

M5 Ultra सोबत 1.2 TB/s वेगाने 512 GB पर्यंत मेमरी, ज्यात एकाच डेस्कवर शेकडो अब्ज पॅरामीटरची मॉडेल मावतात. याहूनही मोठ्या मॉडेलसाठी, अनेक Mac Thunderbolt 5 ने जोडून क्लस्टर बनवता येतो: Mac AI क्लस्टर पाहा.

4Mac चा खर्च त्यालाच वसूल करू द्या

AI साठी घेतलेला Mac बहुतेक वेळ वाट पाहत असतो. MLX Node हे मोफत ॲप ती रिकामी क्षमता MLX Network ला देते, त्याच MLX फ्रेमवर्कवर AI जॉब चालवते आणि पडताळलेल्या कामासाठी MLX टोकन कमावते. चिपशी जुळणारी समर्पित सीट कमाई अनेक पटींनी वाढवते: Pro सीट Pro किंवा Max चिपवर पूर्ण दराने चालते, Ultra सीट Ultra चिपवर.

आधी MLX Bench वर तुमच्या Mac ची तुलना करा: तो प्रत्येक चिपवर ओपन मॉडेलचे मोजलेले टोकन प्रति सेकंद दाखवतो.

5प्रश्न

लोकल LLM साठी 16 GB पुरेसे आहे का?

4-बिटवर सुमारे 14B पॅरामीटरपर्यंतच्या मॉडेलसाठी हो. मोठ्या मॉडेलसाठी किंवा लांब कॉन्टेक्स्टसाठी 32 GB किंवा जास्त खूपच सोयीचे आहे.

LLM साठी Mac Studio की MacBook Pro?

दोन्हीमध्ये Max चिप आणि 128 GB पर्यंत मेमरी मिळते. MacBook Pro सोबत नेता येतो; Mac Studio दीर्घ लोडमध्ये थंड राहतो आणि Ultra चिप व 512 GB पर्यंत मेमरी असलेला तो एकमेव Mac आहे.

लोकल AI साठी Mac हा Nvidia GPU पेक्षा चांगला आहे का?

घरी सर्वात मोठ्या मॉडेलसाठी, बहुधा हो: Mac ची युनिफाइड मेमरी ग्राहक ग्राफिक्स कार्डच्या मेमरीपेक्षा कितीतरी जास्त सामावू शकते. जी मॉडेल हाय-एंड Nvidia कार्डच्या मेमरीत बसतात, त्यांच्यावर ते कार्ड जास्त वेगवान आहे.

M5 मुळे LLM वेगाने चालतात का?

हो, मुख्यतः प्रॉम्प्ट वाचण्यात: Apple ने MLX सोबत मोजले की M5 वर पहिला टोकन M4 पेक्षा 3.3 ते 4.1 पट लवकर येतो. जनरेशनचा वेग मेमरी बँडविड्थसोबत वाढतो, जी M4 पासून M5 पर्यंत 28% वाढली.