लॉग इनवॉलेट तयार करा

AI साठी Mac mini vs Mac Studio.

दोन्ही लहान डेस्कटॉप Mac आहेत, जे AI मॉडेल स्वतःच्या GPU आणि युनिफाइड मेमरीवर चालवतात. खरा फरक दोन गोष्टींत आहे: तुम्हाला किती मेमरी मिळू शकते आणि चिप ती किती वेगाने वाचते. Apple च्या आकड्यांवरून ही तुलना, आणि कोणत्या प्रकारच्या मॉडेलसाठी कोणता योग्य, ते इथे पाहा.

अपडेट केले

थोडक्यात

  • Mac mini मध्ये 64 GB (M5 Pro) पर्यंत मेमरी मिळते, Mac Studio मध्ये M5 Max सोबत 128 GB पर्यंत आणि M5 Ultra सोबत 512 GB पर्यंत (Apple, Apple).
  • लिहिण्याचा वेग बँडविड्थ ठरवते: M6 Mac mini वर 153–170 GB/s, M5 Pro वर 307 GB/s, M5 Max वर 614 GB/s पर्यंत आणि M5 Ultra वर 1,200 GB/s.
  • 4-बिटवर सुमारे 30B पॅरामीटरपर्यंतची मॉडेल: M5 Pro असलेला Mac mini पुरेसा. 70B वर्गाची मॉडेल, gpt-oss-120b किंवा लांब कॉन्टेक्स्ट: 128 GB चा Mac Studio. सर्वात मोठी ओपन मॉडेल: M5 Ultra असलेला Mac Studio.
  • मेमरी नंतर वाढवता येत नाही, म्हणून ती फक्त आजच्या नव्हे, तर पुढच्या वर्षी चालवायच्या मॉडेलसाठी निवडा.

1AI साठी महत्त्वाचे स्पेक्स

Macमेमरीचे पर्यायमेमरी बँडविड्थ4-बिटवर सर्वात मोठे मॉडेलवीज, निष्क्रिय ते कमाल
Mac mini, M616, 24 किंवा 32 GB153–170 GB/sसुमारे 21B ते 42B4–70 W
Mac mini, M5 Pro24, 48 किंवा 64 GB307 GB/sसुमारे 32B ते 85B6–145 W
Mac Studio, M5 Max36, 48, 64 किंवा 128 GB460–614 GB/sसुमारे 48B ते 170B7–200 W
Mac Studio, M5 Ultra96, 256 किंवा 512 GB1,200 GB/sसुमारे 128B ते 682B9–385 W
मेमरी आणि बँडविड्थ Apple च्या Mac mini आणि Mac Studio च्या Tech Specs मधून; वीज Apple च्या Mac mini आणि Mac Studio च्या आकड्यांवरून. सर्वात मोठे मॉडेल: फक्त वेट, GPU मेमरीच्या सुमारे 75% वापरतो असे धरून (हा हिशेब कसा केला).

प्रत्येक कॉन्फिगरेशन त्यावर चांगल्या चालणाऱ्या मॉडेलशी जोडलेले आहे. आधीची मॉडेलही याच पद्धतीने काम करतात: M4 किंवा M4 Pro असलेला Mac mini, आणि M4 Max किंवा M3 Ultra असलेला Mac Studio (प्रत्येक Mac, क्रमवारीत).

2प्रत्येक किती वेगाने लिहितो

मजकूर लिहिताना प्रत्येक टोकनसाठी मॉडेलचे सक्रिय वेट एकदा वाचले जातात, म्हणून मेमरी बँडविड्थ वेगाची कमाल मर्यादा ठरवते. 4-बिटवरील 32B dense मॉडेलसाठी, सुमारे 18 GB:

Macएका चॅटसाठी कमाल मर्यादाबसते?
Mac mini, M6 (32 GB)सुमारे 9 टोकन/sहो
Mac mini, M5 Pro (48 किंवा 64 GB)सुमारे 17 टोकन/sहो
Mac Studio, M5 Max (48 GB किंवा जास्त)सुमारे 34 टोकन/sहो
Mac Studio, M5 Ultraसुमारे 67 टोकन/sहो
बँडविड्थ भागिले 18 GB. प्रत्यक्ष रन साधारणपणे या मर्यादेच्या सुमारे 45% ते 80% पर्यंत पोहोचतात (llama.cpp बेंचमार्क). अंदाज, मोजमाप नव्हे.

Mixture-of-experts मॉडेल प्रत्येक टोकनसाठी आपल्या वेटचा फक्त एक भाग वाचतात, म्हणून ती आकारावरून वाटते त्यापेक्षा खूप वेगाने लिहितात: ती बसतील का हे मेमरी ठरवते, वेग अजूनही बँडविड्थच ठरवते. लांब प्रॉम्प्ट वाचणे बँडविड्थपेक्षा GPU च्या कंप्युटवर अवलंबून असते, आणि तिथे Max आणि Ultra चिपचे मोठे GPU आणखी पुढे जातात.

3कोणत्या मॉडेलसाठी कोणता

  • लहान आणि मध्यम मॉडेल (4-बिटवर सुमारे 30B पर्यंत), चॅट, कोडिंग मदतनीस, घरचा AI सर्व्हर: 48 किंवा 64 GB सह M5 Pro असलेला Mac mini. 32 GB चा M6 Mac mini हेच आकार सुमारे अर्ध्या वेगाने चालवतो.
  • 70B वर्गाची मॉडेल, gpt-oss-120b, लांब कॉन्टेक्स्ट किंवा एकाच वेळी अनेक मॉडेल: 128 GB सह M5 Max असलेला Mac Studio. OpenAI च्या स्वतःच्या gpt-oss-120b फाइल्स सुमारे 65 GB आहेत (OpenAI), कोणताही Mac mini आपल्या GPU ला देऊ शकतो त्यापेक्षा जास्त.
  • सर्वात मोठी ओपन मॉडेल (शेकडो अब्ज पॅरामीटर): 256 किंवा 512 GB सह M5 Ultra असलेला Mac Studio, किंवा अनेक Mac एकत्र (Mac AI क्लस्टर).

एखाद्या विशिष्ट मॉडेलसाठी, त्याचे पेज ते चालवणारा सर्वात लहान Mac आणि प्रत्येक चिपवरचा वेग दाखवते: प्रत्येक ओपन मॉडेल.

4दिवसभर चालू ठेवणे

दोन्ही शांत, किफायतशीर, सतत चालू राहणारी मशीन बनतात. वरील Apple च्या आकड्यांनुसार Mac mini निष्क्रिय असताना 4–6 W आणि Mac Studio 7–9 W वापरतो; पूर्ण लोडवर M5 Ultra असलेला Mac Studio 385 W पर्यंत वापरू शकतो. AI सर्व्हर म्हणून Mac mini तो जागा ठेवणे आणि इतर डिव्हाइसना मॉडेल देणे समजावतो, आणि Mac किती वीज वापरतो एका दिवसाचा खर्च.

तो निष्क्रिय असताना, MLX Node MLX Network साठी AI जॉब चालवून MLX Tokens कमावू शकते. चिपशी जुळणारी समर्पित सीट जास्त वेगाने माइन करते: M6 साठी Core, M5 Pro आणि M5 Max साठी Pro, M5 Ultra साठी Ultra. कमाईची हमी नाही: जोखीम वाचा.

5प्रश्न

AI साठी Mac mini पेक्षा Mac Studio घेणे योग्य आहे का?
सुमारे 85B पॅरामीटरपेक्षा मोठी मॉडेल, gpt-oss-120b किंवा लांब कॉन्टेक्स्ट हवा असेल तर हो: 64 GB पेक्षा जास्त मेमरी फक्त Mac Studio मध्ये आहे. 4-बिटवर सुमारे 30B पर्यंतच्या मॉडेलसाठी M5 Pro असलेला Mac mini पुरतो, M5 Max च्या सुमारे अर्ध्या बँडविड्थवर.
Mac mini 70B मॉडेल चालवू शकतो का?
फक्त 64 GB चा M5 Pro, 4-बिटवर आणि लहान कॉन्टेक्स्टसह: GPU डीफॉल्टने वापरू शकणाऱ्या 48 GB मध्ये सुमारे 39 GB वेट, सेकंदाला काही टोकन वेगाने. 128 GB चा Mac Studio ते कॉन्टेक्स्टसाठी जागा ठेवून आणि सुमारे दुप्पट वेगाने चालवतो.
LLM साठी Mac Studio M5 Max की M5 Ultra?
M5 Ultra ची बँडविड्थ सुमारे दुप्पट आहे (614 च्या तुलनेत 1,200 GB/s), म्हणून तो सुमारे दुप्पट वेगाने लिहितो, आणि 512 GB पर्यंत जातो. 128 GB चा M5 Max 4-बिटवर सुमारे 170B पर्यंतची मॉडेल सामावतो. M5 Max vs M5 Ultra पाहा.
AI साठी Mac mini M6 की M5 Pro?
M5 Pro: 24 किंवा 32 GB च्या M6 पेक्षा तो मेमरी सुमारे 80% वेगाने वाचतो आणि 32 GB ऐवजी 64 GB पर्यंत जातो.

स्रोत

  1. Applesupport.apple.com
  2. Applesupport.apple.com
  3. Mac minisupport.apple.com
  4. Mac Studiosupport.apple.com
  5. llama.cpp बेंचमार्कgithub.com
  6. OpenAIhuggingface.co

पुढे वाचा

Apple Silicon वर AI चालवालोकल LLM साठी सर्वोत्तम Mac.लोकल LLM चालवण्यासाठी कोणता Mac घ्यावा? काय बसते हे मेमरी ठरवते आणि वेग बँडविड्थ ठरवते. MacBook Air पासून Mac Studio M5 Ultra पर्यंत प्रत्येक चिपची तुलना.मार्गदर्शक वाचाApple Silicon वर AI चालवातुमचा AI सर्व्हर म्हणून Mac mini.Mac mini ला सतत चालू AI सर्व्हर बनवा: कोणत्या Mac mini मध्ये कोणते मॉडेल बसते, तो जागा कसा ठेवायचा, नेटवर्क आणि एजंटसाठी OpenAI-सुसंगत API, वीज वापर.मार्गदर्शक वाचाApple Silicon वर AI चालवाLLM चालवायला किती RAM लागते?कोणत्याही LLM साठी एक नियम: 4-बिटवर प्रति अब्ज पॅरामीटर सुमारे 0.56 GB, 16-बिटवर 2 GB, शिवाय कॉन्टेक्स्टची मेमरी. 1B ते 671B आणि प्रत्येक Mac साठी तक्ते.मार्गदर्शक वाचा