M3 Ultra वर 70B मॉडेल चालू शकते का?

हो. 4-बिटवर 70B मॉडेलला सुमारे 40 GB लागतात, आणि M3 Ultra मध्ये 512 GB पर्यंत मेमरी आहे. एका चॅटसाठी सुमारे 21 टोकन प्रति सेकंद इतकी मर्यादा अपेक्षित धरा.

M3 Ultra वर प्रति सेकंद किती टोकन मिळतात?

4-बिटवरील 8B मॉडेलसाठी मर्यादा सुमारे 182 टोकन प्रति सेकंद आहे, आणि प्रत्यक्ष रन तिच्या साधारण निम्म्यापासून चार-पंचमांशपर्यंत पोहोचतात. मोठी मॉडेल त्याच प्रमाणात हळू चालतात.

AI साठी M3 Ultra चांगला पर्याय आहे का?

मॉडेल लोकल चालवण्यासाठी मेमरी आणि बँडविड्थ सर्वात महत्त्वाच्या असतात. M3 Ultra मध्ये 819 GB/s वेगाने 512 GB पर्यंत मेमरी आहे, जी सुमारे 682 अब्ज पॅरामीटरपर्यंतच्या मॉडेलसाठी पुरेशी आहे. MLX Node वापरून MLX Network चे AI जॉब चालवून यातून कमाईही करता येते.

लोकल LLM साठी M3 Ultra: मेमरी, वेग आणि कोणती मॉडेल चालतील

1AI साठी महत्त्वाचे स्पेक्स

युनिफाइड मेमरी	512 GB
मेमरी बँडविड्थ	819 GB/s
या Mac मध्ये	Mac Studio (2025)
यासाठी समर्पित सीट	Ultra सीट: दिवसाला 320 MLX पर्यंत माइन करते

2कोणती मॉडेल बसतात

प्रति वेट 4 बिटवर मॉडेलला प्रत्येक अब्ज पॅरामीटरसाठी अर्ध्या गिगाबाइटपेक्षा थोडी जास्त मेमरी लागते, शिवाय कॉन्टेक्स्ट आणि macOS साठी जागा. 512 GB सह M3 Ultra वर सुमारे 682 अब्ज पॅरामीटरपर्यंतची मॉडेल आरामात चालतात.

4-बिट मॉडेल	लागणारी मेमरी	M3 Ultra वर बसते का
8B मॉडेल	4.5 GB	हो
14B मॉडेल	7.9 GB	हो
32B मॉडेल	18 GB	हो
70B मॉडेल	39.4 GB	हो
gpt-oss-120b, मिक्स्चर-ऑफ-एक्सपर्ट्स	65 GB	हो
Qwen3.5-397B-A17B, मिक्स्चर-ऑफ-एक्सपर्ट्स	223.3 GB	हो
DeepSeek-V4.1-Flash, मिक्स्चर-ऑफ-एक्सपर्ट्स	316 GB	हो

3वेग किती मिळतो

मजकूर लिहिण्याचा वेग मेमरी बँडविड्थमुळे मर्यादित असतो: प्रत्येक नवीन टोकनसाठी मॉडेलचे सक्रिय वेट एकदा वाचले जातात. M3 Ultra ची 819 GB/s बँडविड्थ प्रति टोकन वाचल्या जाणाऱ्या बाइट्सने भागल्यावर खालील मर्यादा मिळते. प्रत्यक्ष रन सहसा तिच्या सुमारे 45% ते 80% पर्यंत पोहोचतात (llama.cpp बेंचमार्क).

4-बिट मॉडेल	प्रति टोकन वाचलेला डेटा	एका चॅटची मर्यादा
8B मॉडेल	4.5 GB	182 टोकन/सेकंद
14B मॉडेल	7.9 GB	104 टोकन/सेकंद
32B मॉडेल	18 GB	46 टोकन/सेकंद
70B मॉडेल	39.4 GB	21 टोकन/सेकंद
gpt-oss-120b, मिक्स्चर-ऑफ-एक्सपर्ट्स	2.7 GB	303 टोकन/सेकंद
Qwen3.5-397B-A17B, मिक्स्चर-ऑफ-एक्सपर्ट्स	9.6 GB	85 टोकन/सेकंद
DeepSeek-V4.1-Flash, मिक्स्चर-ऑफ-एक्सपर्ट्स	9 GB	91 टोकन/सेकंद

मोजलेले: M3 Ultra (80-core GPU) वर llama.cpp त्याच्या सार्वजनिक बेंचमार्कमध्ये Llama-2-7B (Q4_0) सह प्रति सेकंद 92 टोकन तयार करते.

तुमच्या M3 Ultra Mac ने कमवा

MLX Node तुम्ही ठरवलेल्या मर्यादांमध्ये MLX Network साठी AI जॉब चालवते आणि MLX टोकन कमावते. M3 Ultra असलेला Mac Ultra सीट पूर्ण दराने चालवतो, आणि तिथे एक सीट दिवसाला 320 MLX पर्यंत माइन करते; मोफत सीटवर एक Mac दिवसाला 1 MLX पर्यंत माइन करतो. माइन केलेले MLX फ्री सीटवर 30 दिवस आणि डेडिकेटेड सीटसह 3 ते 20 दिवस लॉक राहते. समर्पित सीट आणि जोखीम पाहा.

MLX Node डाउनलोड करा

5इतर चिपशी तुलना करा

6प्रश्न

M3 Ultra वर 70B मॉडेल चालू शकते का?: हो. 4-बिटवर 70B मॉडेलला सुमारे 40 GB लागतात, आणि M3 Ultra मध्ये 512 GB पर्यंत मेमरी आहे. एका चॅटसाठी सुमारे 21 टोकन प्रति सेकंद इतकी मर्यादा अपेक्षित धरा.
M3 Ultra वर प्रति सेकंद किती टोकन मिळतात?: 4-बिटवरील 8B मॉडेलसाठी मर्यादा सुमारे 182 टोकन प्रति सेकंद आहे, आणि प्रत्यक्ष रन तिच्या साधारण निम्म्यापासून चार-पंचमांशपर्यंत पोहोचतात. मोठी मॉडेल त्याच प्रमाणात हळू चालतात.
AI साठी M3 Ultra चांगला पर्याय आहे का?: मॉडेल लोकल चालवण्यासाठी मेमरी आणि बँडविड्थ सर्वात महत्त्वाच्या असतात. M3 Ultra मध्ये 819 GB/s वेगाने 512 GB पर्यंत मेमरी आहे, जी सुमारे 682 अब्ज पॅरामीटरपर्यंतच्या मॉडेलसाठी पुरेशी आहे. MLX Node वापरून MLX Network चे AI जॉब चालवून यातून कमाईही करता येते.

स्रोत

Apple: Mac Studio (2025) specssupport.apple.com
llama.cpp: Apple Silicon benchmarksgithub.com