M5 Ultra वर 70B मॉडेल चालू शकते का?

हो. 4-बिटवर 70B मॉडेलला सुमारे 40 GB लागतात, आणि M5 Ultra मध्ये 512 GB पर्यंत मेमरी आहे. एका चॅटसाठी सुमारे 30 टोकन प्रति सेकंद इतकी मर्यादा अपेक्षित धरा.

M5 Ultra वर प्रति सेकंद किती टोकन मिळतात?

4-बिटवरील 8B मॉडेलसाठी मर्यादा सुमारे 267 टोकन प्रति सेकंद आहे, आणि प्रत्यक्ष रन तिच्या साधारण निम्म्यापासून चार-पंचमांशपर्यंत पोहोचतात. मोठी मॉडेल त्याच प्रमाणात हळू चालतात.

AI साठी M5 Ultra चांगला पर्याय आहे का?

मॉडेल लोकल चालवण्यासाठी मेमरी आणि बँडविड्थ सर्वात महत्त्वाच्या असतात. M5 Ultra मध्ये 1.2 TB/s वेगाने 512 GB पर्यंत मेमरी आहे, जी सुमारे 682 अब्ज पॅरामीटरपर्यंतच्या मॉडेलसाठी पुरेशी आहे. MLX Node वापरून MLX Network चे AI जॉब चालवून यातून कमाईही करता येते.

लोकल LLM साठी M5 Ultra: मेमरी, वेग आणि कोणती मॉडेल चालतील

1AI साठी महत्त्वाचे स्पेक्स

युनिफाइड मेमरी	512 GB
मेमरी बँडविड्थ	1.2 TB/s
या Mac मध्ये	Mac Studio (2026)
यासाठी समर्पित सीट	Ultra Latest सीट: दिवसाला 480 MLX पर्यंत माइन करते

2कोणती मॉडेल बसतात

प्रति वेट 4 बिटवर मॉडेलला प्रत्येक अब्ज पॅरामीटरसाठी अर्ध्या गिगाबाइटपेक्षा थोडी जास्त मेमरी लागते, शिवाय कॉन्टेक्स्ट आणि macOS साठी जागा. 512 GB सह M5 Ultra वर सुमारे 682 अब्ज पॅरामीटरपर्यंतची मॉडेल आरामात चालतात.

4-बिट मॉडेल	लागणारी मेमरी	M5 Ultra वर बसते का
8B मॉडेल	4.5 GB	हो
14B मॉडेल	7.9 GB	हो
32B मॉडेल	18 GB	हो
70B मॉडेल	39.4 GB	हो
gpt-oss-120b, मिक्स्चर-ऑफ-एक्सपर्ट्स	65 GB	हो
Qwen3.5-397B-A17B, मिक्स्चर-ऑफ-एक्सपर्ट्स	223.3 GB	हो
DeepSeek-V4.1-Flash, मिक्स्चर-ऑफ-एक्सपर्ट्स	316 GB	हो

3वेग किती मिळतो

मजकूर लिहिण्याचा वेग मेमरी बँडविड्थमुळे मर्यादित असतो: प्रत्येक नवीन टोकनसाठी मॉडेलचे सक्रिय वेट एकदा वाचले जातात. M5 Ultra ची 1.2 TB/s बँडविड्थ प्रति टोकन वाचल्या जाणाऱ्या बाइट्सने भागल्यावर खालील मर्यादा मिळते. प्रत्यक्ष रन सहसा तिच्या सुमारे 45% ते 80% पर्यंत पोहोचतात (llama.cpp बेंचमार्क).

4-बिट मॉडेल	प्रति टोकन वाचलेला डेटा	एका चॅटची मर्यादा
8B मॉडेल	4.5 GB	267 टोकन/सेकंद
14B मॉडेल	7.9 GB	152 टोकन/सेकंद
32B मॉडेल	18 GB	67 टोकन/सेकंद
70B मॉडेल	39.4 GB	30 टोकन/सेकंद
gpt-oss-120b, मिक्स्चर-ऑफ-एक्सपर्ट्स	2.7 GB	444 टोकन/सेकंद
Qwen3.5-397B-A17B, मिक्स्चर-ऑफ-एक्सपर्ट्स	9.6 GB	125 टोकन/सेकंद
DeepSeek-V4.1-Flash, मिक्स्चर-ऑफ-एक्सपर्ट्स	9 GB	133 टोकन/सेकंद

मोजलेले: M5 Ultra (80-core GPU) वर llama.cpp त्याच्या सार्वजनिक बेंचमार्कमध्ये Llama-2-7B (Q4_0) सह प्रति सेकंद 179 टोकन तयार करते.

M5 पिढीच्या चिपच्या GPU मध्ये न्यूरल ॲक्सिलरेटर आहेत, त्यामुळे त्या M4 पेक्षा कितीतरी पट वेगाने प्रॉम्प्ट वाचतात: Apple च्या मोजणीत MLX सह पहिला टोकन 3.3 ते 4.1 पट लवकर आला (Apple).

तुमच्या M5 Ultra Mac ने कमवा

MLX Node तुम्ही ठरवलेल्या मर्यादांमध्ये MLX Network साठी AI जॉब चालवते आणि MLX टोकन कमावते. M5 Ultra असलेला Mac Ultra Latest सीट पूर्ण दराने चालवतो, आणि तिथे एक सीट दिवसाला 480 MLX पर्यंत माइन करते; मोफत सीटवर एक Mac दिवसाला 1 MLX पर्यंत माइन करतो. माइन केलेले MLX फ्री सीटवर 30 दिवस आणि डेडिकेटेड सीटसह 3 ते 20 दिवस लॉक राहते. समर्पित सीट आणि जोखीम पाहा.

MLX Node डाउनलोड करा

5इतर चिपशी तुलना करा

6प्रश्न

M5 Ultra वर 70B मॉडेल चालू शकते का?: हो. 4-बिटवर 70B मॉडेलला सुमारे 40 GB लागतात, आणि M5 Ultra मध्ये 512 GB पर्यंत मेमरी आहे. एका चॅटसाठी सुमारे 30 टोकन प्रति सेकंद इतकी मर्यादा अपेक्षित धरा.
M5 Ultra वर प्रति सेकंद किती टोकन मिळतात?: 4-बिटवरील 8B मॉडेलसाठी मर्यादा सुमारे 267 टोकन प्रति सेकंद आहे, आणि प्रत्यक्ष रन तिच्या साधारण निम्म्यापासून चार-पंचमांशपर्यंत पोहोचतात. मोठी मॉडेल त्याच प्रमाणात हळू चालतात.
AI साठी M5 Ultra चांगला पर्याय आहे का?: मॉडेल लोकल चालवण्यासाठी मेमरी आणि बँडविड्थ सर्वात महत्त्वाच्या असतात. M5 Ultra मध्ये 1.2 TB/s वेगाने 512 GB पर्यंत मेमरी आहे, जी सुमारे 682 अब्ज पॅरामीटरपर्यंतच्या मॉडेलसाठी पुरेशी आहे. MLX Node वापरून MLX Network चे AI जॉब चालवून यातून कमाईही करता येते.

स्रोत

Apple: M6 and M5 Ultraapple.com
llama.cpp: Apple Silicon benchmarksgithub.com