M4 Max वर 70B मॉडेल चालू शकते का?

हो. 4-बिटवर 70B मॉडेलला सुमारे 40 GB लागतात, आणि M4 Max मध्ये 128 GB पर्यंत मेमरी आहे. एका चॅटसाठी सुमारे 14 टोकन प्रति सेकंद इतकी मर्यादा अपेक्षित धरा.

M4 Max वर प्रति सेकंद किती टोकन मिळतात?

4-बिटवरील 8B मॉडेलसाठी मर्यादा सुमारे 121 टोकन प्रति सेकंद आहे, आणि प्रत्यक्ष रन तिच्या साधारण निम्म्यापासून चार-पंचमांशपर्यंत पोहोचतात. मोठी मॉडेल त्याच प्रमाणात हळू चालतात.

AI साठी M4 Max चांगला पर्याय आहे का?

मॉडेल लोकल चालवण्यासाठी मेमरी आणि बँडविड्थ सर्वात महत्त्वाच्या असतात. M4 Max मध्ये 546 GB/s वेगाने 128 GB पर्यंत मेमरी आहे, जी सुमारे 170 अब्ज पॅरामीटरपर्यंतच्या मॉडेलसाठी पुरेशी आहे. MLX Node वापरून MLX Network चे AI जॉब चालवून यातून कमाईही करता येते.

लोकल LLM साठी M4 Max: मेमरी, वेग आणि कोणती मॉडेल चालतील

1AI साठी महत्त्वाचे स्पेक्स

युनिफाइड मेमरी	128 GB
मेमरी बँडविड्थ	546 GB/s, किंवा खालच्या कॉन्फिगरेशनमध्ये 410 GB/s
या Mac मध्ये	14- and 16-inch MacBook Pro (2024), Mac Studio (2025)
यासाठी समर्पित सीट	Pro सीट: दिवसाला 80 MLX पर्यंत माइन करते

2कोणती मॉडेल बसतात

प्रति वेट 4 बिटवर मॉडेलला प्रत्येक अब्ज पॅरामीटरसाठी अर्ध्या गिगाबाइटपेक्षा थोडी जास्त मेमरी लागते, शिवाय कॉन्टेक्स्ट आणि macOS साठी जागा. 128 GB सह M4 Max वर सुमारे 170 अब्ज पॅरामीटरपर्यंतची मॉडेल आरामात चालतात.

4-बिट मॉडेल	लागणारी मेमरी	M4 Max वर बसते का
8B मॉडेल	4.5 GB	हो
14B मॉडेल	7.9 GB	हो
32B मॉडेल	18 GB	हो
70B मॉडेल	39.4 GB	हो
gpt-oss-120b, मिक्स्चर-ऑफ-एक्सपर्ट्स	65 GB	हो
Qwen3.5-397B-A17B, मिक्स्चर-ऑफ-एक्सपर्ट्स	223.3 GB	नाही
DeepSeek-V4.1-Flash, मिक्स्चर-ऑफ-एक्सपर्ट्स	316 GB	नाही

3वेग किती मिळतो

मजकूर लिहिण्याचा वेग मेमरी बँडविड्थमुळे मर्यादित असतो: प्रत्येक नवीन टोकनसाठी मॉडेलचे सक्रिय वेट एकदा वाचले जातात. M4 Max ची 546 GB/s बँडविड्थ प्रति टोकन वाचल्या जाणाऱ्या बाइट्सने भागल्यावर खालील मर्यादा मिळते. प्रत्यक्ष रन सहसा तिच्या सुमारे 45% ते 80% पर्यंत पोहोचतात (llama.cpp बेंचमार्क).

4-बिट मॉडेल	प्रति टोकन वाचलेला डेटा	एका चॅटची मर्यादा
8B मॉडेल	4.5 GB	121 टोकन/सेकंद
14B मॉडेल	7.9 GB	69 टोकन/सेकंद
32B मॉडेल	18 GB	30 टोकन/सेकंद
70B मॉडेल	39.4 GB	14 टोकन/सेकंद
gpt-oss-120b, मिक्स्चर-ऑफ-एक्सपर्ट्स	2.7 GB	202 टोकन/सेकंद

मोजलेले: M4 Max (40-core GPU) वर llama.cpp त्याच्या सार्वजनिक बेंचमार्कमध्ये Llama-2-7B (Q4_0) सह प्रति सेकंद 83 टोकन तयार करते.

तुमच्या M4 Max Mac ने कमवा

MLX Node तुम्ही ठरवलेल्या मर्यादांमध्ये MLX Network साठी AI जॉब चालवते आणि MLX टोकन कमावते. M4 Max असलेला Mac Pro सीट पूर्ण दराने चालवतो, आणि तिथे एक सीट दिवसाला 80 MLX पर्यंत माइन करते; मोफत सीटवर एक Mac दिवसाला 1 MLX पर्यंत माइन करतो. माइन केलेले MLX फ्री सीटवर 30 दिवस आणि डेडिकेटेड सीटसह 3 ते 20 दिवस लॉक राहते. समर्पित सीट आणि जोखीम पाहा.

MLX Node डाउनलोड करा

5इतर चिपशी तुलना करा

6प्रश्न

M4 Max वर 70B मॉडेल चालू शकते का?: हो. 4-बिटवर 70B मॉडेलला सुमारे 40 GB लागतात, आणि M4 Max मध्ये 128 GB पर्यंत मेमरी आहे. एका चॅटसाठी सुमारे 14 टोकन प्रति सेकंद इतकी मर्यादा अपेक्षित धरा.
M4 Max वर प्रति सेकंद किती टोकन मिळतात?: 4-बिटवरील 8B मॉडेलसाठी मर्यादा सुमारे 121 टोकन प्रति सेकंद आहे, आणि प्रत्यक्ष रन तिच्या साधारण निम्म्यापासून चार-पंचमांशपर्यंत पोहोचतात. मोठी मॉडेल त्याच प्रमाणात हळू चालतात.
AI साठी M4 Max चांगला पर्याय आहे का?: मॉडेल लोकल चालवण्यासाठी मेमरी आणि बँडविड्थ सर्वात महत्त्वाच्या असतात. M4 Max मध्ये 546 GB/s वेगाने 128 GB पर्यंत मेमरी आहे, जी सुमारे 170 अब्ज पॅरामीटरपर्यंतच्या मॉडेलसाठी पुरेशी आहे. MLX Node वापरून MLX Network चे AI जॉब चालवून यातून कमाईही करता येते.

स्रोत

Apple: M4 Pro and M4 Maxapple.com
llama.cpp: Apple Silicon benchmarksgithub.com