M1 वर 70B मॉडेल चालू शकते का?

आरामात नाही. 4-बिटवर 70B मॉडेलला सुमारे 40 GB लागतात, आणि M1 मध्ये जास्तीत जास्त 16 GB आहे. सुमारे 21B पॅरामीटरपर्यंतची मॉडेल चांगली बसतात.

M1 वर प्रति सेकंद किती टोकन मिळतात?

4-बिटवरील 8B मॉडेलसाठी मर्यादा सुमारे 15 टोकन प्रति सेकंद आहे, आणि प्रत्यक्ष रन तिच्या साधारण निम्म्यापासून चार-पंचमांशपर्यंत पोहोचतात. मोठी मॉडेल त्याच प्रमाणात हळू चालतात.

AI साठी M1 चांगला पर्याय आहे का?

मॉडेल लोकल चालवण्यासाठी मेमरी आणि बँडविड्थ सर्वात महत्त्वाच्या असतात. M1 मध्ये 68 GB/s वेगाने 16 GB पर्यंत मेमरी आहे, जी सुमारे 21 अब्ज पॅरामीटरपर्यंतच्या मॉडेलसाठी पुरेशी आहे. MLX Node वापरून MLX Network चे AI जॉब चालवून यातून कमाईही करता येते.

लोकल LLM साठी M1: मेमरी, वेग आणि कोणती मॉडेल चालतील

1AI साठी महत्त्वाचे स्पेक्स

युनिफाइड मेमरी	16 GB
मेमरी बँडविड्थ	68 GB/s
या Mac मध्ये	MacBook Air (2020), 13-inch MacBook Pro (2020), Mac mini (2020), iMac (2021)
यासाठी समर्पित सीट	Core सीट: दिवसाला 20 MLX पर्यंत माइन करते

2कोणती मॉडेल बसतात

प्रति वेट 4 बिटवर मॉडेलला प्रत्येक अब्ज पॅरामीटरसाठी अर्ध्या गिगाबाइटपेक्षा थोडी जास्त मेमरी लागते, शिवाय कॉन्टेक्स्ट आणि macOS साठी जागा. 16 GB सह M1 वर सुमारे 21 अब्ज पॅरामीटरपर्यंतची मॉडेल आरामात चालतात.

4-बिट मॉडेल	लागणारी मेमरी	M1 वर बसते का
8B मॉडेल	4.5 GB	हो
14B मॉडेल	7.9 GB	हो
32B मॉडेल	18 GB	नाही
70B मॉडेल	39.4 GB	नाही
gpt-oss-120b, मिक्स्चर-ऑफ-एक्सपर्ट्स	65 GB	नाही
Qwen3.5-397B-A17B, मिक्स्चर-ऑफ-एक्सपर्ट्स	223.3 GB	नाही
DeepSeek-V4.1-Flash, मिक्स्चर-ऑफ-एक्सपर्ट्स	316 GB	नाही

3वेग किती मिळतो

मजकूर लिहिण्याचा वेग मेमरी बँडविड्थमुळे मर्यादित असतो: प्रत्येक नवीन टोकनसाठी मॉडेलचे सक्रिय वेट एकदा वाचले जातात. M1 ची 68 GB/s बँडविड्थ प्रति टोकन वाचल्या जाणाऱ्या बाइट्सने भागल्यावर खालील मर्यादा मिळते. प्रत्यक्ष रन सहसा तिच्या सुमारे 45% ते 80% पर्यंत पोहोचतात (llama.cpp बेंचमार्क).

4-बिट मॉडेल	प्रति टोकन वाचलेला डेटा	एका चॅटची मर्यादा
8B मॉडेल	4.5 GB	15 टोकन/सेकंद
14B मॉडेल	7.9 GB	9 टोकन/सेकंद

तुमच्या M1 Mac ने कमवा

MLX Node तुम्ही ठरवलेल्या मर्यादांमध्ये MLX Network साठी AI जॉब चालवते आणि MLX टोकन कमावते. M1 असलेला Mac Core सीट पूर्ण दराने चालवतो, आणि तिथे एक सीट दिवसाला 20 MLX पर्यंत माइन करते; मोफत सीटवर एक Mac दिवसाला 1 MLX पर्यंत माइन करतो. माइन केलेले MLX फ्री सीटवर 30 दिवस आणि डेडिकेटेड सीटसह 3 ते 20 दिवस लॉक राहते. समर्पित सीट आणि जोखीम पाहा.

MLX Node डाउनलोड करा

5इतर चिपशी तुलना करा

6प्रश्न

M1 वर 70B मॉडेल चालू शकते का?: आरामात नाही. 4-बिटवर 70B मॉडेलला सुमारे 40 GB लागतात, आणि M1 मध्ये जास्तीत जास्त 16 GB आहे. सुमारे 21B पॅरामीटरपर्यंतची मॉडेल चांगली बसतात.
M1 वर प्रति सेकंद किती टोकन मिळतात?: 4-बिटवरील 8B मॉडेलसाठी मर्यादा सुमारे 15 टोकन प्रति सेकंद आहे, आणि प्रत्यक्ष रन तिच्या साधारण निम्म्यापासून चार-पंचमांशपर्यंत पोहोचतात. मोठी मॉडेल त्याच प्रमाणात हळू चालतात.
AI साठी M1 चांगला पर्याय आहे का?: मॉडेल लोकल चालवण्यासाठी मेमरी आणि बँडविड्थ सर्वात महत्त्वाच्या असतात. M1 मध्ये 68 GB/s वेगाने 16 GB पर्यंत मेमरी आहे, जी सुमारे 21 अब्ज पॅरामीटरपर्यंतच्या मॉडेलसाठी पुरेशी आहे. MLX Node वापरून MLX Network चे AI जॉब चालवून यातून कमाईही करता येते.

स्रोत

Apple: M1apple.com
llama.cpp: Apple Silicon benchmarksgithub.com