શું M5 70B મૉડલ ચલાવી શકે?

આરામથી નહીં. 4-બિટ પર 70B મૉડલને આશરે 40 GB જોઈએ, અને M5માં વધુમાં વધુ 32 GB છે. આશરે 42B પૅરામીટર સુધીનાં મૉડલ સારી રીતે સમાય છે.

M5 સેકન્ડે કેટલા ટોકન આપે છે?

4-બિટ પર 8B મૉડલ માટે ટોચમર્યાદા સેકન્ડે આશરે 34 ટોકન છે, અને વાસ્તવિક રન તેના આશરે અડધાથી ચાર-પંચમાંશ સુધી પહોંચે છે. મોટાં મૉડલ એ જ પ્રમાણમાં ધીમાં ચાલે છે.

શું M5 AI માટે સારી છે?

મૉડલ લોકલી ચલાવવા માટે મેમરી અને બૅન્ડવિડ્થ સૌથી વધુ મહત્ત્વનાં છે. M5માં 153 GB/s પર 32 GB સુધી મેમરી છે, જે આશરે 42 અબજ પૅરામીટર સુધીનાં મૉડલ માટે પૂરતી છે. તે MLX Node વડે MLX Network માટે AIનું કામ ચલાવીને કમાઈ પણ શકે છે.

લોકલ LLM માટે M5: મેમરી, ઝડપ અને કયાં મૉડલ ચાલે

1AI માટે મહત્ત્વના સ્પેક્સ

યુનિફાઇડ મેમરી	32 GB
મેમરી બૅન્ડવિડ્થ	153 GB/s
કયા Macમાં છે	14-inch MacBook Pro (2025), MacBook Air (2026)
તેના માટે સમર્પિત સીટ	Core સીટ: દિવસે 20 MLX સુધી માઇન કરે છે

2કયાં મૉડલ સમાય છે

દરેક વેઇટ દીઠ 4 બિટ પર મૉડલને દર અબજ પૅરામીટરે અડધા ગીગાબાઇટથી થોડી વધુ મેમરી જોઈએ, ઉપરાંત તેના કૉન્ટેક્સ્ટ અને macOS માટે જગ્યા. 32 GB સાથે M5 આશરે 42 અબજ પૅરામીટર સુધીનાં મૉડલ આરામથી સમાવે છે.

4-બિટ પર મૉડલ	જોઈતી મેમરી	M5 પર સમાય છે
8B મૉડલ	4.5 GB	હા
14B મૉડલ	7.9 GB	હા
32B મૉડલ	18 GB	હા
70B મૉડલ	39.4 GB	ના
gpt-oss-120b, mixture-of-experts	65 GB	ના
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	ના
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	ના

3તે કેટલી ઝડપે ચાલે છે

ટેક્સ્ટ લખવાની ઝડપ મેમરી બૅન્ડવિડ્થથી મર્યાદિત છે: દરેક નવો ટોકન મૉડલના સક્રિય વેઇટ એક વાર વાંચે છે. M5ની 153 GB/sને દર ટોકને વંચાતા બાઇટથી ભાગતાં નીચેની ટોચમર્યાદા મળે છે. વાસ્તવિક રન સામાન્ય રીતે તેના આશરે 45% થી 80% સુધી પહોંચે છે (llama.cpp બેન્ચમાર્ક).

4-બિટ પર મૉડલ	દર ટોકને વંચાય	એક ચૅટ માટે ટોચમર્યાદા
8B મૉડલ	4.5 GB	સેકન્ડે 34 ટોકન
14B મૉડલ	7.9 GB	સેકન્ડે 19 ટોકન
32B મૉડલ	18 GB	સેકન્ડે 9 ટોકન

માપેલું: llama.cppના જાહેર બેન્ચમાર્કમાં M5 (10-core GPU) પર Llama-2-7B (Q4_0) સેકન્ડે 32 ટોકન બનાવે છે.

M5 પેઢીની ચિપ GPUમાં ન્યુરલ ઍક્સિલરેટર ઉમેરે છે, એટલે તે M4 કરતાં અનેક ગણી ઝડપે પ્રૉમ્પ્ટ વાંચે છે: Appleએ માપ્યું કે MLX સાથે પહેલો ટોકન 3.3 થી 4.1 ગણો વહેલો આવે છે (Apple).

તમારા M5 Mac વડે કમાઓ

MLX Node તમે નક્કી કરેલી મર્યાદાઓમાં MLX Network માટે AIનું કામ ચલાવે છે અને MLX ટોકન કમાય છે. M5વાળું Mac Core સીટ પૂરા દરે ચલાવે છે, અને ત્યાં એક સીટ દિવસે 20 MLX સુધી માઇન કરે છે; મફત સીટ પર Mac દિવસે 1 MLX સુધી માઇન કરે છે. માઇન કરેલું MLX ફ્રી સીટ પર 30 દિવસ અને ડેડિકેટેડ સીટ સાથે 3 થી 20 દિવસ લૉક રહે છે. સમર્પિત સીટ અને જોખમો જુઓ.

MLX Node ડાઉનલોડ કરો

5બીજી ચિપ સાથે સરખાવો

6પ્રશ્નો

શું M5 70B મૉડલ ચલાવી શકે?: આરામથી નહીં. 4-બિટ પર 70B મૉડલને આશરે 40 GB જોઈએ, અને M5માં વધુમાં વધુ 32 GB છે. આશરે 42B પૅરામીટર સુધીનાં મૉડલ સારી રીતે સમાય છે.
M5 સેકન્ડે કેટલા ટોકન આપે છે?: 4-બિટ પર 8B મૉડલ માટે ટોચમર્યાદા સેકન્ડે આશરે 34 ટોકન છે, અને વાસ્તવિક રન તેના આશરે અડધાથી ચાર-પંચમાંશ સુધી પહોંચે છે. મોટાં મૉડલ એ જ પ્રમાણમાં ધીમાં ચાલે છે.
શું M5 AI માટે સારી છે?: મૉડલ લોકલી ચલાવવા માટે મેમરી અને બૅન્ડવિડ્થ સૌથી વધુ મહત્ત્વનાં છે. M5માં 153 GB/s પર 32 GB સુધી મેમરી છે, જે આશરે 42 અબજ પૅરામીટર સુધીનાં મૉડલ માટે પૂરતી છે. તે MLX Node વડે MLX Network માટે AIનું કામ ચલાવીને કમાઈ પણ શકે છે.

સ્રોત

Apple: M5apple.com
Apple: MacBook Air with M5apple.com
llama.cpp: Apple Silicon benchmarksgithub.com