શું M4 Pro 70B મૉડલ ચલાવી શકે?

હા. 4-બિટ પર 70B મૉડલને આશરે 40 GB જોઈએ, અને M4 Proમાં 64 GB સુધી મેમરી છે. એક ચૅટ માટે સેકન્ડે આશરે 7 ટોકનની ટોચમર્યાદા ગણો.

M4 Pro સેકન્ડે કેટલા ટોકન આપે છે?

4-બિટ પર 8B મૉડલ માટે ટોચમર્યાદા સેકન્ડે આશરે 61 ટોકન છે, અને વાસ્તવિક રન તેના આશરે અડધાથી ચાર-પંચમાંશ સુધી પહોંચે છે. મોટાં મૉડલ એ જ પ્રમાણમાં ધીમાં ચાલે છે.

શું M4 Pro AI માટે સારી છે?

મૉડલ લોકલી ચલાવવા માટે મેમરી અને બૅન્ડવિડ્થ સૌથી વધુ મહત્ત્વનાં છે. M4 Proમાં 273 GB/s પર 64 GB સુધી મેમરી છે, જે આશરે 85 અબજ પૅરામીટર સુધીનાં મૉડલ માટે પૂરતી છે. તે MLX Node વડે MLX Network માટે AIનું કામ ચલાવીને કમાઈ પણ શકે છે.

લોકલ LLM માટે M4 Pro: મેમરી, ઝડપ અને કયાં મૉડલ ચાલે

1AI માટે મહત્ત્વના સ્પેક્સ

યુનિફાઇડ મેમરી	64 GB
મેમરી બૅન્ડવિડ્થ	273 GB/s
કયા Macમાં છે	Mac mini (2024), 14- and 16-inch MacBook Pro (2024)
તેના માટે સમર્પિત સીટ	Pro સીટ: દિવસે 80 MLX સુધી માઇન કરે છે

2કયાં મૉડલ સમાય છે

દરેક વેઇટ દીઠ 4 બિટ પર મૉડલને દર અબજ પૅરામીટરે અડધા ગીગાબાઇટથી થોડી વધુ મેમરી જોઈએ, ઉપરાંત તેના કૉન્ટેક્સ્ટ અને macOS માટે જગ્યા. 64 GB સાથે M4 Pro આશરે 85 અબજ પૅરામીટર સુધીનાં મૉડલ આરામથી સમાવે છે.

4-બિટ પર મૉડલ	જોઈતી મેમરી	M4 Pro પર સમાય છે
8B મૉડલ	4.5 GB	હા
14B મૉડલ	7.9 GB	હા
32B મૉડલ	18 GB	હા
70B મૉડલ	39.4 GB	હા
gpt-oss-120b, mixture-of-experts	65 GB	ના
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	ના
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	ના

3તે કેટલી ઝડપે ચાલે છે

ટેક્સ્ટ લખવાની ઝડપ મેમરી બૅન્ડવિડ્થથી મર્યાદિત છે: દરેક નવો ટોકન મૉડલના સક્રિય વેઇટ એક વાર વાંચે છે. M4 Proની 273 GB/sને દર ટોકને વંચાતા બાઇટથી ભાગતાં નીચેની ટોચમર્યાદા મળે છે. વાસ્તવિક રન સામાન્ય રીતે તેના આશરે 45% થી 80% સુધી પહોંચે છે (llama.cpp બેન્ચમાર્ક).

4-બિટ પર મૉડલ	દર ટોકને વંચાય	એક ચૅટ માટે ટોચમર્યાદા
8B મૉડલ	4.5 GB	સેકન્ડે 61 ટોકન
14B મૉડલ	7.9 GB	સેકન્ડે 35 ટોકન
32B મૉડલ	18 GB	સેકન્ડે 15 ટોકન
70B મૉડલ	39.4 GB	સેકન્ડે 7 ટોકન

તમારા M4 Pro Mac વડે કમાઓ

MLX Node તમે નક્કી કરેલી મર્યાદાઓમાં MLX Network માટે AIનું કામ ચલાવે છે અને MLX ટોકન કમાય છે. M4 Proવાળું Mac Pro સીટ પૂરા દરે ચલાવે છે, અને ત્યાં એક સીટ દિવસે 80 MLX સુધી માઇન કરે છે; મફત સીટ પર Mac દિવસે 1 MLX સુધી માઇન કરે છે. માઇન કરેલું MLX ફ્રી સીટ પર 30 દિવસ અને ડેડિકેટેડ સીટ સાથે 3 થી 20 દિવસ લૉક રહે છે. સમર્પિત સીટ અને જોખમો જુઓ.

MLX Node ડાઉનલોડ કરો

5બીજી ચિપ સાથે સરખાવો

6પ્રશ્નો

શું M4 Pro 70B મૉડલ ચલાવી શકે?: હા. 4-બિટ પર 70B મૉડલને આશરે 40 GB જોઈએ, અને M4 Proમાં 64 GB સુધી મેમરી છે. એક ચૅટ માટે સેકન્ડે આશરે 7 ટોકનની ટોચમર્યાદા ગણો.
M4 Pro સેકન્ડે કેટલા ટોકન આપે છે?: 4-બિટ પર 8B મૉડલ માટે ટોચમર્યાદા સેકન્ડે આશરે 61 ટોકન છે, અને વાસ્તવિક રન તેના આશરે અડધાથી ચાર-પંચમાંશ સુધી પહોંચે છે. મોટાં મૉડલ એ જ પ્રમાણમાં ધીમાં ચાલે છે.
શું M4 Pro AI માટે સારી છે?: મૉડલ લોકલી ચલાવવા માટે મેમરી અને બૅન્ડવિડ્થ સૌથી વધુ મહત્ત્વનાં છે. M4 Proમાં 273 GB/s પર 64 GB સુધી મેમરી છે, જે આશરે 85 અબજ પૅરામીટર સુધીનાં મૉડલ માટે પૂરતી છે. તે MLX Node વડે MLX Network માટે AIનું કામ ચલાવીને કમાઈ પણ શકે છે.

સ્રોત

Apple: M4 Pro and M4 Maxapple.com
Apple: Mac mini (2024) specssupport.apple.com