શું M3 Max 70B મૉડલ ચલાવી શકે?

હા. 4-બિટ પર 70B મૉડલને આશરે 40 GB જોઈએ, અને M3 Maxમાં 128 GB સુધી મેમરી છે. એક ચૅટ માટે સેકન્ડે આશરે 10 ટોકનની ટોચમર્યાદા ગણો.

M3 Max સેકન્ડે કેટલા ટોકન આપે છે?

4-બિટ પર 8B મૉડલ માટે ટોચમર્યાદા સેકન્ડે આશરે 89 ટોકન છે, અને વાસ્તવિક રન તેના આશરે અડધાથી ચાર-પંચમાંશ સુધી પહોંચે છે. મોટાં મૉડલ એ જ પ્રમાણમાં ધીમાં ચાલે છે.

શું M3 Max AI માટે સારી છે?

મૉડલ લોકલી ચલાવવા માટે મેમરી અને બૅન્ડવિડ્થ સૌથી વધુ મહત્ત્વનાં છે. M3 Maxમાં 400 GB/s પર 128 GB સુધી મેમરી છે, જે આશરે 170 અબજ પૅરામીટર સુધીનાં મૉડલ માટે પૂરતી છે. તે MLX Node વડે MLX Network માટે AIનું કામ ચલાવીને કમાઈ પણ શકે છે.

લોકલ LLM માટે M3 Max: મેમરી, ઝડપ અને કયાં મૉડલ ચાલે

1AI માટે મહત્ત્વના સ્પેક્સ

યુનિફાઇડ મેમરી	128 GB
મેમરી બૅન્ડવિડ્થ	400 GB/s, અથવા નીચલા કૉન્ફિગરેશનમાં 300 GB/s
કયા Macમાં છે	14- and 16-inch MacBook Pro (2023)
તેના માટે સમર્પિત સીટ	Pro સીટ: દિવસે 80 MLX સુધી માઇન કરે છે

2કયાં મૉડલ સમાય છે

દરેક વેઇટ દીઠ 4 બિટ પર મૉડલને દર અબજ પૅરામીટરે અડધા ગીગાબાઇટથી થોડી વધુ મેમરી જોઈએ, ઉપરાંત તેના કૉન્ટેક્સ્ટ અને macOS માટે જગ્યા. 128 GB સાથે M3 Max આશરે 170 અબજ પૅરામીટર સુધીનાં મૉડલ આરામથી સમાવે છે.

4-બિટ પર મૉડલ	જોઈતી મેમરી	M3 Max પર સમાય છે
8B મૉડલ	4.5 GB	હા
14B મૉડલ	7.9 GB	હા
32B મૉડલ	18 GB	હા
70B મૉડલ	39.4 GB	હા
gpt-oss-120b, mixture-of-experts	65 GB	હા
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	ના
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	ના

3તે કેટલી ઝડપે ચાલે છે

ટેક્સ્ટ લખવાની ઝડપ મેમરી બૅન્ડવિડ્થથી મર્યાદિત છે: દરેક નવો ટોકન મૉડલના સક્રિય વેઇટ એક વાર વાંચે છે. M3 Maxની 400 GB/sને દર ટોકને વંચાતા બાઇટથી ભાગતાં નીચેની ટોચમર્યાદા મળે છે. વાસ્તવિક રન સામાન્ય રીતે તેના આશરે 45% થી 80% સુધી પહોંચે છે (llama.cpp બેન્ચમાર્ક).

4-બિટ પર મૉડલ	દર ટોકને વંચાય	એક ચૅટ માટે ટોચમર્યાદા
8B મૉડલ	4.5 GB	સેકન્ડે 89 ટોકન
14B મૉડલ	7.9 GB	સેકન્ડે 51 ટોકન
32B મૉડલ	18 GB	સેકન્ડે 22 ટોકન
70B મૉડલ	39.4 GB	સેકન્ડે 10 ટોકન
gpt-oss-120b, mixture-of-experts	2.7 GB	સેકન્ડે 148 ટોકન

તમારા M3 Max Mac વડે કમાઓ

MLX Node તમે નક્કી કરેલી મર્યાદાઓમાં MLX Network માટે AIનું કામ ચલાવે છે અને MLX ટોકન કમાય છે. M3 Maxવાળું Mac Pro સીટ પૂરા દરે ચલાવે છે, અને ત્યાં એક સીટ દિવસે 80 MLX સુધી માઇન કરે છે; મફત સીટ પર Mac દિવસે 1 MLX સુધી માઇન કરે છે. માઇન કરેલું MLX ફ્રી સીટ પર 30 દિવસ અને ડેડિકેટેડ સીટ સાથે 3 થી 20 દિવસ લૉક રહે છે. સમર્પિત સીટ અને જોખમો જુઓ.

MLX Node ડાઉનલોડ કરો

5બીજી ચિપ સાથે સરખાવો

6પ્રશ્નો

શું M3 Max 70B મૉડલ ચલાવી શકે?: હા. 4-બિટ પર 70B મૉડલને આશરે 40 GB જોઈએ, અને M3 Maxમાં 128 GB સુધી મેમરી છે. એક ચૅટ માટે સેકન્ડે આશરે 10 ટોકનની ટોચમર્યાદા ગણો.
M3 Max સેકન્ડે કેટલા ટોકન આપે છે?: 4-બિટ પર 8B મૉડલ માટે ટોચમર્યાદા સેકન્ડે આશરે 89 ટોકન છે, અને વાસ્તવિક રન તેના આશરે અડધાથી ચાર-પંચમાંશ સુધી પહોંચે છે. મોટાં મૉડલ એ જ પ્રમાણમાં ધીમાં ચાલે છે.
શું M3 Max AI માટે સારી છે?: મૉડલ લોકલી ચલાવવા માટે મેમરી અને બૅન્ડવિડ્થ સૌથી વધુ મહત્ત્વનાં છે. M3 Maxમાં 400 GB/s પર 128 GB સુધી મેમરી છે, જે આશરે 170 અબજ પૅરામીટર સુધીનાં મૉડલ માટે પૂરતી છે. તે MLX Node વડે MLX Network માટે AIનું કામ ચલાવીને કમાઈ પણ શકે છે.

સ્રોત

Apple: M3, M3 Pro and M3 Maxapple.com
Apple: MacBook Pro (M3 Pro or M3 Max) specssupport.apple.com