શું M2 Max 70B મૉડલ ચલાવી શકે?

હા. 4-બિટ પર 70B મૉડલને આશરે 40 GB જોઈએ, અને M2 Maxમાં 96 GB સુધી મેમરી છે. એક ચૅટ માટે સેકન્ડે આશરે 10 ટોકનની ટોચમર્યાદા ગણો.

M2 Max સેકન્ડે કેટલા ટોકન આપે છે?

4-બિટ પર 8B મૉડલ માટે ટોચમર્યાદા સેકન્ડે આશરે 89 ટોકન છે, અને વાસ્તવિક રન તેના આશરે અડધાથી ચાર-પંચમાંશ સુધી પહોંચે છે. મોટાં મૉડલ એ જ પ્રમાણમાં ધીમાં ચાલે છે.

શું M2 Max AI માટે સારી છે?

મૉડલ લોકલી ચલાવવા માટે મેમરી અને બૅન્ડવિડ્થ સૌથી વધુ મહત્ત્વનાં છે. M2 Maxમાં 400 GB/s પર 96 GB સુધી મેમરી છે, જે આશરે 128 અબજ પૅરામીટર સુધીનાં મૉડલ માટે પૂરતી છે. તે MLX Node વડે MLX Network માટે AIનું કામ ચલાવીને કમાઈ પણ શકે છે.

લોકલ LLM માટે M2 Max: મેમરી, ઝડપ અને કયાં મૉડલ ચાલે

1AI માટે મહત્ત્વના સ્પેક્સ

યુનિફાઇડ મેમરી	96 GB
મેમરી બૅન્ડવિડ્થ	400 GB/s
કયા Macમાં છે	14- and 16-inch MacBook Pro (2023), Mac Studio (2023)
તેના માટે સમર્પિત સીટ	Pro સીટ: દિવસે 80 MLX સુધી માઇન કરે છે

2કયાં મૉડલ સમાય છે

દરેક વેઇટ દીઠ 4 બિટ પર મૉડલને દર અબજ પૅરામીટરે અડધા ગીગાબાઇટથી થોડી વધુ મેમરી જોઈએ, ઉપરાંત તેના કૉન્ટેક્સ્ટ અને macOS માટે જગ્યા. 96 GB સાથે M2 Max આશરે 128 અબજ પૅરામીટર સુધીનાં મૉડલ આરામથી સમાવે છે.

4-બિટ પર મૉડલ	જોઈતી મેમરી	M2 Max પર સમાય છે
8B મૉડલ	4.5 GB	હા
14B મૉડલ	7.9 GB	હા
32B મૉડલ	18 GB	હા
70B મૉડલ	39.4 GB	હા
gpt-oss-120b, mixture-of-experts	65 GB	હા
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	ના
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	ના

3તે કેટલી ઝડપે ચાલે છે

ટેક્સ્ટ લખવાની ઝડપ મેમરી બૅન્ડવિડ્થથી મર્યાદિત છે: દરેક નવો ટોકન મૉડલના સક્રિય વેઇટ એક વાર વાંચે છે. M2 Maxની 400 GB/sને દર ટોકને વંચાતા બાઇટથી ભાગતાં નીચેની ટોચમર્યાદા મળે છે. વાસ્તવિક રન સામાન્ય રીતે તેના આશરે 45% થી 80% સુધી પહોંચે છે (llama.cpp બેન્ચમાર્ક).

4-બિટ પર મૉડલ	દર ટોકને વંચાય	એક ચૅટ માટે ટોચમર્યાદા
8B મૉડલ	4.5 GB	સેકન્ડે 89 ટોકન
14B મૉડલ	7.9 GB	સેકન્ડે 51 ટોકન
32B મૉડલ	18 GB	સેકન્ડે 22 ટોકન
70B મૉડલ	39.4 GB	સેકન્ડે 10 ટોકન
gpt-oss-120b, mixture-of-experts	2.7 GB	સેકન્ડે 148 ટોકન

તમારા M2 Max Mac વડે કમાઓ

MLX Node તમે નક્કી કરેલી મર્યાદાઓમાં MLX Network માટે AIનું કામ ચલાવે છે અને MLX ટોકન કમાય છે. M2 Maxવાળું Mac Pro સીટ પૂરા દરે ચલાવે છે, અને ત્યાં એક સીટ દિવસે 80 MLX સુધી માઇન કરે છે; મફત સીટ પર Mac દિવસે 1 MLX સુધી માઇન કરે છે. માઇન કરેલું MLX ફ્રી સીટ પર 30 દિવસ અને ડેડિકેટેડ સીટ સાથે 3 થી 20 દિવસ લૉક રહે છે. સમર્પિત સીટ અને જોખમો જુઓ.

MLX Node ડાઉનલોડ કરો

5બીજી ચિપ સાથે સરખાવો

6પ્રશ્નો

શું M2 Max 70B મૉડલ ચલાવી શકે?: હા. 4-બિટ પર 70B મૉડલને આશરે 40 GB જોઈએ, અને M2 Maxમાં 96 GB સુધી મેમરી છે. એક ચૅટ માટે સેકન્ડે આશરે 10 ટોકનની ટોચમર્યાદા ગણો.
M2 Max સેકન્ડે કેટલા ટોકન આપે છે?: 4-બિટ પર 8B મૉડલ માટે ટોચમર્યાદા સેકન્ડે આશરે 89 ટોકન છે, અને વાસ્તવિક રન તેના આશરે અડધાથી ચાર-પંચમાંશ સુધી પહોંચે છે. મોટાં મૉડલ એ જ પ્રમાણમાં ધીમાં ચાલે છે.
શું M2 Max AI માટે સારી છે?: મૉડલ લોકલી ચલાવવા માટે મેમરી અને બૅન્ડવિડ્થ સૌથી વધુ મહત્ત્વનાં છે. M2 Maxમાં 400 GB/s પર 96 GB સુધી મેમરી છે, જે આશરે 128 અબજ પૅરામીટર સુધીનાં મૉડલ માટે પૂરતી છે. તે MLX Node વડે MLX Network માટે AIનું કામ ચલાવીને કમાઈ પણ શકે છે.

સ્રોત

Apple: M2 Pro and M2 Maxapple.com
llama.cpp: Apple Silicon benchmarksgithub.com