શું M3 Ultra 70B મૉડલ ચલાવી શકે?

હા. 4-બિટ પર 70B મૉડલને આશરે 40 GB જોઈએ, અને M3 Ultraમાં 512 GB સુધી મેમરી છે. એક ચૅટ માટે સેકન્ડે આશરે 21 ટોકનની ટોચમર્યાદા ગણો.

M3 Ultra સેકન્ડે કેટલા ટોકન આપે છે?

4-બિટ પર 8B મૉડલ માટે ટોચમર્યાદા સેકન્ડે આશરે 182 ટોકન છે, અને વાસ્તવિક રન તેના આશરે અડધાથી ચાર-પંચમાંશ સુધી પહોંચે છે. મોટાં મૉડલ એ જ પ્રમાણમાં ધીમાં ચાલે છે.

શું M3 Ultra AI માટે સારી છે?

મૉડલ લોકલી ચલાવવા માટે મેમરી અને બૅન્ડવિડ્થ સૌથી વધુ મહત્ત્વનાં છે. M3 Ultraમાં 819 GB/s પર 512 GB સુધી મેમરી છે, જે આશરે 682 અબજ પૅરામીટર સુધીનાં મૉડલ માટે પૂરતી છે. તે MLX Node વડે MLX Network માટે AIનું કામ ચલાવીને કમાઈ પણ શકે છે.

લોકલ LLM માટે M3 Ultra: મેમરી, ઝડપ અને કયાં મૉડલ ચાલે

1AI માટે મહત્ત્વના સ્પેક્સ

યુનિફાઇડ મેમરી	512 GB
મેમરી બૅન્ડવિડ્થ	819 GB/s
કયા Macમાં છે	Mac Studio (2025)
તેના માટે સમર્પિત સીટ	Ultra સીટ: દિવસે 320 MLX સુધી માઇન કરે છે

2કયાં મૉડલ સમાય છે

દરેક વેઇટ દીઠ 4 બિટ પર મૉડલને દર અબજ પૅરામીટરે અડધા ગીગાબાઇટથી થોડી વધુ મેમરી જોઈએ, ઉપરાંત તેના કૉન્ટેક્સ્ટ અને macOS માટે જગ્યા. 512 GB સાથે M3 Ultra આશરે 682 અબજ પૅરામીટર સુધીનાં મૉડલ આરામથી સમાવે છે.

4-બિટ પર મૉડલ	જોઈતી મેમરી	M3 Ultra પર સમાય છે
8B મૉડલ	4.5 GB	હા
14B મૉડલ	7.9 GB	હા
32B મૉડલ	18 GB	હા
70B મૉડલ	39.4 GB	હા
gpt-oss-120b, mixture-of-experts	65 GB	હા
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	હા
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	હા

3તે કેટલી ઝડપે ચાલે છે

ટેક્સ્ટ લખવાની ઝડપ મેમરી બૅન્ડવિડ્થથી મર્યાદિત છે: દરેક નવો ટોકન મૉડલના સક્રિય વેઇટ એક વાર વાંચે છે. M3 Ultraની 819 GB/sને દર ટોકને વંચાતા બાઇટથી ભાગતાં નીચેની ટોચમર્યાદા મળે છે. વાસ્તવિક રન સામાન્ય રીતે તેના આશરે 45% થી 80% સુધી પહોંચે છે (llama.cpp બેન્ચમાર્ક).

4-બિટ પર મૉડલ	દર ટોકને વંચાય	એક ચૅટ માટે ટોચમર્યાદા
8B મૉડલ	4.5 GB	સેકન્ડે 182 ટોકન
14B મૉડલ	7.9 GB	સેકન્ડે 104 ટોકન
32B મૉડલ	18 GB	સેકન્ડે 46 ટોકન
70B મૉડલ	39.4 GB	સેકન્ડે 21 ટોકન
gpt-oss-120b, mixture-of-experts	2.7 GB	સેકન્ડે 303 ટોકન
Qwen3.5-397B-A17B, mixture-of-experts	9.6 GB	સેકન્ડે 85 ટોકન
DeepSeek-V4.1-Flash, mixture-of-experts	9 GB	સેકન્ડે 91 ટોકન

માપેલું: llama.cppના જાહેર બેન્ચમાર્કમાં M3 Ultra (80-core GPU) પર Llama-2-7B (Q4_0) સેકન્ડે 92 ટોકન બનાવે છે.

તમારા M3 Ultra Mac વડે કમાઓ

MLX Node તમે નક્કી કરેલી મર્યાદાઓમાં MLX Network માટે AIનું કામ ચલાવે છે અને MLX ટોકન કમાય છે. M3 Ultraવાળું Mac Ultra સીટ પૂરા દરે ચલાવે છે, અને ત્યાં એક સીટ દિવસે 320 MLX સુધી માઇન કરે છે; મફત સીટ પર Mac દિવસે 1 MLX સુધી માઇન કરે છે. માઇન કરેલું MLX ફ્રી સીટ પર 30 દિવસ અને ડેડિકેટેડ સીટ સાથે 3 થી 20 દિવસ લૉક રહે છે. સમર્પિત સીટ અને જોખમો જુઓ.

MLX Node ડાઉનલોડ કરો

5બીજી ચિપ સાથે સરખાવો

6પ્રશ્નો

શું M3 Ultra 70B મૉડલ ચલાવી શકે?: હા. 4-બિટ પર 70B મૉડલને આશરે 40 GB જોઈએ, અને M3 Ultraમાં 512 GB સુધી મેમરી છે. એક ચૅટ માટે સેકન્ડે આશરે 21 ટોકનની ટોચમર્યાદા ગણો.
M3 Ultra સેકન્ડે કેટલા ટોકન આપે છે?: 4-બિટ પર 8B મૉડલ માટે ટોચમર્યાદા સેકન્ડે આશરે 182 ટોકન છે, અને વાસ્તવિક રન તેના આશરે અડધાથી ચાર-પંચમાંશ સુધી પહોંચે છે. મોટાં મૉડલ એ જ પ્રમાણમાં ધીમાં ચાલે છે.
શું M3 Ultra AI માટે સારી છે?: મૉડલ લોકલી ચલાવવા માટે મેમરી અને બૅન્ડવિડ્થ સૌથી વધુ મહત્ત્વનાં છે. M3 Ultraમાં 819 GB/s પર 512 GB સુધી મેમરી છે, જે આશરે 682 અબજ પૅરામીટર સુધીનાં મૉડલ માટે પૂરતી છે. તે MLX Node વડે MLX Network માટે AIનું કામ ચલાવીને કમાઈ પણ શકે છે.

સ્રોત

Apple: Mac Studio (2025) specssupport.apple.com
llama.cpp: Apple Silicon benchmarksgithub.com