શું M5 Ultra 70B મૉડલ ચલાવી શકે?

હા. 4-બિટ પર 70B મૉડલને આશરે 40 GB જોઈએ, અને M5 Ultraમાં 512 GB સુધી મેમરી છે. એક ચૅટ માટે સેકન્ડે આશરે 30 ટોકનની ટોચમર્યાદા ગણો.

M5 Ultra સેકન્ડે કેટલા ટોકન આપે છે?

4-બિટ પર 8B મૉડલ માટે ટોચમર્યાદા સેકન્ડે આશરે 267 ટોકન છે, અને વાસ્તવિક રન તેના આશરે અડધાથી ચાર-પંચમાંશ સુધી પહોંચે છે. મોટાં મૉડલ એ જ પ્રમાણમાં ધીમાં ચાલે છે.

શું M5 Ultra AI માટે સારી છે?

મૉડલ લોકલી ચલાવવા માટે મેમરી અને બૅન્ડવિડ્થ સૌથી વધુ મહત્ત્વનાં છે. M5 Ultraમાં 1.2 TB/s પર 512 GB સુધી મેમરી છે, જે આશરે 682 અબજ પૅરામીટર સુધીનાં મૉડલ માટે પૂરતી છે. તે MLX Node વડે MLX Network માટે AIનું કામ ચલાવીને કમાઈ પણ શકે છે.

લોકલ LLM માટે M5 Ultra: મેમરી, ઝડપ અને કયાં મૉડલ ચાલે

1AI માટે મહત્ત્વના સ્પેક્સ

યુનિફાઇડ મેમરી	512 GB
મેમરી બૅન્ડવિડ્થ	1.2 TB/s
કયા Macમાં છે	Mac Studio (2026)
તેના માટે સમર્પિત સીટ	Ultra Latest સીટ: દિવસે 480 MLX સુધી માઇન કરે છે

2કયાં મૉડલ સમાય છે

દરેક વેઇટ દીઠ 4 બિટ પર મૉડલને દર અબજ પૅરામીટરે અડધા ગીગાબાઇટથી થોડી વધુ મેમરી જોઈએ, ઉપરાંત તેના કૉન્ટેક્સ્ટ અને macOS માટે જગ્યા. 512 GB સાથે M5 Ultra આશરે 682 અબજ પૅરામીટર સુધીનાં મૉડલ આરામથી સમાવે છે.

4-બિટ પર મૉડલ	જોઈતી મેમરી	M5 Ultra પર સમાય છે
8B મૉડલ	4.5 GB	હા
14B મૉડલ	7.9 GB	હા
32B મૉડલ	18 GB	હા
70B મૉડલ	39.4 GB	હા
gpt-oss-120b, mixture-of-experts	65 GB	હા
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	હા
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	હા

3તે કેટલી ઝડપે ચાલે છે

ટેક્સ્ટ લખવાની ઝડપ મેમરી બૅન્ડવિડ્થથી મર્યાદિત છે: દરેક નવો ટોકન મૉડલના સક્રિય વેઇટ એક વાર વાંચે છે. M5 Ultraની 1.2 TB/sને દર ટોકને વંચાતા બાઇટથી ભાગતાં નીચેની ટોચમર્યાદા મળે છે. વાસ્તવિક રન સામાન્ય રીતે તેના આશરે 45% થી 80% સુધી પહોંચે છે (llama.cpp બેન્ચમાર્ક).

4-બિટ પર મૉડલ	દર ટોકને વંચાય	એક ચૅટ માટે ટોચમર્યાદા
8B મૉડલ	4.5 GB	સેકન્ડે 267 ટોકન
14B મૉડલ	7.9 GB	સેકન્ડે 152 ટોકન
32B મૉડલ	18 GB	સેકન્ડે 67 ટોકન
70B મૉડલ	39.4 GB	સેકન્ડે 30 ટોકન
gpt-oss-120b, mixture-of-experts	2.7 GB	સેકન્ડે 444 ટોકન
Qwen3.5-397B-A17B, mixture-of-experts	9.6 GB	સેકન્ડે 125 ટોકન
DeepSeek-V4.1-Flash, mixture-of-experts	9 GB	સેકન્ડે 133 ટોકન

માપેલું: llama.cppના જાહેર બેન્ચમાર્કમાં M5 Ultra (80-core GPU) પર Llama-2-7B (Q4_0) સેકન્ડે 179 ટોકન બનાવે છે.

M5 પેઢીની ચિપ GPUમાં ન્યુરલ ઍક્સિલરેટર ઉમેરે છે, એટલે તે M4 કરતાં અનેક ગણી ઝડપે પ્રૉમ્પ્ટ વાંચે છે: Appleએ માપ્યું કે MLX સાથે પહેલો ટોકન 3.3 થી 4.1 ગણો વહેલો આવે છે (Apple).

તમારા M5 Ultra Mac વડે કમાઓ

MLX Node તમે નક્કી કરેલી મર્યાદાઓમાં MLX Network માટે AIનું કામ ચલાવે છે અને MLX ટોકન કમાય છે. M5 Ultraવાળું Mac Ultra Latest સીટ પૂરા દરે ચલાવે છે, અને ત્યાં એક સીટ દિવસે 480 MLX સુધી માઇન કરે છે; મફત સીટ પર Mac દિવસે 1 MLX સુધી માઇન કરે છે. માઇન કરેલું MLX ફ્રી સીટ પર 30 દિવસ અને ડેડિકેટેડ સીટ સાથે 3 થી 20 દિવસ લૉક રહે છે. સમર્પિત સીટ અને જોખમો જુઓ.

MLX Node ડાઉનલોડ કરો

5બીજી ચિપ સાથે સરખાવો

6પ્રશ્નો

શું M5 Ultra 70B મૉડલ ચલાવી શકે?: હા. 4-બિટ પર 70B મૉડલને આશરે 40 GB જોઈએ, અને M5 Ultraમાં 512 GB સુધી મેમરી છે. એક ચૅટ માટે સેકન્ડે આશરે 30 ટોકનની ટોચમર્યાદા ગણો.
M5 Ultra સેકન્ડે કેટલા ટોકન આપે છે?: 4-બિટ પર 8B મૉડલ માટે ટોચમર્યાદા સેકન્ડે આશરે 267 ટોકન છે, અને વાસ્તવિક રન તેના આશરે અડધાથી ચાર-પંચમાંશ સુધી પહોંચે છે. મોટાં મૉડલ એ જ પ્રમાણમાં ધીમાં ચાલે છે.
શું M5 Ultra AI માટે સારી છે?: મૉડલ લોકલી ચલાવવા માટે મેમરી અને બૅન્ડવિડ્થ સૌથી વધુ મહત્ત્વનાં છે. M5 Ultraમાં 1.2 TB/s પર 512 GB સુધી મેમરી છે, જે આશરે 682 અબજ પૅરામીટર સુધીનાં મૉડલ માટે પૂરતી છે. તે MLX Node વડે MLX Network માટે AIનું કામ ચલાવીને કમાઈ પણ શકે છે.

સ્રોત

Apple: M6 and M5 Ultraapple.com
llama.cpp: Apple Silicon benchmarksgithub.com