શું LLM માટે M3 Ultra, M2 Ultra કરતાં ઝડપી છે?

લગભગ સરખાં: તેમની મેમરી બૅન્ડવિડ્થમાં થોડા ટકાનો જ ફરક છે. M3 Ultraમાં 512 GB સુધી મેમરી મળે છે, M2 Ultraમાં 192 GB સુધી.

મોટાં મૉડલ કોણ ચલાવી શકે, M2 Ultra કે M3 Ultra?

M3 Ultra: M3 Ultraમાં 512 GB સુધી મેમરી મળે છે, M2 Ultraમાં 192 GB સુધી. તેની સૌથી મોટી સાઇઝ પર તે 73માંથી 60 ઓપન મૉડલ સારી રીતે ચલાવે છે, બીજું 49.

લોકલ LLM માટે M2 Ultra વિ. M3 Ultra: મેમરી, ઝડપ, કયું ખરીદવું

બાજુ-બાજુમાં

	M2 Ultra	M3 Ultra
મેમરી સાઇઝ	64, 128, 192 GB	96, 256, 512 GB
મેમરી બૅન્ડવિડ્થ	800 GB/s	819 GB/s
મૉડલ માટે, વધુમાં વધુ	આશરે 144 GB	આશરે 384 GB
સારાં ચાલતાં મૉડલ	73માંથી 49	73માંથી 60
MLX સીટ વર્ગ	Ultra	Ultra
આમાં મળે છે	Mac Studio (2023), Mac Pro (2023), Mac Pro (Rack, 2023)	Mac Studio (2025)

લોકપ્રિય મૉડલ સાથે ઝડપ

એક વાતચીત માટે સેકન્ડ દીઠ ટોકન, દરેક ચિપ તેની સૌથી મોટી મેમરી સાઇઝ પર (192 GB અને 512 GB), મૉડલના સમાતા શ્રેષ્ઠ વર્ઝન સાથે.

મૉડલ	M2 Ultra	M3 Ultra
Llama 3.1 8B Instruct8B	42–75 8-બિટ	43–77 8-બિટ
gpt-oss-20b21B · 3.6B સક્રિય	189–337 નેટિવ 4.25-બિટ	194–345 નેટિવ 4.25-બિટ
Qwen3.6 35B A3B35B · 3B સક્રિય	113–200 8-બિટ	115–205 8-બિટ
Qwen3.8 27B27B	13–22 8-બિટ	13–23 8-બિટ
Llama 3.3 70B Instruct70B	5–9 8-બિટ	5–9 8-બિટ
gpt-oss-120b117B · 5.1B સક્રિય	133–237 નેટિવ 4.25-બિટ	137–243 નેટિવ 4.25-બિટ
Qwen3.5 122B A10B122B · 10B સક્રિય	34–60 8-બિટ	35–62 8-બિટ
DeepSeek V4 Flash 0731284B · 13B સક્રિય	63–112 3-બિટ ઓછી ગુણવત્તા	27–47 8-બિટ

પ્રશ્નો

શું LLM માટે M3 Ultra, M2 Ultra કરતાં ઝડપી છે?: લગભગ સરખાં: તેમની મેમરી બૅન્ડવિડ્થમાં થોડા ટકાનો જ ફરક છે. M3 Ultraમાં 512 GB સુધી મેમરી મળે છે, M2 Ultraમાં 192 GB સુધી.
મોટાં મૉડલ કોણ ચલાવી શકે, M2 Ultra કે M3 Ultra?: M3 Ultra: M3 Ultraમાં 512 GB સુધી મેમરી મળે છે, M2 Ultraમાં 192 GB સુધી. તેની સૌથી મોટી સાઇઝ પર તે 73માંથી 60 ઓપન મૉડલ સારી રીતે ચલાવે છે, બીજું 49.

વધુ સરખામણીઓ

લોકલ AI માટે M2 Ultra · લોકલ AI માટે M3 Ultra · દરેક મૉડલની સરખામણી કરો · લોકલ LLM માટે શ્રેષ્ઠ Mac

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.