બાજુ-બાજુમાં
લોકપ્રિય મૉડલ સાથે ઝડપ
એક વાતચીત માટે સેકન્ડ દીઠ ટોકન, દરેક ચિપ તેની સૌથી મોટી મેમરી સાઇઝ પર (512 GB અને 512 GB), મૉડલના સમાતા શ્રેષ્ઠ વર્ઝન સાથે.
| મૉડલ | M3 Ultra | M5 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 43–77 8-બિટ | 64–113 8-બિટ |
| gpt-oss-20b21B · 3.6B સક્રિય | 194–345 નેટિવ 4.25-બિટ | 284–505 નેટિવ 4.25-બિટ |
| Qwen3.6 35B A3B35B · 3B સક્રિય | 115–205 8-બિટ | 169–300 8-બિટ |
| Qwen3.8 27B27B | 13–23 8-બિટ | 19–33 8-બિટ |
| Llama 3.3 70B Instruct70B | 5–9 8-બિટ | 14–24 4-બિટ |
| gpt-oss-120b117B · 5.1B સક્રિય | 137–243 નેટિવ 4.25-બિટ | 200–356 નેટિવ 4.25-બિટ |
| Qwen3.5 122B A10B122B · 10B સક્રિય | 35–62 8-બિટ | 51–91 8-બિટ |
| DeepSeek V4 Flash 0731284B · 13B સક્રિય | 27–47 8-બિટ | 39–70 8-બિટ |
પ્રશ્નો
- શું LLM માટે M5 Ultra, M3 Ultra કરતાં ઝડપી છે?
- M5 Ultra, M3 Ultra કરતાં આશરે 47% ઝડપથી મેમરી વાંચે છે (1,200 વિ. 819 GB/s), એટલે બંનેમાં સમાતા કોઈ પણ મૉડલ સાથે તે આશરે 47% ઝડપથી લખે છે. લાંબો પ્રૉમ્પ્ટ વાંચવો GPU કમ્પ્યૂટ પર આધાર રાખે છે, જે આ સરખામણીમાં સામેલ નથી.
- મોટાં મૉડલ કોણ ચલાવી શકે, M3 Ultra કે M5 Ultra?
- બેમાંથી કોઈ નહીં: બંનેમાં 512 GB સુધી મેમરી મળે છે. એ સાઇઝ પર 73 ઓપન મૉડલમાંથી M3 Ultra પર 60 અને M5 Ultra પર 61 સારાં ચાલે છે; ઝડપી ચિપ તેમાંથી વધુ મૉડલને સેકન્ડના 10 ટોકનથી ઉપર લઈ જાય છે.
વધુ સરખામણીઓ
- M2 Ultra vs M3 Ultra
- M3 Max vs M3 Ultra
- M3 Ultra vs M4 Max
- M3 Ultra vs M5 Max
- M4 Max vs M5 Ultra
- M5 Max vs M5 Ultra
લોકલ AI માટે M3 Ultra · લોકલ AI માટે M5 Ultra · દરેક મૉડલની સરખામણી કરો · લોકલ LLM માટે શ્રેષ્ઠ Mac
ગણતરી કેવી રીતે થઈ
મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.