બાજુ-બાજુમાં
લોકપ્રિય મૉડલ સાથે ઝડપ
એક વાતચીત માટે સેકન્ડ દીઠ ટોકન, દરેક ચિપ તેની સૌથી મોટી મેમરી સાઇઝ પર (64 GB અને 128 GB), મૉડલના સમાતા શ્રેષ્ઠ વર્ઝન સાથે.
| મૉડલ | M1 Max | M1 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 21–38 8-બિટ | 42–75 8-બિટ |
| gpt-oss-20b21B · 3.6B સક્રિય | 95–168 નેટિવ 4.25-બિટ | 189–337 નેટિવ 4.25-બિટ |
| Qwen3.6 35B A3B35B · 3B સક્રિય | 56–100 8-બિટ | 113–200 8-બિટ |
| Qwen3.8 27B27B | 12–21 4-બિટ | 13–22 8-બિટ |
| Llama 3.3 70B Instruct70B | 5–8 4-બિટ | 5–9 8-બિટ |
| gpt-oss-120b117B · 5.1B સક્રિય | 113–200 2-બિટ ઓછી ગુણવત્તા | 133–237 નેટિવ 4.25-બિટ |
| Qwen3.5 122B A10B122B · 10B સક્રિય | 58–103 2-બિટ ઓછી ગુણવત્તા | 64–114 4-બિટ |
| DeepSeek V4 Flash 0731284B · 13B સક્રિય | બહુ મોટું | 88–156 2-બિટ ઓછી ગુણવત્તા |
પ્રશ્નો
- શું LLM માટે M1 Ultra, M1 Max કરતાં ઝડપી છે?
- M1 Ultra, M1 Max કરતાં આશરે 100% ઝડપથી મેમરી વાંચે છે (800 વિ. 400 GB/s), એટલે બંનેમાં સમાતા કોઈ પણ મૉડલ સાથે તે આશરે 100% ઝડપથી લખે છે. લાંબો પ્રૉમ્પ્ટ વાંચવો GPU કમ્પ્યૂટ પર આધાર રાખે છે, જે આ સરખામણીમાં સામેલ નથી.
- મોટાં મૉડલ કોણ ચલાવી શકે, M1 Max કે M1 Ultra?
- M1 Ultra: M1 Ultraમાં 128 GB સુધી મેમરી મળે છે, M1 Maxમાં 64 GB સુધી. તેની સૌથી મોટી સાઇઝ પર તે 73માંથી 47 ઓપન મૉડલ સારી રીતે ચલાવે છે, બીજું 39.
વધુ સરખામણીઓ
લોકલ AI માટે M1 Max · લોકલ AI માટે M1 Ultra · દરેક મૉડલની સરખામણી કરો · લોકલ LLM માટે શ્રેષ્ઠ Mac
ગણતરી કેવી રીતે થઈ
મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.