બાજુ-બાજુમાં
લોકપ્રિય મૉડલ સાથે ઝડપ
એક વાતચીત માટે સેકન્ડ દીઠ ટોકન, દરેક ચિપ તેની સૌથી મોટી મેમરી સાઇઝ પર (32 GB અને 32 GB), મૉડલના સમાતા શ્રેષ્ઠ વર્ઝન સાથે.
| મૉડલ | M5 | M6 |
|---|---|---|
| Llama 3.1 8B Instruct8B | 11–19 6-બિટ | 12–21 6-બિટ |
| gpt-oss-20b21B · 3.6B સક્રિય | 36–64 નેટિવ 4.25-બિટ | 40–72 નેટિવ 4.25-બિટ |
| Qwen3.6 35B A3B35B · 3B સક્રિય | 41–72 4-બિટ | 45–80 4-બિટ |
| Qwen3.8 27B27B | 3–6 6-બિટ | 3–6 6-બિટ |
| Llama 3.3 70B Instruct70B | 3–6 2-બિટ ઓછી ગુણવત્તા | 3–6 2-બિટ ઓછી ગુણવત્તા |
| gpt-oss-120b117B · 5.1B સક્રિય | બહુ મોટું | બહુ મોટું |
| Qwen3.5 122B A10B122B · 10B સક્રિય | બહુ મોટું | બહુ મોટું |
| DeepSeek V4 Flash 0731284B · 13B સક્રિય | બહુ મોટું | બહુ મોટું |
પ્રશ્નો
- શું LLM માટે M6, M5 કરતાં ઝડપી છે?
- M6, M5 કરતાં આશરે 11% ઝડપથી મેમરી વાંચે છે (170 વિ. 153 GB/s), એટલે બંનેમાં સમાતા કોઈ પણ મૉડલ સાથે તે આશરે 11% ઝડપથી લખે છે. લાંબો પ્રૉમ્પ્ટ વાંચવો GPU કમ્પ્યૂટ પર આધાર રાખે છે, જે આ સરખામણીમાં સામેલ નથી.
- મોટાં મૉડલ કોણ ચલાવી શકે, M5 કે M6?
- બેમાંથી કોઈ નહીં: બંનેમાં 32 GB સુધી મેમરી મળે છે. એ સાઇઝ પર 73 ઓપન મૉડલમાંથી M5 પર 28 અને M6 પર 29 સારાં ચાલે છે; ઝડપી ચિપ તેમાંથી વધુ મૉડલને સેકન્ડના 10 ટોકનથી ઉપર લઈ જાય છે.
વધુ સરખામણીઓ
લોકલ AI માટે M5 · લોકલ AI માટે M6 · દરેક મૉડલની સરખામણી કરો · લોકલ LLM માટે શ્રેષ્ઠ Mac
ગણતરી કેવી રીતે થઈ
મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.