શું LLM માટે DGX Spark, M5 Max કરતાં ઝડપી છે?

M5 Max, DGX Spark કરતાં આશરે 125% ઝડપથી મેમરી વાંચે છે (614 વિ. 273 GB/s), એટલે બંનેમાં સમાતા કોઈ પણ મૉડલ સાથે તે આશરે 125% ઝડપથી લખે છે. llama.cpp ના માપેલા ટેસ્ટમાં બંને લગભગ સરખી ઝડપે પ્રોમ્પ્ટ વાંચે છે (3,220 અને 3,062 ટોકન પ્રતિ સેકન્ડ).

મોટાં મૉડલ કોણ ચલાવી શકે, M5 Max કે DGX Spark?

બંને પાસે મોડેલ માટે લગભગ 96 GB છે. 73 લોકપ્રિય ઓપન મોડેલમાંથી 47 M5 Max પર સારી રીતે ચાલે છે, અને 39 DGX Spark પર.

શું MLX Node DGX Spark પર ચાલે છે?

ના. MLX Node અને MLX Harness ફક્ત Apple Silicon વાળા Mac પર, Apple ના MLX ફ્રેમવર્ક સાથે ચાલે છે.

લોકલ LLM માટે M5 Max વિ. DGX Spark: મેમરી, ઝડપ, કયું ખરીદવું

બાજુ-બાજુમાં

	M5 Max	DGX Spark
આ શું છે	MacBook Pro (14-inch, M5 Pro or M5 Max), MacBook Pro (16-inch, M5 Pro or M5 Max), Mac Studio (M5 Max or M5 Ultra)	એક સંપૂર્ણ નાનું કમ્પ્યુટર
મેમરી સાઇઝ	36, 48, 64, 128 GB	128 GB
મેમરી બૅન્ડવિડ્થ	460–614 GB/s	273 GB/s
મૉડલ માટે, વધુમાં વધુ	આશરે 96 GB	આશરે 96 GB
સારાં ચાલતાં મૉડલ	73માંથી 47	73માંથી 39
માપેલું: લખવું	120 tok/s	57 tok/s
માપેલું: પ્રોમ્પ્ટ વાંચવો	3,220 tok/s	3,062 tok/s

માપેલી હરોળો: llama.cpp ના જાહેર બેન્ચમાર્કમાં Llama 2 7B Q4_0 સાથે દરેક મશીનનું સૌથી ઝડપી પરિણામ, 128 ટોકન લખતી વખતે (tg128) અને 512 ટોકનનો પ્રોમ્પ્ટ વાંચતી વખતે (pp512), ટોકન પ્રતિ સેકન્ડમાં. Mac પર Metal અને DGX Spark પર CUDA ચાલ્યું. Apple Silicon ના પરિણામો · DGX Spark ના પરિણામો મોડેલ માટે અમે બંનેમાં લગભગ 75% મેમરી ગણીએ છીએ, જે macOS નું ડિફૉલ્ટ છે, કારણ કે DGX Spark માં પણ CPU અને GPU એક જ મેમરી વહેંચે છે. તેનું GPU ખરેખર કેટલી વાપરી શકે તે ઑપરેટિંગ સિસ્ટમ અને સેટિંગ્સ પર આધાર રાખે છે.

કોણ ક્યાં આગળ છે

લખવાની ઝડપ. M5 Max, DGX Spark કરતાં આશરે 125% ઝડપથી મેમરી વાંચે છે (614 વિ. 273 GB/s), એટલે બંનેમાં સમાતા કોઈ પણ મૉડલ સાથે તે આશરે 125% ઝડપથી લખે છે.
મોડેલનું કદ. બંને પાસે મોડેલ માટે લગભગ 96 GB છે. 73 લોકપ્રિય ઓપન મોડેલમાંથી 47 M5 Max પર સારી રીતે ચાલે છે, અને 39 DGX Spark પર.
લાંબા પ્રોમ્પ્ટ વાંચવા. llama.cpp ના માપેલા ટેસ્ટમાં બંને લગભગ સરખી ઝડપે પ્રોમ્પ્ટ વાંચે છે (3,220 અને 3,062 ટોકન પ્રતિ સેકન્ડ).
સોફ્ટવેર. DGX Spark NVIDIA નું CUDA વાપરે છે, જેને મોટાભાગના AI સોફ્ટવેર સૌથી પહેલાં સપોર્ટ કરે છે, તેમાં ટ્રેનિંગ કોડ અને ઘણાં ઇમેજ અને વિડિયો ટૂલ્સ આવે છે. Mac પર મોડેલ તેના બદલે MLX, llama.cpp ના Metal બેકએન્ડ અથવા PyTorch ના MPS બેકએન્ડથી ચાલે છે.
આસપાસ. બંને સંપૂર્ણ કમ્પ્યુટર છે જે મોડેલને CPU અને GPU વહેંચે છે તે એક જ મેમરીમાં રાખે છે.
Mac. તે રોજનું કમ્પ્યુટર પણ છે, અને Apple Silicon માટે બનેલા MLX Harness અને MLX Node ચલાવે છે.

લોકપ્રિય મૉડલ સાથે ઝડપ

એક વાતચીત માટે સેકન્ડ દીઠ ટોકન, દરેક ચિપ તેની સૌથી મોટી મેમરી સાઇઝ પર (128 GB અને 128 GB), મૉડલના સમાતા શ્રેષ્ઠ વર્ઝન સાથે.

મૉડલ	M5 Max	DGX Spark
Llama 3.1 8B Instruct8B	33–58 8-બિટ	14–26 8-બિટ
gpt-oss-20b21B · 3.6B સક્રિય	145–259 નેટિવ 4.25-બિટ	65–115 નેટિવ 4.25-બિટ
Qwen3.6 35B A3B35B · 3B સક્રિય	86–154 8-બિટ	38–68 8-બિટ
Qwen3.8 27B27B	10–17 8-બિટ	4–8 8-બિટ
Llama 3.3 70B Instruct70B	4–7 8-બિટ	2–3 8-બિટ
gpt-oss-120b117B · 5.1B સક્રિય	102–182 નેટિવ 4.25-બિટ	45–81 નેટિવ 4.25-બિટ
Qwen3.5 122B A10B122B · 10B સક્રિય	49–88 4-બિટ	22–39 4-બિટ
DeepSeek V4 Flash 0731284B · 13B સક્રિય	67–120 2-બિટ ઓછી ગુણવત્તા	30–53 2-બિટ ઓછી ગુણવત્તા

પ્રશ્નો

શું LLM માટે DGX Spark, M5 Max કરતાં ઝડપી છે?: M5 Max, DGX Spark કરતાં આશરે 125% ઝડપથી મેમરી વાંચે છે (614 વિ. 273 GB/s), એટલે બંનેમાં સમાતા કોઈ પણ મૉડલ સાથે તે આશરે 125% ઝડપથી લખે છે. llama.cpp ના માપેલા ટેસ્ટમાં બંને લગભગ સરખી ઝડપે પ્રોમ્પ્ટ વાંચે છે (3,220 અને 3,062 ટોકન પ્રતિ સેકન્ડ).
મોટાં મૉડલ કોણ ચલાવી શકે, M5 Max કે DGX Spark?: બંને પાસે મોડેલ માટે લગભગ 96 GB છે. 73 લોકપ્રિય ઓપન મોડેલમાંથી 47 M5 Max પર સારી રીતે ચાલે છે, અને 39 DGX Spark પર.
શું MLX Node DGX Spark પર ચાલે છે?: ના. MLX Node અને MLX Harness ફક્ત Apple Silicon વાળા Mac પર, Apple ના MLX ફ્રેમવર્ક સાથે ચાલે છે.

વધુ સરખામણીઓ

લોકલ AI માટે M5 Max · દરેક મૉડલની સરખામણી કરો · લોકલ LLM માટે શ્રેષ્ઠ Mac

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.

DGX Spark નો ડેટા: NVIDIA: DGX Spark (specs).