શું LLM માટે DGX Spark, M5 Ultra કરતાં ઝડપી છે?

M5 Ultra, DGX Spark કરતાં આશરે 340% ઝડપથી મેમરી વાંચે છે (1,200 વિ. 273 GB/s), એટલે બંનેમાં સમાતા કોઈ પણ મૉડલ સાથે તે આશરે 340% ઝડપથી લખે છે. llama.cpp ના માપેલા ટેસ્ટમાં M5 Ultra પ્રોમ્પ્ટ લગભગ 1.6× ઝડપથી વાંચે છે (4,945 વિરુદ્ધ 3,062 ટોકન પ્રતિ સેકન્ડ). પ્રોમ્પ્ટ વાંચવું મેમરી બેન્ડવિડ્થ પર નહીં પણ GPU ની ગણતરી શક્તિ પર આધાર રાખે છે, અને લાંબા દસ્તાવેજ કે કોડબેઝ સાથે પહેલા શબ્દ સુધી કેટલી રાહ જોવી પડશે તે આ જ નક્કી કરે છે.

મોટાં મૉડલ કોણ ચલાવી શકે, M5 Ultra કે DGX Spark?

M5 Ultra પાસે મોડેલ માટે લગભગ 384 GB છે, DGX Spark પાસે લગભગ 96 GB. 73 લોકપ્રિય ઓપન મોડેલમાંથી 61 M5 Ultra પર સારી રીતે ચાલે છે, અને 39 DGX Spark પર.

શું MLX Node DGX Spark પર ચાલે છે?

ના. MLX Node અને MLX Harness ફક્ત Apple Silicon વાળા Mac પર, Apple ના MLX ફ્રેમવર્ક સાથે ચાલે છે.

લોકલ LLM માટે M5 Ultra વિ. DGX Spark: મેમરી, ઝડપ, કયું ખરીદવું

બાજુ-બાજુમાં

	M5 Ultra	DGX Spark
આ શું છે	Mac Studio (M5 Max or M5 Ultra)	એક સંપૂર્ણ નાનું કમ્પ્યુટર
મેમરી સાઇઝ	96, 256, 512 GB	128 GB
મેમરી બૅન્ડવિડ્થ	1,200 GB/s	273 GB/s
મૉડલ માટે, વધુમાં વધુ	આશરે 384 GB	આશરે 96 GB
સારાં ચાલતાં મૉડલ	73માંથી 61	73માંથી 39
માપેલું: લખવું	179 tok/s	57 tok/s
માપેલું: પ્રોમ્પ્ટ વાંચવો	4,945 tok/s	3,062 tok/s

માપેલી હરોળો: llama.cpp ના જાહેર બેન્ચમાર્કમાં Llama 2 7B Q4_0 સાથે દરેક મશીનનું સૌથી ઝડપી પરિણામ, 128 ટોકન લખતી વખતે (tg128) અને 512 ટોકનનો પ્રોમ્પ્ટ વાંચતી વખતે (pp512), ટોકન પ્રતિ સેકન્ડમાં. Mac પર Metal અને DGX Spark પર CUDA ચાલ્યું. Apple Silicon ના પરિણામો · DGX Spark ના પરિણામો મોડેલ માટે અમે બંનેમાં લગભગ 75% મેમરી ગણીએ છીએ, જે macOS નું ડિફૉલ્ટ છે, કારણ કે DGX Spark માં પણ CPU અને GPU એક જ મેમરી વહેંચે છે. તેનું GPU ખરેખર કેટલી વાપરી શકે તે ઑપરેટિંગ સિસ્ટમ અને સેટિંગ્સ પર આધાર રાખે છે.

કોણ ક્યાં આગળ છે

લખવાની ઝડપ. M5 Ultra, DGX Spark કરતાં આશરે 340% ઝડપથી મેમરી વાંચે છે (1,200 વિ. 273 GB/s), એટલે બંનેમાં સમાતા કોઈ પણ મૉડલ સાથે તે આશરે 340% ઝડપથી લખે છે.
મોડેલનું કદ. M5 Ultra પાસે મોડેલ માટે લગભગ 384 GB છે, DGX Spark પાસે લગભગ 96 GB. 73 લોકપ્રિય ઓપન મોડેલમાંથી 61 M5 Ultra પર સારી રીતે ચાલે છે, અને 39 DGX Spark પર.
લાંબા પ્રોમ્પ્ટ વાંચવા. llama.cpp ના માપેલા ટેસ્ટમાં M5 Ultra પ્રોમ્પ્ટ લગભગ 1.6× ઝડપથી વાંચે છે (4,945 વિરુદ્ધ 3,062 ટોકન પ્રતિ સેકન્ડ). પ્રોમ્પ્ટ વાંચવું મેમરી બેન્ડવિડ્થ પર નહીં પણ GPU ની ગણતરી શક્તિ પર આધાર રાખે છે, અને લાંબા દસ્તાવેજ કે કોડબેઝ સાથે પહેલા શબ્દ સુધી કેટલી રાહ જોવી પડશે તે આ જ નક્કી કરે છે.
સોફ્ટવેર. DGX Spark NVIDIA નું CUDA વાપરે છે, જેને મોટાભાગના AI સોફ્ટવેર સૌથી પહેલાં સપોર્ટ કરે છે, તેમાં ટ્રેનિંગ કોડ અને ઘણાં ઇમેજ અને વિડિયો ટૂલ્સ આવે છે. Mac પર મોડેલ તેના બદલે MLX, llama.cpp ના Metal બેકએન્ડ અથવા PyTorch ના MPS બેકએન્ડથી ચાલે છે.
આસપાસ. બંને સંપૂર્ણ કમ્પ્યુટર છે જે મોડેલને CPU અને GPU વહેંચે છે તે એક જ મેમરીમાં રાખે છે.
Mac. તે રોજનું કમ્પ્યુટર પણ છે, અને Apple Silicon માટે બનેલા MLX Harness અને MLX Node ચલાવે છે.

લોકપ્રિય મૉડલ સાથે ઝડપ

એક વાતચીત માટે સેકન્ડ દીઠ ટોકન, દરેક ચિપ તેની સૌથી મોટી મેમરી સાઇઝ પર (512 GB અને 128 GB), મૉડલના સમાતા શ્રેષ્ઠ વર્ઝન સાથે.

મૉડલ	M5 Ultra	DGX Spark
Llama 3.1 8B Instruct8B	64–113 8-બિટ	14–26 8-બિટ
gpt-oss-20b21B · 3.6B સક્રિય	284–505 નેટિવ 4.25-બિટ	65–115 નેટિવ 4.25-બિટ
Qwen3.6 35B A3B35B · 3B સક્રિય	169–300 8-બિટ	38–68 8-બિટ
Qwen3.8 27B27B	19–33 8-બિટ	4–8 8-બિટ
Llama 3.3 70B Instruct70B	14–24 4-બિટ	2–3 8-બિટ
gpt-oss-120b117B · 5.1B સક્રિય	200–356 નેટિવ 4.25-બિટ	45–81 નેટિવ 4.25-બિટ
Qwen3.5 122B A10B122B · 10B સક્રિય	51–91 8-બિટ	22–39 4-બિટ
DeepSeek V4 Flash 0731284B · 13B સક્રિય	39–70 8-બિટ	30–53 2-બિટ ઓછી ગુણવત્તા

પ્રશ્નો

શું LLM માટે DGX Spark, M5 Ultra કરતાં ઝડપી છે?: M5 Ultra, DGX Spark કરતાં આશરે 340% ઝડપથી મેમરી વાંચે છે (1,200 વિ. 273 GB/s), એટલે બંનેમાં સમાતા કોઈ પણ મૉડલ સાથે તે આશરે 340% ઝડપથી લખે છે. llama.cpp ના માપેલા ટેસ્ટમાં M5 Ultra પ્રોમ્પ્ટ લગભગ 1.6× ઝડપથી વાંચે છે (4,945 વિરુદ્ધ 3,062 ટોકન પ્રતિ સેકન્ડ). પ્રોમ્પ્ટ વાંચવું મેમરી બેન્ડવિડ્થ પર નહીં પણ GPU ની ગણતરી શક્તિ પર આધાર રાખે છે, અને લાંબા દસ્તાવેજ કે કોડબેઝ સાથે પહેલા શબ્દ સુધી કેટલી રાહ જોવી પડશે તે આ જ નક્કી કરે છે.
મોટાં મૉડલ કોણ ચલાવી શકે, M5 Ultra કે DGX Spark?: M5 Ultra પાસે મોડેલ માટે લગભગ 384 GB છે, DGX Spark પાસે લગભગ 96 GB. 73 લોકપ્રિય ઓપન મોડેલમાંથી 61 M5 Ultra પર સારી રીતે ચાલે છે, અને 39 DGX Spark પર.
શું MLX Node DGX Spark પર ચાલે છે?: ના. MLX Node અને MLX Harness ફક્ત Apple Silicon વાળા Mac પર, Apple ના MLX ફ્રેમવર્ક સાથે ચાલે છે.

વધુ સરખામણીઓ

લોકલ AI માટે M5 Ultra · દરેક મૉડલની સરખામણી કરો · લોકલ LLM માટે શ્રેષ્ઠ Mac

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.

DGX Spark નો ડેટા: NVIDIA: DGX Spark (specs).