LLMలకు DGX Spark, M5 Max కంటే వేగవంతమైనదా?

M5 Max మెమరీని DGX Spark కంటే సుమారు 125% వేగంగా చదువుతుంది (614 vs 273 GB/s), కాబట్టి రెండింటిలో సరిపోయే ఏ మోడల్తోనైనా సుమారు 125% వేగంగా రాస్తుంది. llama.cpp కొలిచిన పరీక్షలో రెండూ దాదాపు ఒకే వేగంతో ప్రాంప్ట్ చదువుతాయి (సెకనుకు 3,220 మరియు 3,062 టోకెన్లు).

M5 Max, DGX Sparkలలో పెద్ద మోడల్లను ఏది నడపగలదు?

రెండింటిలోనూ మోడల్స్ కోసం సుమారు 96 GB ఉంది. 73 ప్రముఖ ఓపెన్ మోడల్స్లో 47 M5 Max పై బాగా నడుస్తాయి, 39 DGX Spark పై.

MLX Node DGX Spark పై నడుస్తుందా?

లేదు. MLX Node మరియు MLX Harness Apple Silicon Mac లపై మాత్రమే, Apple MLX ఫ్రేమ్వర్క్తో నడుస్తాయి.

లోకల్ LLMల కోసం M5 Max vs DGX Spark: మెమరీ, వేగం, ఏది కొనాలి

పక్కపక్కనే

	M5 Max	DGX Spark
ఇది ఏమిటి	MacBook Pro (14-inch, M5 Pro or M5 Max), MacBook Pro (16-inch, M5 Pro or M5 Max), Mac Studio (M5 Max or M5 Ultra)	పూర్తి చిన్న కంప్యూటర్
మెమరీ సైజులు	36, 48, 64, 128 GB	128 GB
మెమరీ బ్యాండ్‌విడ్త్	460–614 GB/s	273 GB/s
మోడల్‌లకు, గరిష్ఠంగా	సుమారు 96 GB	సుమారు 96 GB
బాగా నడిచే మోడల్‌లు	73లో 47	73లో 39
కొలిచినది: రాయడం	120 tok/s	57 tok/s
కొలిచినది: ప్రాంప్ట్ చదవడం	3,220 tok/s	3,062 tok/s

కొలిచిన వరుసలు: llama.cpp పబ్లిక్ బెంచ్‌మార్క్‌లలో Llama 2 7B Q4_0 తో ప్రతి మెషీన్ వేగవంతమైన ఫలితం, 128 టోకెన్లు రాసేటప్పుడు (tg128) మరియు 512 టోకెన్ల ప్రాంప్ట్ చదివేటప్పుడు (pp512), సెకనుకు టోకెన్లలో. Mac Metal పై, DGX Spark CUDA పై నడిచాయి. Apple Silicon ఫలితాలు · DGX Spark ఫలితాలు మోడల్స్ కోసం రెండింటిలోనూ మెమరీలో సుమారు 75% లెక్కిస్తాం, ఇది macOS డిఫాల్ట్, ఎందుకంటే DGX Spark లో కూడా CPU మరియు GPU ఒకే మెమరీని పంచుకుంటాయి. దాని GPU నిజంగా ఎంత వాడగలదో ఆపరేటింగ్ సిస్టమ్ మరియు సెట్టింగ్స్‌పై ఆధారపడి ఉంటుంది.

ఏది ఎక్కడ గెలుస్తుంది

రాసే వేగం. M5 Max మెమరీని DGX Spark కంటే సుమారు 125% వేగంగా చదువుతుంది (614 vs 273 GB/s), కాబట్టి రెండింటిలో సరిపోయే ఏ మోడల్‌తోనైనా సుమారు 125% వేగంగా రాస్తుంది.
మోడల్ పరిమాణం. రెండింటిలోనూ మోడల్స్ కోసం సుమారు 96 GB ఉంది. 73 ప్రముఖ ఓపెన్ మోడల్స్‌లో 47 M5 Max పై బాగా నడుస్తాయి, 39 DGX Spark పై.
పొడవైన ప్రాంప్ట్‌లు చదవడం. llama.cpp కొలిచిన పరీక్షలో రెండూ దాదాపు ఒకే వేగంతో ప్రాంప్ట్ చదువుతాయి (సెకనుకు 3,220 మరియు 3,062 టోకెన్లు).
సాఫ్ట్‌వేర్. DGX Spark NVIDIA CUDA ను వాడుతుంది; ట్రైనింగ్ కోడ్ మరియు అనేక ఇమేజ్, వీడియో టూల్స్‌తో సహా చాలా AI సాఫ్ట్‌వేర్ మొదట దీనినే సపోర్ట్ చేస్తుంది. Mac లో మోడల్స్‌ను బదులుగా MLX, llama.cpp Metal బ్యాక్‌ఎండ్ లేదా PyTorch MPS బ్యాక్‌ఎండ్‌తో నడుపుతారు.
చుట్టూ. రెండూ పూర్తి కంప్యూటర్లు; CPU మరియు GPU పంచుకునే ఒకే మెమరీలో మోడల్‌ను ఉంచుతాయి.
Mac. ఇది రోజువారీ కంప్యూటర్ కూడా, Apple Silicon కోసం తయారైన MLX Harness మరియు MLX Node ఇందులో నడుస్తాయి.

ప్రముఖ మోడల్‌లతో వేగం

ఒక సంభాషణకు సెకనుకు టోకెన్‌లు; ప్రతి చిప్ దాని అతిపెద్ద మెమరీ సైజు వద్ద (128 GB, 128 GB), మోడల్ యొక్క సరిపోయే ఉత్తమ వెర్షన్‌తో.

మోడల్	M5 Max	DGX Spark
Llama 3.1 8B Instruct8B	33–58 8-బిట్	14–26 8-బిట్
gpt-oss-20b21B · 3.6B యాక్టివ్	145–259 నేటివ్ 4.25-బిట్	65–115 నేటివ్ 4.25-బిట్
Qwen3.6 35B A3B35B · 3B యాక్టివ్	86–154 8-బిట్	38–68 8-బిట్
Qwen3.8 27B27B	10–17 8-బిట్	4–8 8-బిట్
Llama 3.3 70B Instruct70B	4–7 8-బిట్	2–3 8-బిట్
gpt-oss-120b117B · 5.1B యాక్టివ్	102–182 నేటివ్ 4.25-బిట్	45–81 నేటివ్ 4.25-బిట్
Qwen3.5 122B A10B122B · 10B యాక్టివ్	49–88 4-బిట్	22–39 4-బిట్
DeepSeek V4 Flash 0731284B · 13B యాక్టివ్	67–120 2-బిట్ తక్కువ నాణ్యత	30–53 2-బిట్ తక్కువ నాణ్యత

ప్రశ్నలు

LLMలకు DGX Spark, M5 Max కంటే వేగవంతమైనదా?: M5 Max మెమరీని DGX Spark కంటే సుమారు 125% వేగంగా చదువుతుంది (614 vs 273 GB/s), కాబట్టి రెండింటిలో సరిపోయే ఏ మోడల్‌తోనైనా సుమారు 125% వేగంగా రాస్తుంది. llama.cpp కొలిచిన పరీక్షలో రెండూ దాదాపు ఒకే వేగంతో ప్రాంప్ట్ చదువుతాయి (సెకనుకు 3,220 మరియు 3,062 టోకెన్లు).
M5 Max, DGX Sparkలలో పెద్ద మోడల్‌లను ఏది నడపగలదు?: రెండింటిలోనూ మోడల్స్ కోసం సుమారు 96 GB ఉంది. 73 ప్రముఖ ఓపెన్ మోడల్స్‌లో 47 M5 Max పై బాగా నడుస్తాయి, 39 DGX Spark పై.
MLX Node DGX Spark పై నడుస్తుందా?: లేదు. MLX Node మరియు MLX Harness Apple Silicon Mac లపై మాత్రమే, Apple MLX ఫ్రేమ్‌వర్క్‌తో నడుస్తాయి.

మరిన్ని పోలికలు

లోకల్ AI కోసం M5 Max · అన్ని మోడల్‌లను పోల్చండి · లోకల్ LLMలకు ఉత్తమ Mac

ఎలా లెక్కించాం

మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్‌కు చోటు. డిఫాల్ట్‌గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.

DGX Spark డేటా: NVIDIA: DGX Spark (specs).