LLMలకు DGX Spark, M3 Ultra కంటే వేగవంతమైనదా?

M3 Ultra మెమరీని DGX Spark కంటే సుమారు 200% వేగంగా చదువుతుంది (819 vs 273 GB/s), కాబట్టి రెండింటిలో సరిపోయే ఏ మోడల్తోనైనా సుమారు 200% వేగంగా రాస్తుంది. llama.cpp కొలిచిన పరీక్షలో DGX Spark ప్రాంప్ట్ను సుమారు 2.1× వేగంగా చదువుతుంది (సెకనుకు 3,062 vs 1,471 టోకెన్లు). ప్రాంప్ట్ చదవడం మెమరీ బ్యాండ్విడ్త్పై కాదు, GPU లెక్కింపు శక్తిపై ఆధారపడుతుంది; పొడవైన పత్రం లేదా కోడ్బేస్తో మొదటి పదం వరకు ఎంత వేచి ఉండాలో ఇదే నిర్ణయిస్తుంది.

M3 Ultra, DGX Sparkలలో పెద్ద మోడల్లను ఏది నడపగలదు?

M3 Ultra లో మోడల్స్ కోసం సుమారు 384 GB ఉంది, DGX Spark లో సుమారు 96 GB. 73 ప్రముఖ ఓపెన్ మోడల్స్లో 60 M3 Ultra పై బాగా నడుస్తాయి, 39 DGX Spark పై.

MLX Node DGX Spark పై నడుస్తుందా?

లేదు. MLX Node మరియు MLX Harness Apple Silicon Mac లపై మాత్రమే, Apple MLX ఫ్రేమ్వర్క్తో నడుస్తాయి.

లోకల్ LLMల కోసం M3 Ultra vs DGX Spark: మెమరీ, వేగం, ఏది కొనాలి

పక్కపక్కనే

	M3 Ultra	DGX Spark
ఇది ఏమిటి	Mac Studio (2025)	పూర్తి చిన్న కంప్యూటర్
మెమరీ సైజులు	96, 256, 512 GB	128 GB
మెమరీ బ్యాండ్‌విడ్త్	819 GB/s	273 GB/s
మోడల్‌లకు, గరిష్ఠంగా	సుమారు 384 GB	సుమారు 96 GB
బాగా నడిచే మోడల్‌లు	73లో 60	73లో 39
కొలిచినది: రాయడం	92 tok/s	57 tok/s
కొలిచినది: ప్రాంప్ట్ చదవడం	1,471 tok/s	3,062 tok/s

కొలిచిన వరుసలు: llama.cpp పబ్లిక్ బెంచ్‌మార్క్‌లలో Llama 2 7B Q4_0 తో ప్రతి మెషీన్ వేగవంతమైన ఫలితం, 128 టోకెన్లు రాసేటప్పుడు (tg128) మరియు 512 టోకెన్ల ప్రాంప్ట్ చదివేటప్పుడు (pp512), సెకనుకు టోకెన్లలో. Mac Metal పై, DGX Spark CUDA పై నడిచాయి. Apple Silicon ఫలితాలు · DGX Spark ఫలితాలు మోడల్స్ కోసం రెండింటిలోనూ మెమరీలో సుమారు 75% లెక్కిస్తాం, ఇది macOS డిఫాల్ట్, ఎందుకంటే DGX Spark లో కూడా CPU మరియు GPU ఒకే మెమరీని పంచుకుంటాయి. దాని GPU నిజంగా ఎంత వాడగలదో ఆపరేటింగ్ సిస్టమ్ మరియు సెట్టింగ్స్‌పై ఆధారపడి ఉంటుంది.

ఏది ఎక్కడ గెలుస్తుంది

రాసే వేగం. M3 Ultra మెమరీని DGX Spark కంటే సుమారు 200% వేగంగా చదువుతుంది (819 vs 273 GB/s), కాబట్టి రెండింటిలో సరిపోయే ఏ మోడల్‌తోనైనా సుమారు 200% వేగంగా రాస్తుంది.
మోడల్ పరిమాణం. M3 Ultra లో మోడల్స్ కోసం సుమారు 384 GB ఉంది, DGX Spark లో సుమారు 96 GB. 73 ప్రముఖ ఓపెన్ మోడల్స్‌లో 60 M3 Ultra పై బాగా నడుస్తాయి, 39 DGX Spark పై.
పొడవైన ప్రాంప్ట్‌లు చదవడం. llama.cpp కొలిచిన పరీక్షలో DGX Spark ప్రాంప్ట్‌ను సుమారు 2.1× వేగంగా చదువుతుంది (సెకనుకు 3,062 vs 1,471 టోకెన్లు). ప్రాంప్ట్ చదవడం మెమరీ బ్యాండ్‌విడ్త్‌పై కాదు, GPU లెక్కింపు శక్తిపై ఆధారపడుతుంది; పొడవైన పత్రం లేదా కోడ్‌బేస్‌తో మొదటి పదం వరకు ఎంత వేచి ఉండాలో ఇదే నిర్ణయిస్తుంది.
సాఫ్ట్‌వేర్. DGX Spark NVIDIA CUDA ను వాడుతుంది; ట్రైనింగ్ కోడ్ మరియు అనేక ఇమేజ్, వీడియో టూల్స్‌తో సహా చాలా AI సాఫ్ట్‌వేర్ మొదట దీనినే సపోర్ట్ చేస్తుంది. Mac లో మోడల్స్‌ను బదులుగా MLX, llama.cpp Metal బ్యాక్‌ఎండ్ లేదా PyTorch MPS బ్యాక్‌ఎండ్‌తో నడుపుతారు.
చుట్టూ. రెండూ పూర్తి కంప్యూటర్లు; CPU మరియు GPU పంచుకునే ఒకే మెమరీలో మోడల్‌ను ఉంచుతాయి.
Mac. ఇది రోజువారీ కంప్యూటర్ కూడా, Apple Silicon కోసం తయారైన MLX Harness మరియు MLX Node ఇందులో నడుస్తాయి.

ప్రముఖ మోడల్‌లతో వేగం

ఒక సంభాషణకు సెకనుకు టోకెన్‌లు; ప్రతి చిప్ దాని అతిపెద్ద మెమరీ సైజు వద్ద (512 GB, 128 GB), మోడల్ యొక్క సరిపోయే ఉత్తమ వెర్షన్‌తో.

మోడల్	M3 Ultra	DGX Spark
Llama 3.1 8B Instruct8B	43–77 8-బిట్	14–26 8-బిట్
gpt-oss-20b21B · 3.6B యాక్టివ్	194–345 నేటివ్ 4.25-బిట్	65–115 నేటివ్ 4.25-బిట్
Qwen3.6 35B A3B35B · 3B యాక్టివ్	115–205 8-బిట్	38–68 8-బిట్
Qwen3.8 27B27B	13–23 8-బిట్	4–8 8-బిట్
Llama 3.3 70B Instruct70B	5–9 8-బిట్	2–3 8-బిట్
gpt-oss-120b117B · 5.1B యాక్టివ్	137–243 నేటివ్ 4.25-బిట్	45–81 నేటివ్ 4.25-బిట్
Qwen3.5 122B A10B122B · 10B యాక్టివ్	35–62 8-బిట్	22–39 4-బిట్
DeepSeek V4 Flash 0731284B · 13B యాక్టివ్	27–47 8-బిట్	30–53 2-బిట్ తక్కువ నాణ్యత

ప్రశ్నలు

LLMలకు DGX Spark, M3 Ultra కంటే వేగవంతమైనదా?: M3 Ultra మెమరీని DGX Spark కంటే సుమారు 200% వేగంగా చదువుతుంది (819 vs 273 GB/s), కాబట్టి రెండింటిలో సరిపోయే ఏ మోడల్‌తోనైనా సుమారు 200% వేగంగా రాస్తుంది. llama.cpp కొలిచిన పరీక్షలో DGX Spark ప్రాంప్ట్‌ను సుమారు 2.1× వేగంగా చదువుతుంది (సెకనుకు 3,062 vs 1,471 టోకెన్లు). ప్రాంప్ట్ చదవడం మెమరీ బ్యాండ్‌విడ్త్‌పై కాదు, GPU లెక్కింపు శక్తిపై ఆధారపడుతుంది; పొడవైన పత్రం లేదా కోడ్‌బేస్‌తో మొదటి పదం వరకు ఎంత వేచి ఉండాలో ఇదే నిర్ణయిస్తుంది.
M3 Ultra, DGX Sparkలలో పెద్ద మోడల్‌లను ఏది నడపగలదు?: M3 Ultra లో మోడల్స్ కోసం సుమారు 384 GB ఉంది, DGX Spark లో సుమారు 96 GB. 73 ప్రముఖ ఓపెన్ మోడల్స్‌లో 60 M3 Ultra పై బాగా నడుస్తాయి, 39 DGX Spark పై.
MLX Node DGX Spark పై నడుస్తుందా?: లేదు. MLX Node మరియు MLX Harness Apple Silicon Mac లపై మాత్రమే, Apple MLX ఫ్రేమ్‌వర్క్‌తో నడుస్తాయి.

మరిన్ని పోలికలు

లోకల్ AI కోసం M3 Ultra · అన్ని మోడల్‌లను పోల్చండి · లోకల్ LLMలకు ఉత్తమ Mac

ఎలా లెక్కించాం

మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్‌కు చోటు. డిఫాల్ట్‌గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.

DGX Spark డేటా: NVIDIA: DGX Spark (specs).