పక్కపక్కనే
| M5 Ultra | DGX Spark | |
|---|---|---|
| ఇది ఏమిటి | Mac Studio (M5 Max or M5 Ultra) | పూర్తి చిన్న కంప్యూటర్ |
| మెమరీ సైజులు | 96, 256, 512 GB | 128 GB |
| మెమరీ బ్యాండ్‌విడ్త్ | 1,200 GB/s | 273 GB/s |
| మోడల్‌లకు, గరిష్ఠంగా | సుమారు 384 GB | సుమారు 96 GB |
| బాగా నడిచే మోడల్‌లు | 73లో 61 | 73లో 39 |
| కొలిచినది: రాయడం | 179 tok/s | 57 tok/s |
| కొలిచినది: ప్రాంప్ట్ చదవడం | 4,945 tok/s | 3,062 tok/s |
కొలిచిన వరుసలు: llama.cpp పబ్లిక్ బెంచ్‌మార్క్‌లలో Llama 2 7B Q4_0 తో ప్రతి మెషీన్ వేగవంతమైన ఫలితం, 128 టోకెన్లు రాసేటప్పుడు (tg128) మరియు 512 టోకెన్ల ప్రాంప్ట్ చదివేటప్పుడు (pp512), సెకనుకు టోకెన్లలో. Mac Metal పై, DGX Spark CUDA పై నడిచాయి. Apple Silicon ఫలితాలు · DGX Spark ఫలితాలు మోడల్స్ కోసం రెండింటిలోనూ మెమరీలో సుమారు 75% లెక్కిస్తాం, ఇది macOS డిఫాల్ట్, ఎందుకంటే DGX Spark లో కూడా CPU మరియు GPU ఒకే మెమరీని పంచుకుంటాయి. దాని GPU నిజంగా ఎంత వాడగలదో ఆపరేటింగ్ సిస్టమ్ మరియు సెట్టింగ్స్‌పై ఆధారపడి ఉంటుంది.
ఏది ఎక్కడ గెలుస్తుంది
- రాసే వేగం. M5 Ultra మెమరీని DGX Spark కంటే సుమారు 340% వేగంగా చదువుతుంది (1,200 vs 273 GB/s), కాబట్టి రెండింటిలో సరిపోయే ఏ మోడల్తోనైనా సుమారు 340% వేగంగా రాస్తుంది.
- మోడల్ పరిమాణం. M5 Ultra లో మోడల్స్ కోసం సుమారు 384 GB ఉంది, DGX Spark లో సుమారు 96 GB. 73 ప్రముఖ ఓపెన్ మోడల్స్లో 61 M5 Ultra పై బాగా నడుస్తాయి, 39 DGX Spark పై.
- పొడవైన ప్రాంప్ట్‌లు చదవడం. llama.cpp కొలిచిన పరీక్షలో M5 Ultra ప్రాంప్ట్ను సుమారు 1.6× వేగంగా చదువుతుంది (సెకనుకు 4,945 vs 3,062 టోకెన్లు). ప్రాంప్ట్ చదవడం మెమరీ బ్యాండ్విడ్త్పై కాదు, GPU లెక్కింపు శక్తిపై ఆధారపడుతుంది; పొడవైన పత్రం లేదా కోడ్బేస్తో మొదటి పదం వరకు ఎంత వేచి ఉండాలో ఇదే నిర్ణయిస్తుంది.
- సాఫ్ట్‌వేర్. DGX Spark NVIDIA CUDA ను వాడుతుంది; ట్రైనింగ్ కోడ్ మరియు అనేక ఇమేజ్, వీడియో టూల్స్‌తో సహా చాలా AI సాఫ్ట్‌వేర్ మొదట దీనినే సపోర్ట్ చేస్తుంది. Mac లో మోడల్స్‌ను బదులుగా MLX, llama.cpp Metal బ్యాక్‌ఎండ్ లేదా PyTorch MPS బ్యాక్‌ఎండ్‌తో నడుపుతారు.
- చుట్టూ. రెండూ పూర్తి కంప్యూటర్లు; CPU మరియు GPU పంచుకునే ఒకే మెమరీలో మోడల్‌ను ఉంచుతాయి.
- Mac. ఇది రోజువారీ కంప్యూటర్ కూడా, Apple Silicon కోసం తయారైన MLX Harness మరియు MLX Node ఇందులో నడుస్తాయి.
ప్రముఖ మోడల్‌లతో వేగం
ఒక సంభాషణకు సెకనుకు టోకెన్లు; ప్రతి చిప్ దాని అతిపెద్ద మెమరీ సైజు వద్ద (512 GB, 128 GB), మోడల్ యొక్క సరిపోయే ఉత్తమ వెర్షన్‌తో.
| మోడల్ | M5 Ultra | DGX Spark |
|---|---|---|
| Llama 3.1 8B Instruct8B | 64–113 8-బిట్ | 14–26 8-బిట్ |
| gpt-oss-20b21B · 3.6B యాక్టివ్ | 284–505 నేటివ్ 4.25-బిట్ | 65–115 నేటివ్ 4.25-బిట్ |
| Qwen3.6 35B A3B35B · 3B యాక్టివ్ | 169–300 8-బిట్ | 38–68 8-బిట్ |
| Qwen3.8 27B27B | 19–33 8-బిట్ | 4–8 8-బిట్ |
| Llama 3.3 70B Instruct70B | 14–24 4-బిట్ | 2–3 8-బిట్ |
| gpt-oss-120b117B · 5.1B యాక్టివ్ | 200–356 నేటివ్ 4.25-బిట్ | 45–81 నేటివ్ 4.25-బిట్ |
| Qwen3.5 122B A10B122B · 10B యాక్టివ్ | 51–91 8-బిట్ | 22–39 4-బిట్ |
| DeepSeek V4 Flash 0731284B · 13B యాక్టివ్ | 39–70 8-బిట్ | 30–53 2-బిట్ తక్కువ నాణ్యత |
ప్రశ్నలు
- LLMలకు DGX Spark, M5 Ultra కంటే వేగవంతమైనదా?
- M5 Ultra మెమరీని DGX Spark కంటే సుమారు 340% వేగంగా చదువుతుంది (1,200 vs 273 GB/s), కాబట్టి రెండింటిలో సరిపోయే ఏ మోడల్తోనైనా సుమారు 340% వేగంగా రాస్తుంది. llama.cpp కొలిచిన పరీక్షలో M5 Ultra ప్రాంప్ట్ను సుమారు 1.6× వేగంగా చదువుతుంది (సెకనుకు 4,945 vs 3,062 టోకెన్లు). ప్రాంప్ట్ చదవడం మెమరీ బ్యాండ్విడ్త్పై కాదు, GPU లెక్కింపు శక్తిపై ఆధారపడుతుంది; పొడవైన పత్రం లేదా కోడ్బేస్తో మొదటి పదం వరకు ఎంత వేచి ఉండాలో ఇదే నిర్ణయిస్తుంది.
- M5 Ultra, DGX Sparkలలో పెద్ద మోడల్లను ఏది నడపగలదు?
- M5 Ultra లో మోడల్స్ కోసం సుమారు 384 GB ఉంది, DGX Spark లో సుమారు 96 GB. 73 ప్రముఖ ఓపెన్ మోడల్స్లో 61 M5 Ultra పై బాగా నడుస్తాయి, 39 DGX Spark పై.
- MLX Node DGX Spark పై నడుస్తుందా?
- లేదు. MLX Node మరియు MLX Harness Apple Silicon Mac లపై మాత్రమే, Apple MLX ఫ్రేమ్వర్క్తో నడుస్తాయి.
మరిన్ని పోలికలు
- M5 Ultra vs RTX PRO 6000
- M4 Max vs DGX Spark
- M5 Max vs DGX Spark
- M3 Ultra vs DGX Spark
- M3 Ultra vs M5 Ultra
- M4 Max vs M5 Ultra
- M5 Max vs M5 Ultra
లోకల్ AI కోసం M5 Ultra · అన్ని మోడల్లను పోల్చండి · లోకల్ LLMలకు ఉత్తమ Mac
ఎలా లెక్కించాం
మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్‌కు చోటు. డిఫాల్ట్‌గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.
DGX Spark డేటా: NVIDIA: DGX Spark (specs).