LLM-களுக்கு DGX Spark, M5 Ultra-ஐ விட வேகமானதா?

M5 Ultra, DGX Spark-ஐ விட சுமார் 340% வேகமாக மெமரியைப் படிக்கிறது (1,200 vs 273 GB/s), எனவே இரண்டிலும் பொருந்தும் எந்த மாடலிலும் சுமார் 340% வேகமாக எழுதுகிறது. llama.cpp-இன் அளந்த சோதனையில் M5 Ultra ஒரு ப்ராம்ப்ட்டைச் சுமார் 1.6× வேகமாகப் படிக்கிறது (விநாடிக்கு 4,945 vs 3,062 டோக்கன்கள்). ப்ராம்ப்ட் படித்தல் மெமரி பேண்ட்வித்தை அல்ல, GPU-வின் கணக்கீட்டுத் திறனைச் சார்ந்தது; நீண்ட ஆவணம் அல்லது கோட்பேஸுடன் முதல் சொல் வரை எவ்வளவு காத்திருக்க வேண்டும் என்பதை இதுவே தீர்மானிக்கிறது.

பெரிய மாடல்களை எது இயக்கும், M5 Ultra-ஆ DGX Spark-ஆ?

M5 Ultra-இல் மாடல்களுக்குச் சுமார் 384 GB உள்ளது, DGX Spark-இல் சுமார் 96 GB. 73 பிரபல திறந்த மாடல்களில் 61 M5 Ultra-இல் நன்றாக இயங்குகின்றன, 39 DGX Spark-இல்.

MLX Node DGX Spark-இல் இயங்குமா?

இல்லை. MLX Node மற்றும் MLX Harness Apple Silicon Mac-களில் மட்டும், Apple-இன் MLX ஃப்ரேம்வொர்க்குடன் இயங்கும்.

LLM-களுக்கு M5 Ultra vs DGX Spark: மெமரி, வேகம், எதை வாங்குவது

அருகருகே

	M5 Ultra	DGX Spark
இது என்ன	Mac Studio (M5 Max or M5 Ultra)	முழுமையான சிறிய கணினி
மெமரி அளவுகள்	96, 256, 512 GB	128 GB
மெமரி பேண்ட்வித்	1,200 GB/s	273 GB/s
மாடல்களுக்கு, அதிகபட்சம்	சுமார் 384 GB	சுமார் 96 GB
நன்றாக இயங்கும் மாடல்கள்	73-இல் 61	73-இல் 39
அளந்தது: எழுதுதல்	179 tok/s	57 tok/s
அளந்தது: ப்ராம்ப்ட் படித்தல்	4,945 tok/s	3,062 tok/s

அளந்த வரிசைகள்: llama.cpp-இன் பொது பெஞ்ச்மார்க்குகளில் Llama 2 7B Q4_0 உடன் ஒவ்வொரு கணினியின் வேகமான முடிவு, 128 டோக்கன்கள் எழுதும்போது (tg128) மற்றும் 512 டோக்கன் ப்ராம்ப்ட்டைப் படிக்கும்போது (pp512), ஒரு விநாடிக்கு டோக்கன்களில். Mac Metal-இலும் DGX Spark CUDA-இலும் இயங்கின. Apple Silicon முடிவுகள் · DGX Spark முடிவுகள் மாடல்களுக்கு இரண்டிலும் மெமரியின் சுமார் 75% கணக்கிடுகிறோம், இது macOS-இன் இயல்புநிலை, ஏனெனில் DGX Spark-இலும் CPU-வும் GPU-வும் ஒரே மெமரியைப் பகிர்கின்றன. அதன் GPU உண்மையில் எவ்வளவு பயன்படுத்தலாம் என்பது இயங்குதளம் மற்றும் அமைப்புகளைப் பொறுத்தது.

எது எங்கே வெல்கிறது

எழுதும் வேகம். M5 Ultra, DGX Spark-ஐ விட சுமார் 340% வேகமாக மெமரியைப் படிக்கிறது (1,200 vs 273 GB/s), எனவே இரண்டிலும் பொருந்தும் எந்த மாடலிலும் சுமார் 340% வேகமாக எழுதுகிறது.
மாடல் அளவு. M5 Ultra-இல் மாடல்களுக்குச் சுமார் 384 GB உள்ளது, DGX Spark-இல் சுமார் 96 GB. 73 பிரபல திறந்த மாடல்களில் 61 M5 Ultra-இல் நன்றாக இயங்குகின்றன, 39 DGX Spark-இல்.
நீண்ட ப்ராம்ப்ட்களைப் படித்தல். llama.cpp-இன் அளந்த சோதனையில் M5 Ultra ஒரு ப்ராம்ப்ட்டைச் சுமார் 1.6× வேகமாகப் படிக்கிறது (விநாடிக்கு 4,945 vs 3,062 டோக்கன்கள்). ப்ராம்ப்ட் படித்தல் மெமரி பேண்ட்வித்தை அல்ல, GPU-வின் கணக்கீட்டுத் திறனைச் சார்ந்தது; நீண்ட ஆவணம் அல்லது கோட்பேஸுடன் முதல் சொல் வரை எவ்வளவு காத்திருக்க வேண்டும் என்பதை இதுவே தீர்மானிக்கிறது.
மென்பொருள். DGX Spark NVIDIA-வின் CUDA-வைப் பயன்படுத்துகிறது; பயிற்சிக் குறியீடு மற்றும் பல படம், வீடியோ கருவிகள் உட்பட பெரும்பாலான AI மென்பொருட்கள் முதலில் இதையே ஆதரிக்கின்றன. Mac-இல் மாடல்களை MLX, llama.cpp-இன் Metal பேக்எண்ட் அல்லது PyTorch-இன் MPS பேக்எண்ட் மூலம் இயக்குகிறீர்கள்.
சுற்றிலும். இரண்டும் முழுமையான கணினிகள்; CPU-வும் GPU-வும் பகிரும் ஒரே மெமரியில் மாடலை வைத்திருக்கின்றன.
Mac. இது அன்றாடக் கணினியும் கூட, Apple Silicon-க்காக உருவாக்கப்பட்ட MLX Harness மற்றும் MLX Node இதில் இயங்கும்.

பிரபல மாடல்களுடன் வேகம்

ஒரு உரையாடலுக்கு வினாடிக்கு டோக்கன்கள்; ஒவ்வொரு சிப்பும் அதன் மிகப் பெரிய மெமரி அளவில் (512 GB, 128 GB), மாடலின் பொருந்தும் சிறந்த பதிப்புடன்.

மாடல்	M5 Ultra	DGX Spark
Llama 3.1 8B Instruct8B	64–113 8-பிட்	14–26 8-பிட்
gpt-oss-20b21B · 3.6B செயலில்	284–505 நேட்டிவ் 4.25-பிட்	65–115 நேட்டிவ் 4.25-பிட்
Qwen3.6 35B A3B35B · 3B செயலில்	169–300 8-பிட்	38–68 8-பிட்
Qwen3.8 27B27B	19–33 8-பிட்	4–8 8-பிட்
Llama 3.3 70B Instruct70B	14–24 4-பிட்	2–3 8-பிட்
gpt-oss-120b117B · 5.1B செயலில்	200–356 நேட்டிவ் 4.25-பிட்	45–81 நேட்டிவ் 4.25-பிட்
Qwen3.5 122B A10B122B · 10B செயலில்	51–91 8-பிட்	22–39 4-பிட்
DeepSeek V4 Flash 0731284B · 13B செயலில்	39–70 8-பிட்	30–53 2-பிட் குறைந்த தரம்

கேள்விகள்

LLM-களுக்கு DGX Spark, M5 Ultra-ஐ விட வேகமானதா?: M5 Ultra, DGX Spark-ஐ விட சுமார் 340% வேகமாக மெமரியைப் படிக்கிறது (1,200 vs 273 GB/s), எனவே இரண்டிலும் பொருந்தும் எந்த மாடலிலும் சுமார் 340% வேகமாக எழுதுகிறது. llama.cpp-இன் அளந்த சோதனையில் M5 Ultra ஒரு ப்ராம்ப்ட்டைச் சுமார் 1.6× வேகமாகப் படிக்கிறது (விநாடிக்கு 4,945 vs 3,062 டோக்கன்கள்). ப்ராம்ப்ட் படித்தல் மெமரி பேண்ட்வித்தை அல்ல, GPU-வின் கணக்கீட்டுத் திறனைச் சார்ந்தது; நீண்ட ஆவணம் அல்லது கோட்பேஸுடன் முதல் சொல் வரை எவ்வளவு காத்திருக்க வேண்டும் என்பதை இதுவே தீர்மானிக்கிறது.
பெரிய மாடல்களை எது இயக்கும், M5 Ultra-ஆ DGX Spark-ஆ?: M5 Ultra-இல் மாடல்களுக்குச் சுமார் 384 GB உள்ளது, DGX Spark-இல் சுமார் 96 GB. 73 பிரபல திறந்த மாடல்களில் 61 M5 Ultra-இல் நன்றாக இயங்குகின்றன, 39 DGX Spark-இல்.
MLX Node DGX Spark-இல் இயங்குமா?: இல்லை. MLX Node மற்றும் MLX Harness Apple Silicon Mac-களில் மட்டும், Apple-இன் MLX ஃப்ரேம்வொர்க்குடன் இயங்கும்.

மேலும் ஒப்பீடுகள்

லோக்கல் AI-க்கு M5 Ultra · எல்லா மாடல்களையும் ஒப்பிடுங்கள் · லோக்கல் LLM-களுக்குச் சிறந்த Mac

எப்படிக் கணக்கிடப்பட்டது

மெமரி: மாடலின் பாராமீட்டர்கள் ஒரு வெயிட்டுக்கு 8, 6, 4, 3 அல்லது 2 பிட்களில், கூடவே MLX-இன் குரூப் ஸ்கேல்கள் (ஒரு வெயிட்டுக்கு அரை பிட்), அல்லது அதன் நேட்டிவ் வடிவம், அதற்கு மேல் கான்டெக்ஸ்ட்டுக்கு இடம். இயல்பாக macOS, யூனிஃபைடு மெமரியில் சுமார் 75%-ஐ GPU பயன்படுத்த அனுமதிக்கிறது. வேகம்: மெமரி பேண்ட்வித்தை ஒவ்வொரு டோக்கனுக்கும் படிக்கப்படும் பைட்டுகளால் வகுத்தால், ஒரு உரையாடலுக்கான உச்சவரம்பு கிடைக்கும்; llama.cpp-இன் பொது Apple Silicon பெஞ்ச்மார்க்குகளில் உண்மையான ரன்கள் அதில் சுமார் 45% முதல் 80% வரை எட்டுகின்றன, அந்த வரம்பே காட்டப்படுகிறது. இவை மதிப்பீடுகள், அளவீடுகள் அல்ல: உங்கள் சொந்த Mac-ஐ MLX Bench-இல் அளந்து பாருங்கள். மாடல் விவரங்கள் ஒவ்வொரு அதிகாரப்பூர்வ மாடல் கார்டிலிருந்தும், சிப் விவரங்கள் Apple-இன் Tech Specs-இலிருந்தும். சரிபார்த்தது 2026-10-19. mlx.app/compare-இல் உள்ள அதே தரவு.

DGX Spark தரவு: NVIDIA: DGX Spark (specs).