M5 Ultra 與 DGX Spark:本機 AI 比較。

M5 Ultra 的記憶體讀取速度比 DGX Spark 快約 340%(1,200 對 273 GB/s),所以執行兩者都放得下的模型時,產生速度快約 340%。 M5 Ultra 約有 384 GB 可用於模型,DGX Spark 約有 96 GB。

M5 Ultra1,200 GB/s最高 512 GB · 61 個模型順暢執行DGX Spark273 GB/s最高 128 GB · 39 個模型順暢執行

並排比較

M5 UltraDGX Spark
是什麼Mac Studio (M5 Max or M5 Ultra)一台完整的小型電腦
記憶體容量96, 256, 512 GB128 GB
記憶體頻寬1,200 GB/s273 GB/s
模型最多可用約 384 GB約 96 GB
順暢執行的模型61 / 7339 / 73
實測:生成179 tok/s57 tok/s
實測:讀取提示詞4,945 tok/s3,062 tok/s

實測列:每台機器在 llama.cpp 公開基準測試中用 Llama 2 7B Q4_0 跑出的最快結果,分別為生成 128 個 token(tg128)和讀取 512 個 token 的提示詞(pp512),單位為每秒 token 數。Mac 使用 Metal,DGX Spark 使用 CUDA。Apple Silicon 結果 · DGX Spark 結果 兩者用於模型的記憶體都以約 75% 計算,即 macOS 的預設值,因為 DGX Spark 同樣由 CPU 和 GPU 共用一塊記憶體。它的 GPU 實際能用多少,取決於作業系統和設定。

各自的優勢

  • 生成速度。 M5 Ultra 的記憶體讀取速度比 DGX Spark 快約 340%(1,200 對 273 GB/s),所以執行兩者都放得下的模型時,產生速度快約 340%。
  • 模型大小。 M5 Ultra 約有 384 GB 可用於模型,DGX Spark 約有 96 GB。 在 73 個熱門開放模型中,M5 Ultra 上有 61 個執行順暢,DGX Spark 上有 39 個。
  • 讀取長提示詞。 在 llama.cpp 的實測中,M5 Ultra 讀取提示詞的速度約為對方的 1.6 倍(每秒 4,945 對 3,062 個 token)。讀取提示詞取決於 GPU 的算力而不是記憶體頻寬,它決定了處理長文件或程式碼庫時要等多久才出現第一個字。
  • 軟體。 DGX Spark 使用 NVIDIA 的 CUDA,大多數 AI 軟體都優先支援它,包括訓練程式碼和許多影像、影片工具。在 Mac 上則用 MLX、llama.cpp 的 Metal 後端或 PyTorch 的 MPS 後端來執行模型。
  • 周邊。 兩者都是完整的電腦,把模型放在 CPU 和 GPU 共用的一塊記憶體裡。
  • Mac。 它也是一台日常使用的電腦,能執行為 Apple Silicon 打造的 MLX Harness 和 MLX Node。

熱門模型的速度

單一對話每秒產生的 token 數;每款晶片都以最大記憶體配置計算(512 GB 和 128 GB),使用放得下的最佳模型版本。

模型M5 UltraDGX Spark
Llama 3.1 8B Instruct8B64–113 8 位元14–26 8 位元
gpt-oss-20b21B · 啟用 3.6B284–505 原生 4.25 位元65–115 原生 4.25 位元
Qwen3.6 35B A3B35B · 啟用 3B169–300 8 位元38–68 8 位元
Qwen3.8 27B27B19–33 8 位元4–8 8 位元
Llama 3.3 70B Instruct70B14–24 4 位元2–3 8 位元
gpt-oss-120b117B · 啟用 5.1B200–356 原生 4.25 位元45–81 原生 4.25 位元
Qwen3.5 122B A10B122B · 啟用 10B51–91 8 位元22–39 4 位元
DeepSeek V4 Flash 0731284B · 啟用 13B39–70 8 位元30–53 2 位元 品質較低

常見問題

執行 LLM 時,DGX Spark 比 M5 Ultra 快嗎?
M5 Ultra 的記憶體讀取速度比 DGX Spark 快約 340%(1,200 對 273 GB/s),所以執行兩者都放得下的模型時,產生速度快約 340%。 在 llama.cpp 的實測中,M5 Ultra 讀取提示詞的速度約為對方的 1.6 倍(每秒 4,945 對 3,062 個 token)。讀取提示詞取決於 GPU 的算力而不是記憶體頻寬,它決定了處理長文件或程式碼庫時要等多久才出現第一個字。
M5 Ultra 和 DGX Spark,哪個能執行更大的模型?
M5 Ultra 約有 384 GB 可用於模型,DGX Spark 約有 96 GB。 在 73 個熱門開放模型中,M5 Ultra 上有 61 個執行順暢,DGX Spark 上有 39 個。
MLX Node 能在 DGX Spark 上執行嗎?
不能。MLX Node 和 MLX Harness 只能在 Apple Silicon Mac 上執行,使用 Apple 的 MLX 框架。

更多比較

用 M5 Ultra 執行本機 AI · 比較所有模型 · 執行本機 LLM 的最佳 Mac

計算方式

記憶體:模型參數以每個權重 8、6、4、3 或 2 位元計算,加上 MLX 的分組縮放(每個權重半個位元),或依其原生格式計算,再留出上下文空間。macOS 預設讓 GPU 使用約 75% 的統一記憶體。速度:記憶體頻寬除以每個 token 讀取的位元組數,就是單一對話的上限;在 llama.cpp 的 Apple Silicon 公開效能測試中,實際執行可達這個上限的約 45% 到 80%,本頁顯示的就是這個範圍。這些是估算值,不是實測值:可以到 MLX Bench 測量你自己的 Mac。模型數據來自各模型的官方模型卡,晶片數據來自 Apple 的技術規格。核對於 2026-10-19。數據與 mlx.app/compare 相同。

DGX Spark 數據:NVIDIA: DGX Spark (specs)。

M5 Ultra 與 DGX Spark 執行本機 AI 與 LLM 比較:記憶體、速度、怎麼選