LLM에서 DGX Spark가 M5 Ultra보다 빠른가요?

M5 Ultra는 DGX Spark보다 메모리를 약 340% 빠르게 읽어서(1,200 대 273GB/s), 둘 다에 들어가는 모델이라면 약 340% 더 빠르게 생성합니다. llama.cpp 실측에서 M5 Ultra이(가) 프롬프트를 약 1.6배 빠르게 읽습니다(초당 4,945 대 3,062 토큰). 프롬프트 읽기는 메모리 대역폭이 아니라 GPU 연산 성능에 달려 있으며, 긴 문서나 코드베이스에서 첫 단어가 나올 때까지의 대기 시간을 정합니다.

M5 Ultra와 DGX Spark 중 더 큰 모델을 실행할 수 있는 쪽은?

M5 Ultra은(는) 모델에 약 384GB, DGX Spark은(는) 약 96GB를 쓸 수 있습니다. 인기 오픈 모델 73개 중 M5 Ultra에서는 61개, DGX Spark에서는 39개가 잘 돌아갑니다.

MLX Node가 DGX Spark에서 돌아가나요?

아니요. MLX Node와 MLX Harness는 Apple의 MLX 프레임워크로 Apple Silicon Mac에서만 돌아갑니다.

로컬 AI·LLM용 M5 Ultra vs DGX Spark: 메모리, 속도, 무엇을 살까

나란히 비교

	M5 Ultra	DGX Spark
종류	Mac Studio (M5 Max or M5 Ultra)	완성된 소형 컴퓨터
메모리 용량	96, 256, 512 GB	128 GB
메모리 대역폭	1,200 GB/s	273 GB/s
모델에 쓸 수 있는 최대량	약 384GB	약 96GB
쾌적하게 실행되는 모델	73개 중 61개	73개 중 39개
실측: 생성	179 tok/s	57 tok/s
실측: 프롬프트 읽기	4,945 tok/s	3,062 tok/s

실측 행: llama.cpp 공개 벤치마크에서 Llama 2 7B Q4_0으로 측정한 각 기기의 가장 빠른 결과로, 128토큰 생성(tg128)과 512토큰 프롬프트 읽기(pp512)를 초당 토큰 수로 나타냅니다. Mac은 Metal, DGX Spark은(는) CUDA로 실행했습니다. Apple Silicon 결과 · DGX Spark 결과 모델에 쓸 수 있는 메모리는 둘 다 macOS 기본값인 약 75%로 계산합니다. DGX Spark도 CPU와 GPU가 하나의 메모리를 함께 쓰기 때문입니다. GPU가 실제로 얼마나 쓸 수 있는지는 운영체제와 설정에 따라 다릅니다.

각자 이기는 부분

생성 속도. M5 Ultra는 DGX Spark보다 메모리를 약 340% 빠르게 읽어서(1,200 대 273GB/s), 둘 다에 들어가는 모델이라면 약 340% 더 빠르게 생성합니다.
모델 크기. M5 Ultra은(는) 모델에 약 384GB, DGX Spark은(는) 약 96GB를 쓸 수 있습니다. 인기 오픈 모델 73개 중 M5 Ultra에서는 61개, DGX Spark에서는 39개가 잘 돌아갑니다.
긴 프롬프트 읽기. llama.cpp 실측에서 M5 Ultra이(가) 프롬프트를 약 1.6배 빠르게 읽습니다(초당 4,945 대 3,062 토큰). 프롬프트 읽기는 메모리 대역폭이 아니라 GPU 연산 성능에 달려 있으며, 긴 문서나 코드베이스에서 첫 단어가 나올 때까지의 대기 시간을 정합니다.
소프트웨어. DGX Spark은(는) NVIDIA의 CUDA를 씁니다. 학습 코드와 많은 이미지·동영상 도구를 포함해 대부분의 AI 소프트웨어가 CUDA를 먼저 지원합니다. Mac에서는 대신 MLX, llama.cpp의 Metal 백엔드, PyTorch의 MPS 백엔드로 모델을 실행합니다.
주변 구성. 둘 다 완성된 컴퓨터로, CPU와 GPU가 함께 쓰는 하나의 메모리에 모델을 둡니다.
Mac. 매일 쓰는 컴퓨터이기도 하며, Apple Silicon용으로 만든 MLX Harness와 MLX Node가 돌아갑니다.

모델	M5 Ultra	DGX Spark
Llama 3.1 8B Instruct8B	64–113 8비트	14–26 8비트
gpt-oss-20b21B · 활성 3.6B	284–505 네이티브 4.25비트	65–115 네이티브 4.25비트
Qwen3.6 35B A3B35B · 활성 3B	169–300 8비트	38–68 8비트
Qwen3.8 27B27B	19–33 8비트	4–8 8비트
Llama 3.3 70B Instruct70B	14–24 4비트	2–3 8비트
gpt-oss-120b117B · 활성 5.1B	200–356 네이티브 4.25비트	45–81 네이티브 4.25비트
Qwen3.5 122B A10B122B · 활성 10B	51–91 8비트	22–39 4비트
DeepSeek V4 Flash 0731284B · 활성 13B	39–70 8비트	30–53 2비트 품질 낮음

자주 묻는 질문

LLM에서 DGX Spark가 M5 Ultra보다 빠른가요?: M5 Ultra는 DGX Spark보다 메모리를 약 340% 빠르게 읽어서(1,200 대 273GB/s), 둘 다에 들어가는 모델이라면 약 340% 더 빠르게 생성합니다. llama.cpp 실측에서 M5 Ultra이(가) 프롬프트를 약 1.6배 빠르게 읽습니다(초당 4,945 대 3,062 토큰). 프롬프트 읽기는 메모리 대역폭이 아니라 GPU 연산 성능에 달려 있으며, 긴 문서나 코드베이스에서 첫 단어가 나올 때까지의 대기 시간을 정합니다.
M5 Ultra와 DGX Spark 중 더 큰 모델을 실행할 수 있는 쪽은?: M5 Ultra은(는) 모델에 약 384GB, DGX Spark은(는) 약 96GB를 쓸 수 있습니다. 인기 오픈 모델 73개 중 M5 Ultra에서는 61개, DGX Spark에서는 39개가 잘 돌아갑니다.
MLX Node가 DGX Spark에서 돌아가나요?: 아니요. MLX Node와 MLX Harness는 Apple의 MLX 프레임워크로 Apple Silicon Mac에서만 돌아갑니다.

더 많은 비교

로컬 AI를 위한 M5 Ultra · 모든 모델 비교하기 · 로컬 LLM에 가장 좋은 Mac

계산 방법

메모리: 모델 파라미터를 가중치당 8, 6, 4, 3, 2비트로 계산하고 MLX의 그룹 스케일(가중치당 0.5비트)을 더하거나 네이티브 형식 그대로 계산한 뒤, 컨텍스트를 위한 여유를 더했습니다. macOS는 기본적으로 GPU가 통합 메모리의 약 75%를 쓰도록 허용합니다. 속도: 메모리 대역폭을 토큰당 읽는 바이트 수로 나눈 값이 한 대화의 상한입니다. llama.cpp의 Apple Silicon 공개 벤치마크에서 실제 속도는 그 상한의 약 45~80%였고, 여기 표시한 범위가 바로 그 값입니다. 측정값이 아닌 추정값이니, 내 Mac은 MLX Bench에서 직접 측정해 보세요. 모델 수치는 각 공식 모델 카드, 칩 수치는 Apple 기술 사양에서 가져왔습니다. 2026-10-19 확인. mlx.app/compare와 같은 데이터입니다.

DGX Spark 자료: NVIDIA: DGX Spark (specs).

로컬 AI용 M5 Ultra vs DGX Spark.