로그인지갑 만들기

로컬 AI용 M5 Ultra vs RTX PRO 6000.

RTX PRO 6000는 M5 Ultra보다 메모리를 약 49% 빠르게 읽어서(1,792 대 1,200GB/s), 둘 다에 들어가는 모델이라면 약 49% 더 빠르게 생성합니다. M5 Ultra은(는) 모델에 약 384GB, RTX PRO 6000은(는) 약 95GB를 쓸 수 있습니다.

M5 Ultra1,200 GB/s최대 512GB · 61개 모델 쾌적RTX PRO 60001,792 GB/s최대 96GB · 50개 모델 쾌적

나란히 비교

M5 UltraRTX PRO 6000
종류Mac Studio (M5 Max or M5 Ultra)데스크톱 PC용 그래픽 카드
메모리 용량96, 256, 512 GB96 GB
메모리 대역폭1,200 GB/s1,792 GB/s
모델에 쓸 수 있는 최대량약 384GB약 95GB
쾌적하게 실행되는 모델73개 중 61개73개 중 50개
실측: 생성179 tok/s274 tok/s
실측: 프롬프트 읽기4,945 tok/s14,855 tok/s

실측 행: llama.cpp 공개 벤치마크에서 Llama 2 7B Q4_0으로 측정한 각 기기의 가장 빠른 결과로, 128토큰 생성(tg128)과 512토큰 프롬프트 읽기(pp512)를 초당 토큰 수로 나타냅니다. Mac은 Metal, RTX PRO 6000은(는) CUDA로 실행했습니다. Apple Silicon 결과 · RTX PRO 6000 결과 모델에 쓸 수 있는 메모리는 RTX PRO 6000의 경우 자체 96GB에서 약 1GB를 뺀 값, Mac은 통합 메모리의 약 75%(macOS 기본값)로 계산합니다.

각자 이기는 부분

  • 생성 속도. RTX PRO 6000는 M5 Ultra보다 메모리를 약 49% 빠르게 읽어서(1,792 대 1,200GB/s), 둘 다에 들어가는 모델이라면 약 49% 더 빠르게 생성합니다.
  • 모델 크기. M5 Ultra은(는) 모델에 약 384GB, RTX PRO 6000은(는) 약 95GB를 쓸 수 있습니다. 인기 오픈 모델 73개 중 M5 Ultra에서는 61개, RTX PRO 6000에서는 50개가 잘 돌아갑니다.
  • 긴 프롬프트 읽기. llama.cpp 실측에서 RTX PRO 6000이(가) 프롬프트를 약 3배 빠르게 읽습니다(초당 14,855 대 4,945 토큰). 프롬프트 읽기는 메모리 대역폭이 아니라 GPU 연산 성능에 달려 있으며, 긴 문서나 코드베이스에서 첫 단어가 나올 때까지의 대기 시간을 정합니다.
  • 소프트웨어. RTX PRO 6000은(는) NVIDIA의 CUDA를 씁니다. 학습 코드와 많은 이미지·동영상 도구를 포함해 대부분의 AI 소프트웨어가 CUDA를 먼저 지원합니다. Mac에서는 대신 MLX, llama.cpp의 Metal 백엔드, PyTorch의 MPS 백엔드로 모델을 실행합니다.
  • 주변 구성. 그래픽 카드에는 이를 꽂을 PC가 필요하고, 자체 96GB가 한계입니다. 들어가지 않는 모델은 훨씬 느린 PC 시스템 메모리에서 일부를 돌리거나 두 번째 카드에 나눠야 합니다.
  • Mac. 매일 쓰는 컴퓨터이기도 하며, Apple Silicon용으로 만든 MLX Harness와 MLX Node가 돌아갑니다.

인기 모델에서의 속도

한 대화 기준 초당 토큰 수입니다. 각 칩은 가장 큰 메모리 구성(512GB와 96GB)에서, 들어가는 가장 좋은 버전의 모델로 계산했습니다.

모델M5 UltraRTX PRO 6000
Llama 3.1 8B Instruct8B64–113 8비트95–169 8비트
gpt-oss-20b21B · 활성 3.6B284–505 네이티브 4.25비트424–755 네이티브 4.25비트
Qwen3.6 35B A3B35B · 활성 3B169–300 8비트252–448 8비트
Qwen3.8 27B27B19–33 8비트28–50 8비트
Llama 3.3 70B Instruct70B14–24 4비트11–19 8비트
gpt-oss-120b117B · 활성 5.1B200–356 네이티브 4.25비트299–531 네이티브 4.25비트
Qwen3.5 122B A10B122B · 활성 10B51–91 8비트144–256 4비트
DeepSeek V4 Flash 0731284B · 활성 13B39–70 8비트너무 큼

자주 묻는 질문

LLM에서 RTX PRO 6000가 M5 Ultra보다 빠른가요?
RTX PRO 6000는 M5 Ultra보다 메모리를 약 49% 빠르게 읽어서(1,792 대 1,200GB/s), 둘 다에 들어가는 모델이라면 약 49% 더 빠르게 생성합니다. llama.cpp 실측에서 RTX PRO 6000이(가) 프롬프트를 약 3배 빠르게 읽습니다(초당 14,855 대 4,945 토큰). 프롬프트 읽기는 메모리 대역폭이 아니라 GPU 연산 성능에 달려 있으며, 긴 문서나 코드베이스에서 첫 단어가 나올 때까지의 대기 시간을 정합니다.
M5 Ultra와 RTX PRO 6000 중 더 큰 모델을 실행할 수 있는 쪽은?
M5 Ultra은(는) 모델에 약 384GB, RTX PRO 6000은(는) 약 95GB를 쓸 수 있습니다. 인기 오픈 모델 73개 중 M5 Ultra에서는 61개, RTX PRO 6000에서는 50개가 잘 돌아갑니다.
MLX Node가 RTX PRO 6000에서 돌아가나요?
아니요. MLX Node와 MLX Harness는 Apple의 MLX 프레임워크로 Apple Silicon Mac에서만 돌아갑니다.

더 많은 비교

로컬 AI를 위한 M5 Ultra · 모든 모델 비교하기 · 로컬 LLM에 가장 좋은 Mac

계산 방법

메모리: 모델 파라미터를 가중치당 8, 6, 4, 3, 2비트로 계산하고 MLX의 그룹 스케일(가중치당 0.5비트)을 더하거나 네이티브 형식 그대로 계산한 뒤, 컨텍스트를 위한 여유를 더했습니다. macOS는 기본적으로 GPU가 통합 메모리의 약 75%를 쓰도록 허용합니다. 속도: 메모리 대역폭을 토큰당 읽는 바이트 수로 나눈 값이 한 대화의 상한입니다. llama.cpp의 Apple Silicon 공개 벤치마크에서 실제 속도는 그 상한의 약 45~80%였고, 여기 표시한 범위가 바로 그 값입니다. 측정값이 아닌 추정값이니, 내 Mac은 MLX Bench에서 직접 측정해 보세요. 모델 수치는 각 공식 모델 카드, 칩 수치는 Apple 기술 사양에서 가져왔습니다. 2026-10-19 확인. mlx.app/compare와 같은 데이터입니다.

RTX PRO 6000 자료: NVIDIA: RTX PRO 6000 Blackwell Workstation Edition, NVIDIA: RTX PRO Desktop GPUs (compare table).

로컬 AI·LLM용 M5 Ultra vs RTX PRO 6000: 메모리, 속도, 무엇을 살까