M2 Ultra 탑재 Mac Pro, 로컬 LLM에 적합한가요?

192GB라면 오픈 모델 73개 중 49개가 쾌적하게 실행되고(최대 MiniMax M2.7), gpt-oss-20b 실행 시 초당 약 189–337토큰을 생성합니다. M2 Ultra 칩은 메모리를 800GB/s로 읽으며, 이 속도가 생성 속도를 정합니다.

AI용 M2 Ultra 탑재 Mac Pro, 메모리는 얼마나 필요한가요?

64GB에서는 오픈 모델 39개, 192GB에서는 49개가 쾌적하게 실행되며 최대 MiniMax M2.7까지 돌아갑니다. 어떤 모델이 들어가는지는 메모리가 정하고, 나중에 업그레이드할 수 없습니다.

로컬 AI용 M2 Ultra 탑재 Mac Pro: 메모리별로 실행되는 LLM

메모리 용량별

메모리	쾌적 실행	쾌적하게 실행되는 가장 큰 모델	gpt-oss-20b
64 GB800 GB/s	39	Nemotron 3.5 Bolt 74B A9B	189–337 tok/s
128 GB800 GB/s	47	Qwen3.5 122B A10B	189–337 tok/s
192 GB800 GB/s	49	MiniMax M2.7	189–337 tok/s

해당 기종: Mac Pro (2023), Mac Pro (Rack, 2023). 모든 기종에 모든 메모리 용량이 제공되지는 않습니다. 기종별 구성은 Apple 기술 사양에서 확인할 수 있습니다.

자주 묻는 질문

M2 Ultra 탑재 Mac Pro, 로컬 LLM에 적합한가요?: 192GB라면 오픈 모델 73개 중 49개가 쾌적하게 실행되고(최대 MiniMax M2.7), gpt-oss-20b 실행 시 초당 약 189–337토큰을 생성합니다. M2 Ultra 칩은 메모리를 800GB/s로 읽으며, 이 속도가 생성 속도를 정합니다.
AI용 M2 Ultra 탑재 Mac Pro, 메모리는 얼마나 필요한가요?: 64GB에서는 오픈 모델 39개, 192GB에서는 49개가 쾌적하게 실행되며 최대 MiniMax M2.7까지 돌아갑니다. 어떤 모델이 들어가는지는 메모리가 정하고, 나중에 업그레이드할 수 없습니다.

다른 Mac

M2 Ultra 칩을 탑재한 다른 Mac:

Mac Studio M2 Ultra

1:1 비교:

로컬 AI를 위한 M2 Ultra · 로컬 LLM에 가장 좋은 Mac · 모든 Mac

계산 방법

메모리: 모델 파라미터를 가중치당 8, 6, 4, 3, 2비트로 계산하고 MLX의 그룹 스케일(가중치당 0.5비트)을 더하거나 네이티브 형식 그대로 계산한 뒤, 컨텍스트를 위한 여유를 더했습니다. macOS는 기본적으로 GPU가 통합 메모리의 약 75%를 쓰도록 허용합니다. 속도: 메모리 대역폭을 토큰당 읽는 바이트 수로 나눈 값이 한 대화의 상한입니다. llama.cpp의 Apple Silicon 공개 벤치마크에서 실제 속도는 그 상한의 약 45~80%였고, 여기 표시한 범위가 바로 그 값입니다. 측정값이 아닌 추정값이니, 내 Mac은 MLX Bench에서 직접 측정해 보세요. 모델 수치는 각 공식 모델 카드, 칩 수치는 Apple 기술 사양에서 가져왔습니다. 2026-10-19 확인. mlx.app/compare와 같은 데이터입니다.