1AI에 중요한 사양
| 통합 메모리 | 128 GB |
|---|---|
| 메모리 대역폭 | 800 GB/s |
| 탑재 모델 | Mac Studio (2022) |
| 맞는 전용 좌석 | Ultra 좌석: 하루 최대 320 MLX 채굴 |
2돌릴 수 있는 모델
4비트 양자화 모델은 파라미터 10억 개당 0.5GB를 조금 넘는 메모리가 필요하고, 여기에 컨텍스트와 macOS를 위한 여유가 더 필요합니다. 128 GB이면 M1 Ultra은(는) 약 170B 파라미터까지의 모델을 넉넉히 올릴 수 있습니다.
| 4비트 모델 | 필요한 메모리 | M1 Ultra에서 실행 |
|---|---|---|
| 8B 모델 | 4.5GB | 가능 |
| 14B 모델 | 7.9GB | 가능 |
| 32B 모델 | 18GB | 가능 |
| 70B 모델 | 39.4GB | 가능 |
| gpt-oss-120b, 전문가 혼합(MoE) | 65GB | 가능 |
| Qwen3.5-397B-A17B, 전문가 혼합(MoE) | 223.3GB | 불가 |
| DeepSeek-V4.1-Flash, 전문가 혼합(MoE) | 316GB | 불가 |
3얼마나 빠른가
텍스트 생성 속도는 메모리 대역폭이 좌우합니다. 새 토큰 하나를 만들 때마다 모델의 활성 가중치를 한 번씩 읽기 때문입니다. M1 Ultra의 800 GB/s를 토큰당 읽는 바이트 수로 나누면 아래의 상한이 나옵니다. 실제 속도는 보통 그 45~80% 정도입니다(llama.cpp 벤치마크).
| 4비트 모델 | 토큰당 읽는 양 | 대화 1개 기준 상한 |
|---|---|---|
| 8B 모델 | 4.5GB | 초당 178토큰 |
| 14B 모델 | 7.9GB | 초당 101토큰 |
| 32B 모델 | 18GB | 초당 44토큰 |
| 70B 모델 | 39.4GB | 초당 20토큰 |
| gpt-oss-120b, 전문가 혼합(MoE) | 2.7GB | 초당 296토큰 |
5다른 칩과 비교
6자주 묻는 질문
- M1 Ultra으로 70B 모델을 돌릴 수 있나요?
- 네. 4비트 70B 모델은 약 40GB가 필요하고, M1 Ultra은(는) 최대 128 GB입니다. 대화 1개 기준 상한은 초당 약 20토큰입니다.
- M1 Ultra은(는) 초당 몇 토큰이 나오나요?
- 4비트 8B 모델 기준 상한은 초당 약 178토큰이고, 실제로는 그 절반에서 5분의 4 정도가 나옵니다. 모델이 클수록 그에 비례해 느려집니다.
- M1 Ultra은(는) AI에 좋은가요?
- 모델을 로컬에서 돌릴 때 가장 중요한 건 메모리와 대역폭입니다. M1 Ultra은(는) 최대 128 GB, 800 GB/s로 약 170B 파라미터까지의 모델을 돌릴 수 있습니다. MLX Node로 MLX Network의 AI 작업을 실행해 수익을 낼 수도 있습니다.
출처
- Apple: M1 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com