로그인지갑 만들기

로컬 AI를 위한 M5.

M5은(는) 최대 32 GB의 통합 메모리를 최대 153 GB/s로 읽습니다. 이 칩이 든 Mac에서 언어 모델을 돌린다는 게 무슨 뜻인지, Apple이 공개한 수치로 계산했습니다.

1AI에 중요한 사양

통합 메모리32 GB
메모리 대역폭153 GB/s
탑재 모델14-inch MacBook Pro (2025), MacBook Air (2026)
맞는 전용 좌석Core 좌석: 하루 최대 20 MLX 채굴

2돌릴 수 있는 모델

4비트 양자화 모델은 파라미터 10억 개당 0.5GB를 조금 넘는 메모리가 필요하고, 여기에 컨텍스트와 macOS를 위한 여유가 더 필요합니다. 32 GB이면 M5은(는) 약 42B 파라미터까지의 모델을 넉넉히 올릴 수 있습니다.

4비트 모델필요한 메모리M5에서 실행
8B 모델4.5GB가능
14B 모델7.9GB가능
32B 모델18GB가능
70B 모델39.4GB불가
gpt-oss-120b, 전문가 혼합(MoE)65GB불가
Qwen3.5-397B-A17B, 전문가 혼합(MoE)223.3GB불가
DeepSeek-V4.1-Flash, 전문가 혼합(MoE)316GB불가

3얼마나 빠른가

텍스트 생성 속도는 메모리 대역폭이 좌우합니다. 새 토큰 하나를 만들 때마다 모델의 활성 가중치를 한 번씩 읽기 때문입니다. M5의 153 GB/s를 토큰당 읽는 바이트 수로 나누면 아래의 상한이 나옵니다. 실제 속도는 보통 그 45~80% 정도입니다(llama.cpp 벤치마크).

4비트 모델토큰당 읽는 양대화 1개 기준 상한
8B 모델4.5GB초당 34토큰
14B 모델7.9GB초당 19토큰
32B 모델18GB초당 9토큰

실측: M5 (10-core GPU)에서 llama.cpp는 공개 벤치마크 기준 Llama-2-7B(Q4_0)로 초당 32토큰을 생성합니다.

M5 세대 칩은 GPU에 뉴럴 가속기를 더해 프롬프트를 M4보다 몇 배 빨리 읽습니다. Apple의 측정에서는 MLX로 첫 토큰이 3.3~4.1배 빨리 나왔습니다(Apple).

5다른 칩과 비교

6자주 묻는 질문

M5으로 70B 모델을 돌릴 수 있나요?
넉넉하게는 어렵습니다. 4비트 70B 모델은 약 40GB가 필요한데, M5은(는) 최대 32 GB입니다. 약 42B 파라미터까지의 모델은 잘 돌아갑니다.
M5은(는) 초당 몇 토큰이 나오나요?
4비트 8B 모델 기준 상한은 초당 약 34토큰이고, 실제로는 그 절반에서 5분의 4 정도가 나옵니다. 모델이 클수록 그에 비례해 느려집니다.
M5은(는) AI에 좋은가요?
모델을 로컬에서 돌릴 때 가장 중요한 건 메모리와 대역폭입니다. M5은(는) 최대 32 GB, 153 GB/s로 약 42B 파라미터까지의 모델을 돌릴 수 있습니다. MLX Node로 MLX Network의 AI 작업을 실행해 수익을 낼 수도 있습니다.

출처

  1. Apple: M5apple.com
  2. Apple: MacBook Air with M5apple.com
  3. llama.cpp: Apple Silicon benchmarksgithub.com
M5 로컬 LLM: 메모리, 속도, 돌릴 수 있는 모델 | MLX