로그인지갑 만들기

로컬 AI를 위한 M1 Max.

M1 Max은(는) 최대 64 GB의 통합 메모리를 최대 400 GB/s로 읽습니다. 이 칩이 든 Mac에서 언어 모델을 돌린다는 게 무슨 뜻인지, Apple이 공개한 수치로 계산했습니다.

1AI에 중요한 사양

통합 메모리64 GB
메모리 대역폭400 GB/s
탑재 모델14- and 16-inch MacBook Pro (2021), Mac Studio (2022)
맞는 전용 좌석Pro 좌석: 하루 최대 80 MLX 채굴

2돌릴 수 있는 모델

4비트 양자화 모델은 파라미터 10억 개당 0.5GB를 조금 넘는 메모리가 필요하고, 여기에 컨텍스트와 macOS를 위한 여유가 더 필요합니다. 64 GB이면 M1 Max은(는) 약 85B 파라미터까지의 모델을 넉넉히 올릴 수 있습니다.

4비트 모델필요한 메모리M1 Max에서 실행
8B 모델4.5GB가능
14B 모델7.9GB가능
32B 모델18GB가능
70B 모델39.4GB가능
gpt-oss-120b, 전문가 혼합(MoE)65GB불가
Qwen3.5-397B-A17B, 전문가 혼합(MoE)223.3GB불가
DeepSeek-V4.1-Flash, 전문가 혼합(MoE)316GB불가

3얼마나 빠른가

텍스트 생성 속도는 메모리 대역폭이 좌우합니다. 새 토큰 하나를 만들 때마다 모델의 활성 가중치를 한 번씩 읽기 때문입니다. M1 Max의 400 GB/s를 토큰당 읽는 바이트 수로 나누면 아래의 상한이 나옵니다. 실제 속도는 보통 그 45~80% 정도입니다(llama.cpp 벤치마크).

4비트 모델토큰당 읽는 양대화 1개 기준 상한
8B 모델4.5GB초당 89토큰
14B 모델7.9GB초당 51토큰
32B 모델18GB초당 22토큰
70B 모델39.4GB초당 10토큰

5다른 칩과 비교

6자주 묻는 질문

M1 Max으로 70B 모델을 돌릴 수 있나요?
네. 4비트 70B 모델은 약 40GB가 필요하고, M1 Max은(는) 최대 64 GB입니다. 대화 1개 기준 상한은 초당 약 10토큰입니다.
M1 Max은(는) 초당 몇 토큰이 나오나요?
4비트 8B 모델 기준 상한은 초당 약 89토큰이고, 실제로는 그 절반에서 5분의 4 정도가 나옵니다. 모델이 클수록 그에 비례해 느려집니다.
M1 Max은(는) AI에 좋은가요?
모델을 로컬에서 돌릴 때 가장 중요한 건 메모리와 대역폭입니다. M1 Max은(는) 최대 64 GB, 400 GB/s로 약 85B 파라미터까지의 모델을 돌릴 수 있습니다. MLX Node로 MLX Network의 AI 작업을 실행해 수익을 낼 수도 있습니다.

출처

  1. Apple: M1 Pro and M1 Maxapple.com
  2. llama.cpp: Apple Silicon benchmarksgithub.com
M1 Max 로컬 LLM: 메모리, 속도, 돌릴 수 있는 모델 | MLX