Apakah Mac Studio dengan M5 Max bagus untuk LLM lokal?

Dengan 128 GB, ia menjalankan 47 dari 73 model terbuka dengan baik, hingga Qwen3.5 122B A10B, dan menulis sekitar 145–259 token per detik dengan gpt-oss-20b. M5 Max membaca memori pada 614 GB/s, yang menentukan kecepatan menulisnya.

Berapa memori yang sebaiknya dimiliki Mac Studio dengan M5 Max untuk AI?

Dengan 36 GB, 38 model terbuka berjalan baik; dengan 128 GB, 47, hingga Qwen3.5 122B A10B. Memori menentukan model mana yang muat, dan tidak bisa ditambah nanti.

Mac Studio M5 Max untuk AI lokal: LLM yang jalan per memori

Menurut ukuran memori

Memori	Berjalan baik	Terbesar yang berjalan baik	gpt-oss-20b
36 GB460 GB/s	38	Qwen3.6 35B A3B	109–194 tok/s
48 GB614 GB/s	38	Qwen3.6 35B A3B	145–259 tok/s
64 GB614 GB/s	39	Nemotron 3.5 Bolt 74B A9B	145–259 tok/s
128 GB614 GB/s	47	Qwen3.5 122B A10B	145–259 tok/s

Model: Mac Studio (M5 Max or M5 Ultra). Tidak setiap ukuran memori tersedia untuk setiap model; Spesifikasi Teknis Apple mencantumkan pilihan untuk masing-masing.

Pertanyaan

Apakah Mac Studio dengan M5 Max bagus untuk LLM lokal?: Dengan 128 GB, ia menjalankan 47 dari 73 model terbuka dengan baik, hingga Qwen3.5 122B A10B, dan menulis sekitar 145–259 token per detik dengan gpt-oss-20b. M5 Max membaca memori pada 614 GB/s, yang menentukan kecepatan menulisnya.
Berapa memori yang sebaiknya dimiliki Mac Studio dengan M5 Max untuk AI?: Dengan 36 GB, 38 model terbuka berjalan baik; dengan 128 GB, 47, hingga Qwen3.5 122B A10B. Memori menentukan model mana yang muat, dan tidak bisa ditambah nanti.

Mac lain

Mac Studio dengan chip lain:

Mac lain dengan M5 Max:

MacBook Pro M5 Max

Adu langsung:

Melawan PC dan kartu grafis:

M5 Max untuk AI lokal · Mac terbaik untuk LLM lokal · Semua Mac

Cara menghitungnya

Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.