Apakah Mac Studio dengan M2 Max bagus untuk LLM lokal?

Dengan 96 GB, ia menjalankan 43 dari 73 model terbuka dengan baik, hingga gpt-oss-120b, dan menulis sekitar 95–168 token per detik dengan gpt-oss-20b. M2 Max membaca memori pada 400 GB/s, yang menentukan kecepatan menulisnya.

Berapa memori yang sebaiknya dimiliki Mac Studio dengan M2 Max untuk AI?

Dengan 32 GB, 38 model terbuka berjalan baik; dengan 96 GB, 43, hingga gpt-oss-120b. Memori menentukan model mana yang muat, dan tidak bisa ditambah nanti.

Mac Studio M2 Max untuk AI lokal: LLM yang jalan per memori

Menurut ukuran memori

Memori	Berjalan baik	Terbesar yang berjalan baik	gpt-oss-20b
32 GB400 GB/s	38	Qwen3.6 35B A3B	95–168 tok/s
64 GB400 GB/s	39	Nemotron 3.5 Bolt 74B A9B	95–168 tok/s
96 GB400 GB/s	43	gpt-oss-120b	95–168 tok/s

Model: Mac Studio (2023). Tidak setiap ukuran memori tersedia untuk setiap model; Spesifikasi Teknis Apple mencantumkan pilihan untuk masing-masing.

Pertanyaan

Apakah Mac Studio dengan M2 Max bagus untuk LLM lokal?: Dengan 96 GB, ia menjalankan 43 dari 73 model terbuka dengan baik, hingga gpt-oss-120b, dan menulis sekitar 95–168 token per detik dengan gpt-oss-20b. M2 Max membaca memori pada 400 GB/s, yang menentukan kecepatan menulisnya.
Berapa memori yang sebaiknya dimiliki Mac Studio dengan M2 Max untuk AI?: Dengan 32 GB, 38 model terbuka berjalan baik; dengan 96 GB, 43, hingga gpt-oss-120b. Memori menentukan model mana yang muat, dan tidak bisa ditambah nanti.

Mac lain

Mac Studio dengan chip lain:

Mac lain dengan M2 Max:

MacBook Pro M2 Max

Adu langsung:

M2 Max untuk AI lokal · Mac terbaik untuk LLM lokal · Semua Mac

Cara menghitungnya

Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.