Adakah Mac Studio dengan M5 Max bagus untuk LLM tempatan?

Dengan 128 GB ia menjalankan 47 daripada 73 model terbuka dengan baik, sehingga Qwen3.5 122B A10B, dan menulis kira-kira 145–259 token sesaat dengan gpt-oss-20b. M5 Max membaca memori pada 614 GB/s, yang menentukan kelajuan menulisnya.

Berapa banyak memori yang patut ada pada Mac Studio dengan M5 Max untuk AI?

Dengan 36 GB, 38 model terbuka berjalan baik; dengan 128 GB, 47, sehingga Qwen3.5 122B A10B. Memori menentukan model yang muat, dan ia tidak boleh dinaik taraf kemudian.

Mac Studio M5 Max untuk AI tempatan: LLM yang boleh dijalankan

Mengikut saiz memori

Memori	Berjalan baik	Terbesar yang berjalan baik	gpt-oss-20b
36 GB460 GB/s	38	Qwen3.6 35B A3B	109–194 tok/s
48 GB614 GB/s	38	Qwen3.6 35B A3B	145–259 tok/s
64 GB614 GB/s	39	Nemotron 3.5 Bolt 74B A9B	145–259 tok/s
128 GB614 GB/s	47	Qwen3.5 122B A10B	145–259 tok/s

Model: Mac Studio (M5 Max or M5 Ultra). Bukan setiap saiz memori ditawarkan dengan setiap model; Spesifikasi Teknikal Apple menyenaraikan pilihan bagi setiap satu.

Soalan

Adakah Mac Studio dengan M5 Max bagus untuk LLM tempatan?: Dengan 128 GB ia menjalankan 47 daripada 73 model terbuka dengan baik, sehingga Qwen3.5 122B A10B, dan menulis kira-kira 145–259 token sesaat dengan gpt-oss-20b. M5 Max membaca memori pada 614 GB/s, yang menentukan kelajuan menulisnya.
Berapa banyak memori yang patut ada pada Mac Studio dengan M5 Max untuk AI?: Dengan 36 GB, 38 model terbuka berjalan baik; dengan 128 GB, 47, sehingga Qwen3.5 122B A10B. Memori menentukan model yang muat, dan ia tidak boleh dinaik taraf kemudian.

Mac lain

Mac Studio dengan cip lain:

Mac lain dengan M5 Max:

MacBook Pro M5 Max

Bersemuka:

Lawan PC dan kad grafik:

M5 Max untuk AI tempatan · Mac terbaik untuk LLM tempatan · Semua Mac

Cara ia dikira

Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.