Log masukCipta dompet

MacBook Pro dengan M5 Max untuk AI tempatan.

M5 Max membaca memori pada 614 GB/s, yang menentukan kelajuan menulisnya. Memori menentukan model yang muat, dan ia tidak boleh dinaik taraf kemudian, jadi pilih saiznya di sini.

48 GB38 model berjalan baikQwen3.6 35B A3B · 115–205 tok/s64 GB39 model berjalan baikNemotron 3.5 Bolt 74B A9B · 54–96 tok/s128 GB47 model berjalan baikQwen3.5 122B A10B · 49–88 tok/s

Mengikut saiz memori

MemoriBerjalan baikTerbesar yang berjalan baikgpt-oss-20b
36 GB460 GB/s38Qwen3.6 35B A3B109–194 tok/s
48 GB614 GB/s38Qwen3.6 35B A3B145–259 tok/s
64 GB614 GB/s39Nemotron 3.5 Bolt 74B A9B145–259 tok/s
128 GB614 GB/s47Qwen3.5 122B A10B145–259 tok/s

Model: MacBook Pro (14-inch, M5 Pro or M5 Max), MacBook Pro (16-inch, M5 Pro or M5 Max). Bukan setiap saiz memori ditawarkan dengan setiap model; Spesifikasi Teknikal Apple menyenaraikan pilihan bagi setiap satu.

Soalan

Adakah MacBook Pro dengan M5 Max bagus untuk LLM tempatan?
Dengan 128 GB ia menjalankan 47 daripada 73 model terbuka dengan baik, sehingga Qwen3.5 122B A10B, dan menulis kira-kira 145–259 token sesaat dengan gpt-oss-20b. M5 Max membaca memori pada 614 GB/s, yang menentukan kelajuan menulisnya.
Berapa banyak memori yang patut ada pada MacBook Pro dengan M5 Max untuk AI?
Dengan 36 GB, 38 model terbuka berjalan baik; dengan 128 GB, 47, sehingga Qwen3.5 122B A10B. Memori menentukan model yang muat, dan ia tidak boleh dinaik taraf kemudian.

Mac lain

MacBook Pro dengan cip lain:

Mac lain dengan M5 Max:

Bersemuka:

Lawan PC dan kad grafik:

M5 Max untuk AI tempatan · Mac terbaik untuk LLM tempatan · Semua Mac

Cara ia dikira

Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.

MacBook Pro M5 Max untuk AI tempatan: LLM yang boleh dijalankan