Log masukCipta dompet

MacBook Pro dengan M3 untuk AI tempatan.

M3 membaca memori pada 100 GB/s, yang menentukan kelajuan menulisnya. Memori menentukan model yang muat, dan ia tidak boleh dinaik taraf kemudian, jadi pilih saiznya di sini.

8 GB16 model berjalan baikGranite 4.2 8B · 10–18 tok/s16 GB17 model berjalan baikQwen3 8B · 10–17 tok/s24 GB20 model berjalan baikGemma 4 26B A4B · 21–38 tok/s

Mengikut saiz memori

MemoriBerjalan baikTerbesar yang berjalan baikgpt-oss-20b
8 GB100 GB/s16Granite 4.2 8Bterlalu besar
16 GB100 GB/s17Qwen3 8B28–50 tok/s
24 GB100 GB/s20Gemma 4 26B A4B24–42 tok/s

Model: MacBook Pro (14-inch, M3, Nov 2023). Bukan setiap saiz memori ditawarkan dengan setiap model; Spesifikasi Teknikal Apple menyenaraikan pilihan bagi setiap satu.

Soalan

Adakah MacBook Pro dengan M3 bagus untuk LLM tempatan?
Dengan 24 GB ia menjalankan 20 daripada 73 model terbuka dengan baik, sehingga Gemma 4 26B A4B, dan menulis kira-kira 24–42 token sesaat dengan gpt-oss-20b. M3 membaca memori pada 100 GB/s, yang menentukan kelajuan menulisnya.
Berapa banyak memori yang patut ada pada MacBook Pro dengan M3 untuk AI?
Dengan 8 GB, 16 model terbuka berjalan baik; dengan 24 GB, 20, sehingga Gemma 4 26B A4B. Memori menentukan model yang muat, dan ia tidak boleh dinaik taraf kemudian.

Mac lain

MacBook Pro dengan cip lain:

Mac lain dengan M3:

Bersemuka:

M3 untuk AI tempatan · Mac terbaik untuk LLM tempatan · Semua Mac

Cara ia dikira

Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.

MacBook Pro M3 untuk AI tempatan: LLM yang boleh dijalankan