Mengikut saiz memori
| Memori | Berjalan baik | Terbesar yang berjalan baik | gpt-oss-20b |
|---|---|---|---|
| 24 GB273 GB/s | 25 | Gemma 4 26B A4B | 65–115 tok/s |
| 48 GB273 GB/s | 30 | Qwen3.6 35B A3B | 65–115 tok/s |
| 64 GB273 GB/s | 31 | Nemotron 3.5 Bolt 74B A9B | 65–115 tok/s |
Model: Mac mini (2024). Bukan setiap saiz memori ditawarkan dengan setiap model; Spesifikasi Teknikal Apple menyenaraikan pilihan bagi setiap satu.
Soalan
- Adakah Mac mini dengan M4 Pro bagus untuk LLM tempatan?
- Dengan 64 GB ia menjalankan 31 daripada 73 model terbuka dengan baik, sehingga Nemotron 3.5 Bolt 74B A9B, dan menulis kira-kira 65–115 token sesaat dengan gpt-oss-20b. M4 Pro membaca memori pada 273 GB/s, yang menentukan kelajuan menulisnya.
- Berapa banyak memori yang patut ada pada Mac mini dengan M4 Pro untuk AI?
- Dengan 24 GB, 25 model terbuka berjalan baik; dengan 64 GB, 31, sehingga Nemotron 3.5 Bolt 74B A9B. Memori menentukan model yang muat, dan ia tidak boleh dinaik taraf kemudian.
Mac lain
Mac mini dengan cip lain:
Mac lain dengan M4 Pro:
Bersemuka:
Lawan PC dan kad grafik:
M4 Pro untuk AI tempatan · Mac terbaik untuk LLM tempatan · Semua Mac
Cara ia dikira
Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.