Menurut ukuran memori
| Memori | Berjalan baik | Terbesar yang berjalan baik | gpt-oss-20b |
|---|---|---|---|
| 64 GB800 GB/s | 39 | Nemotron 3.5 Bolt 74B A9B | 189–337 tok/s |
| 128 GB800 GB/s | 47 | Qwen3.5 122B A10B | 189–337 tok/s |
| 192 GB800 GB/s | 49 | MiniMax M2.7 | 189–337 tok/s |
Model: Mac Pro (2023), Mac Pro (Rack, 2023). Tidak setiap ukuran memori tersedia untuk setiap model; Spesifikasi Teknis Apple mencantumkan pilihan untuk masing-masing.
Pertanyaan
- Apakah Mac Pro dengan M2 Ultra bagus untuk LLM lokal?
- Dengan 192 GB, ia menjalankan 49 dari 73 model terbuka dengan baik, hingga MiniMax M2.7, dan menulis sekitar 189–337 token per detik dengan gpt-oss-20b. M2 Ultra membaca memori pada 800 GB/s, yang menentukan kecepatan menulisnya.
- Berapa memori yang sebaiknya dimiliki Mac Pro dengan M2 Ultra untuk AI?
- Dengan 64 GB, 39 model terbuka berjalan baik; dengan 192 GB, 49, hingga MiniMax M2.7. Memori menentukan model mana yang muat, dan tidak bisa ditambah nanti.
Mac lain
Mac lain dengan M2 Ultra:
Adu langsung:
M2 Ultra untuk AI lokal · Mac terbaik untuk LLM lokal · Semua Mac
Cara menghitungnya
Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.