Apakah Mac Studio dengan M5 Ultra bagus untuk LLM lokal?

Dengan 512 GB, ia menjalankan 61 dari 73 model terbuka dengan baik, hingga DeepSeek V4.1 Flash 1017, dan menulis sekitar 284–505 token per detik dengan gpt-oss-20b. M5 Ultra membaca memori pada 1.200 GB/s, yang menentukan kecepatan menulisnya.

Berapa memori yang sebaiknya dimiliki Mac Studio dengan M5 Ultra untuk AI?

Dengan 96 GB, 44 model terbuka berjalan baik; dengan 512 GB, 61, hingga DeepSeek V4.1 Flash 1017. Memori menentukan model mana yang muat, dan tidak bisa ditambah nanti.

Mac Studio M5 Ultra untuk AI lokal: LLM yang jalan per memori

Menurut ukuran memori

Memori	Berjalan baik	Terbesar yang berjalan baik	gpt-oss-20b
96 GB1.200 GB/s	44	gpt-oss-120b	284–505 tok/s
256 GB1.200 GB/s	54	MiMo V2.6 Flash	284–505 tok/s
512 GB1.200 GB/s	61	DeepSeek V4.1 Flash 1017	284–505 tok/s

Model: Mac Studio (M5 Max or M5 Ultra). Tidak setiap ukuran memori tersedia untuk setiap model; Spesifikasi Teknis Apple mencantumkan pilihan untuk masing-masing.

Pertanyaan

Apakah Mac Studio dengan M5 Ultra bagus untuk LLM lokal?: Dengan 512 GB, ia menjalankan 61 dari 73 model terbuka dengan baik, hingga DeepSeek V4.1 Flash 1017, dan menulis sekitar 284–505 token per detik dengan gpt-oss-20b. M5 Ultra membaca memori pada 1.200 GB/s, yang menentukan kecepatan menulisnya.
Berapa memori yang sebaiknya dimiliki Mac Studio dengan M5 Ultra untuk AI?: Dengan 96 GB, 44 model terbuka berjalan baik; dengan 512 GB, 61, hingga DeepSeek V4.1 Flash 1017. Memori menentukan model mana yang muat, dan tidak bisa ditambah nanti.

Mac lain

Mac Studio dengan chip lain:

Adu langsung:

Melawan PC dan kartu grafis:

M5 Ultra untuk AI lokal · Mac terbaik untuk LLM lokal · Semua Mac

Cara menghitungnya

Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.