Apakah Mac Studio dengan M3 Ultra bagus untuk LLM lokal?

Dengan 512 GB, ia menjalankan 60 dari 73 model terbuka dengan baik, hingga DeepSeek V4.1 Flash 1017, dan menulis sekitar 194–345 token per detik dengan gpt-oss-20b. M3 Ultra membaca memori pada 819 GB/s, yang menentukan kecepatan menulisnya.

Berapa memori yang sebaiknya dimiliki Mac Studio dengan M3 Ultra untuk AI?

Dengan 96 GB, 43 model terbuka berjalan baik; dengan 512 GB, 60, hingga DeepSeek V4.1 Flash 1017. Memori menentukan model mana yang muat, dan tidak bisa ditambah nanti.

Mac Studio M3 Ultra untuk AI lokal: LLM yang jalan per memori

Menurut ukuran memori

Memori	Berjalan baik	Terbesar yang berjalan baik	gpt-oss-20b
96 GB819 GB/s	43	gpt-oss-120b	194–345 tok/s
256 GB819 GB/s	53	MiMo V2.6 Flash	194–345 tok/s
512 GB819 GB/s	60	DeepSeek V4.1 Flash 1017	194–345 tok/s

Model: Mac Studio (2025). Tidak setiap ukuran memori tersedia untuk setiap model; Spesifikasi Teknis Apple mencantumkan pilihan untuk masing-masing.

Pertanyaan

Apakah Mac Studio dengan M3 Ultra bagus untuk LLM lokal?: Dengan 512 GB, ia menjalankan 60 dari 73 model terbuka dengan baik, hingga DeepSeek V4.1 Flash 1017, dan menulis sekitar 194–345 token per detik dengan gpt-oss-20b. M3 Ultra membaca memori pada 819 GB/s, yang menentukan kecepatan menulisnya.
Berapa memori yang sebaiknya dimiliki Mac Studio dengan M3 Ultra untuk AI?: Dengan 96 GB, 43 model terbuka berjalan baik; dengan 512 GB, 60, hingga DeepSeek V4.1 Flash 1017. Memori menentukan model mana yang muat, dan tidak bisa ditambah nanti.

Mac lain

Mac Studio dengan chip lain:

Adu langsung:

Melawan PC dan kartu grafis:

M3 Ultra vs DGX Spark

M3 Ultra untuk AI lokal · Mac terbaik untuk LLM lokal · Semua Mac

Cara menghitungnya

Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.