Apakah Mac Studio dengan M1 Ultra bagus untuk LLM lokal?

Dengan 128 GB, ia menjalankan 47 dari 73 model terbuka dengan baik, hingga Qwen3.5 122B A10B, dan menulis sekitar 189–337 token per detik dengan gpt-oss-20b. M1 Ultra membaca memori pada 800 GB/s, yang menentukan kecepatan menulisnya.

Berapa memori yang sebaiknya dimiliki Mac Studio dengan M1 Ultra untuk AI?

Dengan 64 GB, 39 model terbuka berjalan baik; dengan 128 GB, 47, hingga Qwen3.5 122B A10B. Memori menentukan model mana yang muat, dan tidak bisa ditambah nanti.

Mac Studio M1 Ultra untuk AI lokal: LLM yang jalan per memori

Menurut ukuran memori

Memori	Berjalan baik	Terbesar yang berjalan baik	gpt-oss-20b
64 GB800 GB/s	39	Nemotron 3.5 Bolt 74B A9B	189–337 tok/s
128 GB800 GB/s	47	Qwen3.5 122B A10B	189–337 tok/s

Model: Mac Studio (2022). Tidak setiap ukuran memori tersedia untuk setiap model; Spesifikasi Teknis Apple mencantumkan pilihan untuk masing-masing.

Pertanyaan

Apakah Mac Studio dengan M1 Ultra bagus untuk LLM lokal?: Dengan 128 GB, ia menjalankan 47 dari 73 model terbuka dengan baik, hingga Qwen3.5 122B A10B, dan menulis sekitar 189–337 token per detik dengan gpt-oss-20b. M1 Ultra membaca memori pada 800 GB/s, yang menentukan kecepatan menulisnya.
Berapa memori yang sebaiknya dimiliki Mac Studio dengan M1 Ultra untuk AI?: Dengan 64 GB, 39 model terbuka berjalan baik; dengan 128 GB, 47, hingga Qwen3.5 122B A10B. Memori menentukan model mana yang muat, dan tidak bisa ditambah nanti.

Mac lain

Mac Studio dengan chip lain:

Adu langsung:

M1 Ultra untuk AI lokal · Mac terbaik untuk LLM lokal · Semua Mac

Cara menghitungnya

Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.