Adakah Mac Studio dengan M1 Max bagus untuk LLM tempatan?

Dengan 64 GB ia menjalankan 39 daripada 73 model terbuka dengan baik, sehingga Nemotron 3.5 Bolt 74B A9B, dan menulis kira-kira 95–168 token sesaat dengan gpt-oss-20b. M1 Max membaca memori pada 400 GB/s, yang menentukan kelajuan menulisnya.

Berapa banyak memori yang patut ada pada Mac Studio dengan M1 Max untuk AI?

Dengan 32 GB, 38 model terbuka berjalan baik; dengan 64 GB, 39, sehingga Nemotron 3.5 Bolt 74B A9B. Memori menentukan model yang muat, dan ia tidak boleh dinaik taraf kemudian.

Mac Studio M1 Max untuk AI tempatan: LLM yang boleh dijalankan

Mengikut saiz memori

Memori	Berjalan baik	Terbesar yang berjalan baik	gpt-oss-20b
32 GB400 GB/s	38	Qwen3.6 35B A3B	95–168 tok/s
64 GB400 GB/s	39	Nemotron 3.5 Bolt 74B A9B	95–168 tok/s

Model: Mac Studio (2022). Bukan setiap saiz memori ditawarkan dengan setiap model; Spesifikasi Teknikal Apple menyenaraikan pilihan bagi setiap satu.

Soalan

Adakah Mac Studio dengan M1 Max bagus untuk LLM tempatan?: Dengan 64 GB ia menjalankan 39 daripada 73 model terbuka dengan baik, sehingga Nemotron 3.5 Bolt 74B A9B, dan menulis kira-kira 95–168 token sesaat dengan gpt-oss-20b. M1 Max membaca memori pada 400 GB/s, yang menentukan kelajuan menulisnya.
Berapa banyak memori yang patut ada pada Mac Studio dengan M1 Max untuk AI?: Dengan 32 GB, 38 model terbuka berjalan baik; dengan 64 GB, 39, sehingga Nemotron 3.5 Bolt 74B A9B. Memori menentukan model yang muat, dan ia tidak boleh dinaik taraf kemudian.

Mac lain

Mac Studio dengan cip lain:

Mac lain dengan M1 Max:

MacBook Pro M1 Max

Bersemuka:

M1 Max untuk AI tempatan · Mac terbaik untuk LLM tempatan · Semua Mac

Cara ia dikira

Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.