Mac mini vs Mac Studio untuk AI.

1Spesifikasi yang penting untuk AI

Setiap konfigurasi dipautkan kepada model yang berjalan baik padanya. Model terdahulu berfungsi dengan cara yang sama: Mac mini dengan M4 atau M4 Pro, dan Mac Studio dengan M4 Max atau M3 Ultra (setiap Mac, mengikut kedudukan).

2Sepantas mana setiap satu menulis

Menulis teks membaca pemberat aktif model sekali bagi setiap token, jadi lebar jalur memori menetapkan had kelajuan. Untuk model padat 32B pada 4-bit, kira-kira 18 GB:

Model mixture-of-experts hanya membaca sebahagian kecil pemberatnya bagi setiap token, jadi ia menulis jauh lebih pantas daripada yang dicadangkan saiznya: memori menentukan sama ada ia muat, lebar jalur masih menetapkan rentaknya. Membaca prompt panjang bergantung pada kuasa pengiraan GPU dan bukannya lebar jalur, dan di situ GPU lebih besar pada cip Max dan Ultra jauh lebih ke hadapan.

3Mana satu untuk model yang mana

• Model kecil dan sederhana (sehingga kira-kira 30B pada 4-bit), sembang, pembantu pengekodan, pelayan AI di rumah: Mac mini dengan M5 Pro dan 48 atau 64 GB. Mac mini M6 dengan 32 GB menjalankan saiz yang sama pada kira-kira separuh kelajuan.
• Model kelas 70B, gpt-oss-120b, konteks panjang atau beberapa model serentak: Mac Studio dengan M5 Max dan 128 GB. Fail gpt-oss-120b rasmi OpenAI kira-kira 65 GB (OpenAI), lebih daripada yang boleh diberikan mana-mana Mac mini kepada GPUnya.
• Model terbuka terbesar (ratusan bilion parameter): Mac Studio dengan M5 Ultra dan 256 atau 512 GB, atau beberapa Mac bersama (kluster AI Mac).

Untuk model tertentu, halamannya menunjukkan Mac terkecil yang menjalankannya dan kelajuan pada setiap cip: setiap model terbuka.

4Menjalankannya sepanjang hari

Kedua-duanya mesin sentiasa hidup yang senyap dan jimat. Mac mini melahu pada 4–6 W dan Mac Studio pada 7–9 W mengikut angka Apple di atas; pada beban penuh Mac Studio dengan M5 Ultra boleh menggunakan sehingga 385 W. Mac mini sebagai pelayan AI menerangkan cara memastikannya berjaga dan menyediakan model kepada peranti lain, dan berapa banyak kuasa yang digunakan Mac kos sehari.

Apabila ia melahu, MLX Node boleh menjalankan kerja AI untuk MLX Network dan memperoleh MLX Tokens. Kerusi khas yang sepadan dengan cip melombong lebih pantas: Core untuk M6, Pro untuk M5 Pro dan M5 Max, Ultra untuk M5 Ultra. Perolehan tidak dijamin: baca risiko.

5Soalan

Adakah Mac Studio berbaloi berbanding Mac mini untuk AI?

Jika anda mahukan model melebihi kira-kira 85B parameter, gpt-oss-120b atau konteks panjang, ya: hanya Mac Studio mempunyai lebih daripada 64 GB. Untuk model sehingga kira-kira 30B pada 4-bit, Mac mini dengan M5 Pro menjalankannya, pada kira-kira separuh lebar jalur M5 Max.

Bolehkah Mac mini menjalankan model 70B?

Hanya M5 Pro dengan 64 GB, pada 4-bit dan dengan konteks pendek: kira-kira 39 GB pemberat dalam 48 GB yang boleh digunakan GPU secara lalai, pada beberapa token sesaat. Mac Studio dengan 128 GB menjalankannya dengan ruang untuk konteks dan kira-kira dua kali lebih pantas.

Mac Studio M5 Max atau M5 Ultra untuk LLM?

M5 Ultra mempunyai kira-kira dua kali lebar jalur (1,200 berbanding 614 GB/s), jadi ia menulis kira-kira dua kali lebih pantas, dan mencapai sehingga 512 GB. M5 Max dengan 128 GB merangkumi model sehingga kira-kira 170B pada 4-bit. Lihat M5 Max vs M5 Ultra.

Mac mini M6 atau M5 Pro untuk AI?

M5 Pro: ia membaca memori kira-kira 80% lebih pantas daripada M6 dengan 24 atau 32 GB dan mencapai sehingga 64 GB dan bukannya 32 GB.