Mac mini vs Mac Studio untuk AI.

1Spesifikasi yang penting untuk AI

Setiap konfigurasi tertaut ke model yang berjalan baik dengannya. Model lama bekerja dengan cara yang sama: Mac mini dengan M4 atau M4 Pro, dan Mac Studio dengan M4 Max atau M3 Ultra (semua Mac, diperingkat).

2Seberapa cepat masing-masing menulis

Menulis teks membaca bobot aktif model sekali untuk setiap token, jadi bandwidth memori menjadi batas atas kecepatan. Untuk model dense 32B pada 4-bit, sekitar 18 GB:

Model mixture-of-experts hanya membaca sebagian kecil bobotnya per token, jadi menulis jauh lebih cepat daripada yang diisyaratkan ukurannya: memori menentukan apakah model muat, bandwidth tetap menentukan kecepatannya. Membaca prompt panjang bergantung pada daya komputasi GPU, bukan bandwidth, dan di situ GPU yang lebih besar pada chip Max dan Ultra makin unggul.

3Mana untuk model apa

• Model kecil dan menengah (hingga sekitar 30B pada 4-bit), chat, asisten coding, server AI rumahan: Mac mini dengan M5 Pro dan 48 atau 64 GB. Mac mini M6 dengan 32 GB menjalankan ukuran yang sama dengan sekitar separuh kecepatannya.
• Model kelas 70B, gpt-oss-120b, konteks panjang, atau beberapa model sekaligus: Mac Studio dengan M5 Max dan 128 GB. File gpt-oss-120b resmi dari OpenAI berukuran sekitar 65 GB (OpenAI), lebih dari yang bisa diberikan Mac mini mana pun ke GPU-nya.
• Model terbuka terbesar (ratusan miliar parameter): Mac Studio dengan M5 Ultra dan 256 atau 512 GB, atau beberapa Mac bersama-sama (cluster AI Mac).

Untuk model tertentu, halamannya menampilkan Mac terkecil yang bisa menjalankannya dan kecepatannya di setiap chip: setiap model terbuka.

4Menjalankannya seharian

Keduanya mesin yang senyap dan hemat untuk menyala terus. Mac mini memakai 4–6 W saat diam dan Mac Studio 7–9 W menurut angka Apple di atas; dengan beban penuh, Mac Studio dengan M5 Ultra bisa memakai hingga 385 W. Mac mini sebagai server AI menjelaskan cara menjaganya tetap terjaga dan menyajikan model ke perangkat lain, dan berapa daya yang dipakai Mac berapa biayanya per hari.

Saat menganggur, MLX Node bisa menjalankan pekerjaan AI untuk MLX Network dan memperoleh MLX Tokens. Kursi khusus yang sesuai dengan chipnya menambang lebih cepat: Core untuk M6, Pro untuk M5 Pro dan M5 Max, Ultra untuk M5 Ultra. Penghasilan tidak dijamin: baca risikonya.

5Pertanyaan

Apakah Mac Studio sepadan dibanding Mac mini untuk AI?

Jika Anda ingin model di atas sekitar 85B parameter, gpt-oss-120b, atau konteks panjang, ya: hanya Mac Studio yang punya lebih dari 64 GB. Untuk model hingga sekitar 30B pada 4-bit, Mac mini dengan M5 Pro bisa menjalankannya, dengan sekitar separuh bandwidth M5 Max.

Bisakah Mac mini menjalankan model 70B?

Hanya M5 Pro dengan 64 GB, pada 4-bit dan dengan konteks pendek: sekitar 39 GB bobot dari 48 GB yang secara bawaan bisa dipakai GPU, dengan beberapa token per detik. Mac Studio dengan 128 GB menjalankannya dengan ruang untuk konteks dan sekitar dua kali lebih cepat.

Mac Studio M5 Max atau M5 Ultra untuk LLM?

M5 Ultra punya sekitar dua kali bandwidth (1.200 dibanding 614 GB/s), jadi menulis sekitar dua kali lebih cepat, dan tersedia hingga 512 GB. M5 Max dengan 128 GB mencakup model hingga sekitar 170B pada 4-bit. Lihat M5 Max vs M5 Ultra.

Mac mini M6 atau M5 Pro untuk AI?

M5 Pro: ia membaca memori sekitar 80% lebih cepat daripada M6 dengan 24 atau 32 GB dan tersedia hingga 64 GB, bukan 32 GB.