Mac terbaik untuk LLM lokal.

1Mengapa memori dan bandwidth menentukan segalanya

Model bahasa menulis satu token setiap kali, dan untuk setiap token ia membaca semua bobot aktif dari memori. Jadi batas kecepatan untuk satu percakapan kira-kira adalah bandwidth memori dibagi ukuran bobot aktif. Dalam benchmark publik llama.cpp, generasi nyata mencapai 43% hingga 80% dari batas itu di chip Apple (llama.cpp).

Membaca prompt berbeda: bagian itu dibatasi oleh daya hitung, itulah sebabnya chip generasi M5, dengan neural accelerator di dalam GPU, memproses prompt beberapa kali lebih cepat daripada generasi sebelumnya (Apple).

2Semua chip, dibandingkan

Chip lama tetap bekerja dengan baik jika memorinya cukup. M1 Max atau M2 Max dengan 64 GB membaca memori pada 400 GB/s, lebih tinggi dari chip dasar mana pun saat ini, dan harga bekasnya sering jauh lebih murah.

3Mac mana yang sebaiknya dibeli

Sekadar mencoba: MacBook Air atau Mac mini dengan 16 hingga 32 GB

Menjalankan model 7B hingga 14B dengan nyaman dan model kelas 30B pada 32 GB. Cukup untuk chat, menulis, dan bantuan coding ringan.

Nilai terbaik: chip Pro dengan 64 GB

Mac mini atau MacBook Pro dengan M4 Pro atau M5 Pro menampung model kelas 70B dan menjalankan model menengah dengan laju yang baik. Titik ideal bagi kebanyakan developer.

AI lokal yang serius: chip Max dengan 128 GB

Menjalankan gpt-oss-120b (sekitar 65 GB pada 4-bit) di laptop; berdasarkan angka bandwidth Apple, batas teoretis untuk satu aliran di M5 Max sekitar 225 token per detik. Pilihan portabel terbaik.

Model terbesar: Mac Studio dengan Ultra

Hingga 512 GB dengan 1,2 TB/s pada M5 Ultra menampung model dengan ratusan miliar parameter di satu meja. Untuk model yang lebih besar lagi, beberapa Mac bisa digabung menjadi cluster lewat Thunderbolt 5: lihat cluster AI Mac.

4Biarkan Mac membayar dirinya sendiri

Mac yang dibeli untuk AI menghabiskan sebagian besar waktunya untuk menunggu. MLX Node adalah aplikasi gratis yang meminjamkan kapasitas sisa itu ke MLX Network, menjalankan pekerjaan AI di framework MLX yang sama dan memperoleh token MLX untuk pekerjaan yang terverifikasi. Kursi khusus yang sesuai dengan chip-nya melipatgandakan hasilnya: kursi Pro berjalan dengan laju penuh di chip Pro atau Max, kursi Ultra di chip Ultra.

Bandingkan Mac Anda di MLX Bench terlebih dahulu: di sana tercantum token per detik terukur untuk model terbuka di setiap chip.

5Pertanyaan

Apakah 16 GB cukup untuk LLM lokal?

Cukup untuk model hingga sekitar 14B parameter pada 4-bit. Untuk model yang lebih besar, atau konteks yang panjang, 32 GB atau lebih jauh lebih nyaman.

Mac Studio atau MacBook Pro untuk LLM?

Keduanya tersedia dengan chip Max dan hingga 128 GB. MacBook Pro bisa dibawa ke mana-mana; Mac Studio tetap lebih dingin di beban panjang dan merupakan satu-satunya Mac dengan chip Ultra dan hingga 512 GB.

Apakah Mac lebih baik daripada GPU Nvidia untuk AI lokal?

Untuk model terbesar di rumah, sering kali ya: memori terpadu Mac bisa menampung jauh lebih banyak daripada memori kartu grafis konsumen. Kartu Nvidia kelas atas lebih cepat untuk model yang muat di memorinya.

Apakah M5 membuat LLM lebih cepat?

Ya, terutama untuk membaca prompt: Apple mengukur token pertama muncul 3,3 hingga 4,1 kali lebih cepat di M5 dibanding M4 dengan MLX. Kecepatan generasi naik seiring bandwidth memori, yang meningkat 28% dari M4 ke M5.