Mac terbaik untuk LLM tempatan.

1Mengapa memori dan lebar jalur menentukan segalanya

Model bahasa menulis satu token pada satu masa, dan bagi setiap token ia membaca setiap pemberat aktif daripada memori. Jadi had kelajuan untuk satu perbualan lebih kurang lebar jalur memori dibahagi dengan saiz pemberat aktif. Dalam penanda aras awam llama.cpp, penjanaan sebenar mencapai 43% hingga 80% daripada had itu pada cip Apple (llama.cpp).

Membaca prompt anda berbeza: bahagian itu dihadkan oleh kuasa pengiraan, sebab itulah cip generasi M5, dengan pemecut neural dalam GPU, memproses prompt beberapa kali lebih pantas daripada generasi sebelumnya (Apple).

2Setiap cip, dibandingkan

Cip lama masih berfungsi dengan baik jika memorinya mencukupi. M1 Max atau M2 Max dengan 64 GB membaca pada 400 GB/s, lebih tinggi daripada mana-mana cip asas hari ini, dan harga terpakainya selalunya jauh lebih murah.

3Mac mana yang patut dibeli

Sekadar mencuba: MacBook Air atau Mac mini dengan 16 hingga 32 GB

Menjalankan model 7B hingga 14B dengan selesa dan model kelas 30B pada 32 GB. Memadai untuk bersembang, menulis dan bantuan pengekodan ringan.

Nilai terbaik: cip Pro dengan 64 GB

Mac mini atau MacBook Pro dengan M4 Pro atau M5 Pro memuatkan model kelas 70B dan menjalankan model bersaiz sederhana pada kadar yang baik. Pilihan paling seimbang bagi kebanyakan pembangun.

AI tempatan yang serius: cip Max dengan 128 GB

Menjalankan gpt-oss-120b (kira-kira 65 GB pada 4-bit) pada laptop; berdasarkan angka lebar jalur Apple, had teori untuk satu strim pada M5 Max ialah kira-kira 225 token sesaat. Pilihan mudah alih terbaik.

Model terbesar: Mac Studio dengan Ultra

Sehingga 512 GB pada 1.2 TB/s dengan M5 Ultra memuatkan model dengan ratusan bilion parameter di atas satu meja. Untuk model yang lebih besar lagi, beberapa Mac boleh digabungkan menjadi kluster melalui Thunderbolt 5: lihat kluster AI Mac.

4Biarkan Mac membayar kosnya sendiri

Mac yang dibeli untuk AI menghabiskan kebanyakan masanya dengan menunggu. MLX Node ialah aplikasi percuma yang meminjamkan kapasiti terbiar itu kepada MLX Network, menjalankan kerja AI pada rangka kerja MLX yang sama dan memperoleh token MLX untuk kerja yang disahkan. Kerusi khas yang sepadan dengan cipnya menggandakan perolehannya: kerusi Pro berjalan pada kadar penuh pada cip Pro atau Max, kerusi Ultra pada cip Ultra.

Bandingkan Mac anda pada MLX Bench terlebih dahulu: ia menunjukkan token sesaat yang diukur untuk model terbuka pada setiap cip.

5Soalan

Adakah 16 GB cukup untuk LLM tempatan?

Ya, untuk model sehingga kira-kira 14B parameter pada 4-bit. Untuk model yang lebih besar, atau konteks yang panjang, 32 GB atau lebih jauh lebih selesa.

Mac Studio atau MacBook Pro untuk LLM?

Kedua-duanya didatangkan dengan cip Max dan sehingga 128 GB. MacBook Pro mudah dibawa; Mac Studio kekal lebih sejuk di bawah beban yang panjang dan merupakan satu-satunya Mac dengan cip Ultra dan sehingga 512 GB.

Adakah Mac lebih baik daripada GPU Nvidia untuk AI tempatan?

Untuk model terbesar di rumah, selalunya ya: memori bersatu Mac boleh memuatkan jauh lebih banyak daripada memori kad grafik pengguna. Kad Nvidia mewah lebih pantas untuk model yang muat dalam memorinya.

Adakah M5 menjadikan LLM lebih pantas?

Ya, terutamanya untuk membaca prompt: Apple mengukur token pertama tiba 3.3 hingga 4.1 kali lebih cepat pada M5 berbanding M4 dengan MLX. Kelajuan penjanaan meningkat seiring lebar jalur memori, yang naik 28% daripada M4 ke M5.