Yerel LLM için en iyi Mac.

1Neden her şeyi bellek ve bant genişliği belirler?

Bir dil modeli her seferinde bir token yazar ve her biri için tüm etkin ağırlıkları bellekten okur. Yani tek bir sohbetin hız sınırı kabaca bellek bant genişliğinin etkin ağırlıkların boyutuna bölümüdür. llama.cpp'nin herkese açık karşılaştırmalarında gerçek üretim, Apple çiplerinde bu sınırın %43 ila %80'ine ulaşıyor (llama.cpp).

İsteminizi okumak farklıdır: bu kısım hesaplama gücüyle sınırlıdır; bu yüzden GPU'sunda nöral hızlandırıcılar bulunan M5 nesli çipler, istemleri önceki nesillerden birkaç kat daha hızlı işler (Apple).

2Tüm çipler karşılaştırmalı

Eski çipler, belleği yeterliyse hâlâ iyi iş çıkarır. 64 GB'lık bir M1 Max veya M2 Max 400 GB/s hızla okur; bu, bugünkü temel çiplerin hepsinden fazladır ve ikinci elde çoğu zaman çok daha ucuzdur.

3Hangi Mac'i almalı?

Sadece denemek için: 16–32 GB'lık MacBook Air veya Mac mini

7B ila 14B modelleri rahatça, 32 GB ile 30B sınıfı modelleri çalıştırır. Sohbet, yazı ve hafif kodlama yardımı için yeterli.

En iyi fiyat/performans: 64 GB'lık Pro çip

M4 Pro veya M5 Pro'lu bir Mac mini ya da MacBook Pro, 70B sınıfı modelleri barındırır ve orta boy modelleri iyi bir hızda çalıştırır. Çoğu geliştirici için ideal nokta.

Ciddi yerel yapay zekâ: 128 GB'lık Max çip

gpt-oss-120b'yi (4 bitte yaklaşık 65 GB) bir dizüstü bilgisayarda çalıştırır; Apple'ın bant genişliği rakamına göre M5 Max'te tek akış için teorik tavan saniyede yaklaşık 225 token. En iyi taşınabilir seçenek.

En büyük modeller: Ultra'lı Mac Studio

M5 Ultra ile 1,2 TB/s hızda 512 GB'a kadar bellek, yüz milyarlarca parametreli modelleri tek bir masada barındırır. Daha da büyük modeller için Mac'ler Thunderbolt 5 üzerinden bir kümede birleştirilebilir: Mac yapay zekâ kümeleri rehberine bakın.

4Mac kendi masrafını çıkarsın

Yapay zekâ için alınan bir Mac zamanının çoğunu bekleyerek geçirir. MLX Node, bu boştaki kapasiteyi MLX Network'e ödünç veren ücretsiz bir uygulamadır: aynı MLX framework'ü üzerinde yapay zekâ işleri çalıştırır ve doğrulanmış iş için MLX token kazanır. Çipe uygun bir özel koltuk kazancı katlar: Pro koltuk Pro veya Max çipte, Ultra koltuk Ultra çipte tam hızla çalışır.

Önce Mac'inizi MLX Bench üzerinde karşılaştırın: her çipte açık modeller için ölçülmüş saniyedeki token sayısını gösterir.

5Sorular

Yerel LLM için 16 GB yeterli mi?

4 bitte yaklaşık 14B parametreye kadar modeller için evet. Daha büyük modeller veya uzun bağlamlar için 32 GB ya da daha fazlası çok daha rahattır.

LLM için Mac Studio mu, MacBook Pro mu?

İkisi de Max çiplerle ve 128 GB'a kadar bellekle gelir. MacBook Pro taşınabilir; Mac Studio uzun yükler altında daha serin kalır ve Ultra çipli, 512 GB'a kadar bellekli tek Mac'tir.

Yerel yapay zekâ için Mac, Nvidia GPU'dan daha mı iyi?

Evde en büyük modeller için çoğu zaman evet: bir Mac'in birleşik belleği, tüketici sınıfı bir ekran kartının belleğinden çok daha fazlasını barındırabilir. Üst düzey bir Nvidia kartı, belleğine sığan modellerde daha hızlıdır.

M5, LLM'leri hızlandırır mı?

Evet, özellikle istemleri okurken: Apple, MLX ile ilk token'ın M5'te M4'e göre 3,3 ila 4,1 kat daha erken geldiğini ölçtü. Üretim hızı bellek bant genişliğiyle artar; bant genişliği de M4'ten M5'e %28 yükseldi.