Yan yana
| M5 Ultra | RTX PRO 6000 | |
|---|---|---|
| Ne olduğu | Mac Studio (M5 Max or M5 Ultra) | Masaüstü PC için ekran kartı |
| Bellek boyutları | 96, 256, 512 GB | 96 GB |
| Bellek bant genişliği | 1.200 GB/s | 1.792 GB/s |
| Modeller için en fazla | yaklaşık 384 GB | yaklaşık 95 GB |
| İyi çalışan modeller | 73 içinden 61 | 73 içinden 50 |
| Ölçülen: yazma | 179 tok/s | 274 tok/s |
| Ölçülen: istem okuma | 4.945 tok/s | 14.855 tok/s |
Ölçülen satırlar: her makinenin llama.cpp’nin herkese açık benchmark’larında Llama 2 7B Q4_0 ile en hızlı sonucu; 128 token yazma (tg128) ve 512 token’lık bir istemi okuma (pp512), saniyede token olarak. Mac Metal ile, RTX PRO 6000 CUDA ile çalıştı. Apple Silicon sonuçları · RTX PRO 6000 sonuçları Modeller için RTX PRO 6000 kartının kendi 96 GB’ından yaklaşık 1 GB eksiğini, Mac’te ise birleşik belleğin yaklaşık %75’ini (macOS varsayılanı) sayıyoruz.
Hangisi nerede öne çıkıyor
- Yazma hızı. RTX PRO 6000, belleği M5 Ultra çipinden yaklaşık %49 daha hızlı okur (1.792 / 1.200 GB/s); bu yüzden ikisine de sığan her modelle yaklaşık %49 daha hızlı yazar.
- Model boyutu. M5 Ultra modeller için yaklaşık 384 GB’a, RTX PRO 6000 yaklaşık 95 GB’a sahip. 73 popüler açık modelin 61 tanesi M5 Ultra üzerinde iyi çalışıyor, RTX PRO 6000 üzerinde 50 tanesi.
- Uzun istemleri okuma. llama.cpp’nin ölçülen testinde RTX PRO 6000 bir istemi yaklaşık 3× daha hızlı okuyor (saniyede 14.855 ve 4.945 token). İstem okumak bellek bant genişliğine değil GPU’nun işlem gücüne bağlıdır; uzun bir belge ya da kod tabanında ilk kelimeye kadar bekleme süresini bu belirler.
- Yazılım. RTX PRO 6000, NVIDIA’nın CUDA’sını kullanır; yapay zekâ yazılımlarının çoğu, eğitim kodu ve pek çok görüntü ve video aracı dahil, önce onu destekler. Mac’te modeller bunun yerine MLX, llama.cpp’nin Metal arka ucu ya da PyTorch’un MPS arka ucu ile çalışır.
- Çevresi. Bir ekran kartının çevresinde bir PC gerekir ve kendi 96 GB’ı sınırdır: sığmayan bir model kısmen PC’nin çok daha yavaş sistem belleğinden ya da ikinci bir karttan çalışmak zorundadır.
- Mac. Aynı zamanda günlük bir bilgisayardır ve Apple Silicon için yapılmış MLX Harness ile MLX Node uygulamalarını çalıştırır.
Popüler modellerle hız
Tek bir sohbet için saniyedeki token sayısı; her çip en büyük bellek boyutunda (512 GB ve 96 GB), modelin sığan en iyi sürümüyle.
| Model | M5 Ultra | RTX PRO 6000 |
|---|---|---|
| Llama 3.1 8B Instruct8B | 64–113 8 bit | 95–169 8 bit |
| gpt-oss-20b21B · 3,6B etkin | 284–505 yerel 4,25 bit | 424–755 yerel 4,25 bit |
| Qwen3.6 35B A3B35B · 3B etkin | 169–300 8 bit | 252–448 8 bit |
| Qwen3.8 27B27B | 19–33 8 bit | 28–50 8 bit |
| Llama 3.3 70B Instruct70B | 14–24 4 bit | 11–19 8 bit |
| gpt-oss-120b117B · 5,1B etkin | 200–356 yerel 4,25 bit | 299–531 yerel 4,25 bit |
| Qwen3.5 122B A10B122B · 10B etkin | 51–91 8 bit | 144–256 4 bit |
| DeepSeek V4 Flash 0731284B · 13B etkin | 39–70 8 bit | çok büyük |
Sorular
- LLM'ler için RTX PRO 6000, M5 Ultra çipinden daha mı hızlı?
- RTX PRO 6000, belleği M5 Ultra çipinden yaklaşık %49 daha hızlı okur (1.792 / 1.200 GB/s); bu yüzden ikisine de sığan her modelle yaklaşık %49 daha hızlı yazar. llama.cpp’nin ölçülen testinde RTX PRO 6000 bir istemi yaklaşık 3× daha hızlı okuyor (saniyede 14.855 ve 4.945 token). İstem okumak bellek bant genişliğine değil GPU’nun işlem gücüne bağlıdır; uzun bir belge ya da kod tabanında ilk kelimeye kadar bekleme süresini bu belirler.
- Hangisi daha büyük modeller çalıştırır: M5 Ultra mı, RTX PRO 6000 mi?
- M5 Ultra modeller için yaklaşık 384 GB’a, RTX PRO 6000 yaklaşık 95 GB’a sahip. 73 popüler açık modelin 61 tanesi M5 Ultra üzerinde iyi çalışıyor, RTX PRO 6000 üzerinde 50 tanesi.
- MLX Node RTX PRO 6000 üzerinde çalışır mı?
- Hayır. MLX Node ve MLX Harness yalnızca Apple Silicon’lı Mac’lerde, Apple’ın MLX çatısıyla çalışır.
Diğer karşılaştırmalar
Yerel yapay zekâ için M5 Ultra · Tüm modelleri karşılaştırın · Yerel LLM'ler için en iyi Mac
Nasıl hesaplanır
Bellek: modelin parametreleri ağırlık başına 8, 6, 4, 3 veya 2 bitte, artı MLX'in grup ölçekleri (ağırlık başına yarım bit) ya da modelin yerel biçimi; üstüne bağlam için yer. macOS varsayılan olarak GPU'nun birleşik belleğin yaklaşık %75'ini kullanmasına izin verir. Hız: bellek bant genişliğinin token başına okunan bayt sayısına bölümü, tek bir sohbet için üst sınırdır; llama.cpp'nin herkese açık Apple Silicon karşılaştırmalarında gerçek çalıştırmalar bunun yaklaşık %45 ile %80'ine ulaşır ve gösterilen aralık budur. Bunlar ölçüm değil tahmindir: kendi Mac'inizi MLX Bench ile ölçün. Model verileri her modelin resmî model kartından, çip verileri Apple'ın Teknik Özellikler sayfalarından alınmıştır. Kontrol tarihi: 2026-10-19. mlx.app/compare ile aynı veriler.
RTX PRO 6000 verileri: NVIDIA: RTX PRO 6000 Blackwell Workstation Edition, NVIDIA: RTX PRO Desktop GPUs (compare table).